« לדף הראשי | נדחק הצידה, אבל ראוי לציון » | האם השיבוש יגיע גם לאקדמיה? » | טוב שזה כבר לא כל כך פשוט » | אם זאת ההיסטוריה, העתיד איננו זוהר » | וכך מפיגים את השעמום? » | ואם הקשר באמת מתפורר? » | אולי באמת כבר לא צריכים מורים? » | נו, באמת!! » | לא בזכות ההפיכה » | מספר הרהורים (פחות או יותר חינוכיים) בדרך לפח » 

יום שלישי, 27 בנובמבר 2012 

הבהרה קצרה לפני בדיקה נוספת של ה-MOOC

מספר פעמים בעבר ציינתי שאינני מודד את ערכו של הבלוג הזה במספר התגובות, או אפילו במספר הקריאות. אבל כאשר תוך זמן קצר מאמרון אחד זוכה לשתי תגובות מאנשים שאני מעריך, נדמה לי שראוי שגם אני אגיב. אולי הבנתי לא נכון, אבל התרשמתי מהתגובות האלה (וגם מהאזכור הקצר בפורטל מס"ע שמתמקד בספקות שהבעתי כלפי ה-MOOC) שקוראי התרשמו שאני בעיקר מבקר את ה-MOOC. דווקא אני הרגשתי שאחרי המבוא שאכן העלה ספקות, עיקר המאמרון התייחס בחיוב לדבריו של קליי שירקי שטוען שה-MOOC מהווה אלטרנטיבה חיובית להשכלה הגבוהה כפי שאנחנו מכירים אותה היום.

בתגובה שלו, גיא לוי מציין ש-"הקורסים ב-Coursera מבוססים גם על הערכת עמיתים". שמחתי לראות שגיא מוסיף את המילה "גם". אין לי סטטיסטיקה, אבל נדמה לי שנכון להיום ה-"גם" הזה הוא עדיין חלק קטן של כלל ההערכה. גיא כותב שב-Coursera פיתחו אלגוריתם מאד חזק לשם זה. יתכן. לא צללתי לתוך כל 206 הקורסים הרשומים באתר כדי לבדוק כיצד מתבצעת ההערכה בהם. עם זאת, באתר של Coursera מצאתי דף אחד שמתייחס לפדגוגיה, ובדף הזה רק פיסקה אחת על הערכת עמיתים. בפיסקה הזאת אנחנו קוראים:
Following the literature on student peer reviews, we have developed a process in which students are first trained using a grading rubric to grade other assessments. This has been shown to result in accurate feedback to other students, and also provide a valuable learning experience for the students doing the grading.
הקישור באותם משפטים מוביל למאמר בן שישה עמודים משנת 2001 שמתאר נסיון התחלתי אחד. אין לי ספק שמקימי Coursera בקיאים בספרות בנושא, אבל ממה שמופיע באתר שלהם זה איננו בדיוק הרושם שנוצר.

גם מיכל גלעדי מגיבה, ומציינת ש-"הייחוד בקורסים אלה הוא ההתבססות על 'חוכמת ההמונים', אשר באופן מפתיע [או לא] נותנת הערכה משמעותית למשתתפים הפעילים בקורס". באותה פיסקה שממנה ציטטתי למעלה, אנשי Coursera מתייחסים גם לנושא הזה. הם כותבים:
we draw on ideas from the literature on crowd-sourcing, which studies how one can take many ratings (of varying degrees of reliability) and combine them to obtain a highly accurate score.
הפעם הקישור מוביל למאמר בן עשרה עמודים (כולל עמוד אחד של מקורות, דבר שחסר במאמר הקודם) משנת 2008 (אנדרו נג, אחד מיוזמי Coursera, הוא בין כותבי המאמר). בסך הכל (וכפי שאפשר להבין מהמשפט באנגלית למעלה) המאמר מבקש להראות שמבחר דירוגים שונים יכולים להתחבר להציג דירוג מאד אמין. המאמר אכן בוחן מספר מטלות שבדרך כלל מבוצעות על ידי "מומחים", ומשווה בין דירוג ה-"מומחים" לבין הדירוג ה-"ממוצע" של "לא מומחים". כדאי לציין שהערכה של מטלות בקורס, או אפילו משהו דומה, איננה בין הנושאים שנבדקו בשיטה הזאת במחקר שבמאמר. נדמה לי שיש גם טעם לציין שהפיסקה בדף של Coursera מזכירה "crowd sourcing", שבדרך כלל מתורגם ל-"מיקור המונים". יש לרעיון הזה קשר מסויים ל-"חוכמת ההמונים" אבל בכל זאת די שונה ממנה. על אף הפופולאריות הרבה של "חוכמת ההמונים" (פופולאריות שאני מודה שאינני שותף לה), נדמה לי שב-Coursera הכוונה היא לצבור מספר לא גדול של הערכות כדי להשיג ממוצע. לא הייתי מכנה את זה "חוכמת ההמונים".

אבל כל זה איננו שולל את הקורסים של Coursera, או הנסיון בהערכת עמיתים. אולי היא תצליח. באוגוסט השנה אודרי ווטרס הביעה את תמיכתה בהתנסות של Coursera בהערכת עמיתים בקורסים שלהם (אולי נכון יותר לכתוב "בכמה מהקורסים שלהם"). ווטרס ציינה שהנסיון שלה בהערכת עמיתים בקורסים שהיא לימדה היה חיובי, ולכן בעיניה יש סיבה לחשוב שכך אולי יהיה גם ב-Coursera. עם זאת, היא הדגישה שהערכת עמיתים בקורס של 30 סטודנטים שונה מאד מהערכת עמיתים בקורס של כמה אלפים. כאשר הסיבות להשתתפות בקורס, והמטען הלימודי והתרבותי שהמשתתפים מביאים איתם כל כך מגוונים (שלא להגיד "שונים"), אפשר אפילו לשאול אם בכלל מדובר ב-"עמיתים".

ווטרס מקרשת לבלוג של לאורה גיבס, סטודנטית בקורס בפנטזיה ומדע בדיוני ב-Coursera, וגם מרצה בתחום המיתולוגיה והפולקלור באוניברסיטה של מדינת אוקלהומה. במהלך הקורס שבו היא השתתפה גיבס ניהלה בלוג בו היא דיווחה על המתרחש ועל תחושותיה כלפי המתרחש הזה. הבלוג כולו הוא מסמך מרתק שבוחן היבטים רבים של הקורס, ומספר מאמרונים בו עוסקים בהערכת עמיתים. אפשר לסכם שגיבס רחוקה מלהיות שבעת רצון מהדרך שבה התהליך הזה התבצע בקורס.

כפי שציינתי בתחילת ה-"תגובה" הזאת (והכוונה המקורית שלי לא היתה להתארך עד למאמרון שלם), דווקא הופתעתי שהתגובות למה שכתבתי התמקדו בביקורת שלי כלפי ה-MOOC, במקום בנקודת האור החזקה שמצאתי דרך המאמרון של קליי שירקי. אין לי שום סיבה לשלול נסיונות כגון ה-MOOC, ויש סיבות טובות לתמוך בו. עם זאת, דבריהם של גיא ושל מיכל אינם משכנעים אותי שהערכת העמיתים באמת מרכזית, או מוצלחת, בקורסים של Coursera. מביקורות אחרות שקראתי, גם לא התרשמתי שהמרכיב הזה עתיד להחזיק מעמד. בשלב הזה, אינני יודע אם מיזמי MOOC אחרים רואים בהערכת עמיתים אמצעי רצוי להערכה בקורסים שלהם.

ההערכה היא מרכיב חשוב בקורסי MOOC. אמינותה בוודאי תשפיע על הצלחת המודל הלימודי הזה כולו. אבל שוב, גם אם אינני אופטימי בנוגע להערכת עמיתים בקורסים האלה, יש עדיין סיבות טובות להיות אופטימי כלפי רעיון ה-MOOC בכללותו. אין זה אומר שלא צריכים לשאול שאלות קשות בנוגע לקורסי MOOC, ובמיוחד בנוגע לאלה המופצים על ידי אוניברסיטאות יוקרתיות. במאמרון קרוב אני מקווה שאצליח להעלות כמה מהשאלות האלה.

תוויות:

יופי!
נהניתי לעקוב אחר חילופי הדברים בינך לגיא ומיכל המגיבים. האינטראקציה מוסיפה עניין ולא פחות חשוב עומק לדברים. נותרה הסקרנות בלימוד הערכת העמיתים שהם מבצעים - התקדמות בנושא זה עשויה להוות פריצת דרך בלמידה - לצדה קיימת הספקנות שאתה הוספת שמאתגרת אותנו בלמידה מעמיקה של הנושא.
חוזרים ליסודות, 2 המרכיבים המרכזיים בלמידה - אינטראקציה ומשוב

הוסף תגובה

קישורים להודעה הזאת

הוסף קישור

מי אני?

  • אני יענקל
  • אני כבר בעסק הזה שנים די רבות. מדי פעם אני אפילו רואה הצלחות. יש כלים שמעוררים תאבון חינוכי, ונוצר רצון עז לבחון אותם. אך לא פעם המציאות היא שצריכים ללמוד כיצד ללמוד לפני שאפשר ליישם את ההבטחה של הכלים האלה.
    ההרהורים האלה הם נסיון לבחון את היישום הזה.

ארכיון




Powered by Blogger
and Blogger Templates