« לדף הראשי | גילוי מרעיש! » | לפעמים ציטטה טובה אחת מצדיקה מאמרון » | יו! מתברר שהתחום הזה "קשה"! » | ואולי רק הדבר הלא עד כדי כך גדול הבא? » | במנות קטנות יכול להיות ערך לימודי בהתאמה אישית » | אוי לנו מהזמנים הטובים! » | שוב (ועדיין) אין שינויים בחינוך? » | היינו זקוקים לקורסי MOOC בשביל זה? » | הרהור קצר על עוד טכנולוגיה שמסייעת ללמידה » | תכנים, מורים, תקשוב – וראייה מציאותית » 

יום שלישי, 21 ביולי 2015 

להרוויח מההעתקות?

בשנת 2007 האוניברסיטה של טקסס ביקשה לבחון איזה כלי לזיהוי העתקות בעבודות של סטודנטים כדאי לה לרכוש. סוזן שורן (Schorn), מרצה באוניברסיטה ערכה בדיקה ממצה. היא בדקה את הכלי הנפוץ ביותר, Turnitin, וכלי נוסף, SafeAssign (שבסופו של דבר הוחלט עליו) וגם עריכת חיפוש בגוגל על קטעי טקסט נבחרים מתוך עבודות הסטודנט. המסקנה של שורן היתה ברורה – הכלים הייעודיים היו פחות יעילים מאשר החיפוש על קטעי טקסט דרך גוגל. לפני שבוע Inside Higher-Ed פרסמה כתבה שמדווחת שהשנה שורן ערכה בדיקה חוזרת ... והגיעה לאותה המסקנה.

בבדיקה החדשה שלה שורן הכינה "עבודות" שכללו 37 העתקות ממגוון סוגים וממקורות שונים והריצה את העבודות ב-Turnitin, ב-SafeAssign, ובגוגל. היא מצאה ש-Turnitin לא הצליח לזהות כמעט 40% מההעתקות, ו-SafeAssign לא זיהה יותר מ-56%. לגבי גוגל:
Google -- which Schorn notes is free and worked the fastest -- trounced both proprietary products. By searching for a string of three to five nouns in the essays, the search engine missed only two sources. Neither Turnitin nor SafeAssign identified the sources Google missed.
נדמה לי שעל אף העובדה ששורן ציינה שגוגל פעלה מהר יותר מאשר הכלים הייעודיים והיקרים (ו-Turnitin יקר בהרבה), מרכיב חשוב מההשוואה חסר כאן. כאשר מרצה מריץ בדיקה באמצעות Turnitin עליו בסך הכל להזין את העבודה לתוך המנגנון ולפנות לעיסוקים אחרים עד שמתקבלת תוצאה. החיפוש בגוגל, לעומת זאת, דורש ממנו יותר פעילות. הוא צריך לבחור את הטקסט שהוא רוצה לבדוק, ואולי לעבור על התהליך מספר פעמים. מנסיון אישי אני יכול להעיד שלעתים קרובות גוגל באמת אפקטיבי באיתור העתקות, אבל סביר להניח שרוב המרצים אינם רוצים להקדיש את הזמן הדרוש כדי לערוך חיפוש ממצה. יתכן מאד שמשהו נוסף מתרחש כאן. מרצה שבודק דרך גוגל בדרך כלל יעשה זאת אחרי שמתעורר חשד בזמן קריאת העבודה. לעומת זאת הפנייה ל-Turnitin די אוטומטית. אין בכלל צורך לקרוא את העבודה של הסטודנט לפני ביצוע הבדיקה. זאת ועוד: אם וכאשר מעלים סטודנט לוועדת משמעת על העתקה אני מניח שהצגת תוצאה מכלי כמו Turnitin מעניקה רשמיות מסויימת לטענות המרצה. אבל דווקא בגלל זה, האחוז הגדול של טעויות בעייתי. הכתבה מצטטת את שורן:
We say that we’re using this software in order to teach students about academic dishonesty, but we’re using software we know doesn’t work. ... In effect, we’re trying to teach them about academic dishonesty by lying to them.
ככל שעוד ועוד עבודות של סטודנטים נבדקים דרך Turnitin מאגר המקורות של החברה גדל. לכאורה זה צריך ליצור מאגר יעיל יותר, אם כי הבדיקה החדשה של שורן רומזת שזה איננו המצב. לפני כשמונה שנים קבוצה של סטודנטים תבעו את החברה על כך שהיא משתמשת בקניין הרוחני שלהם (העבודות שהם כתבו ובעת הבדיקה הוכנסו למאגר) על מנת לשכלל את המאגר שלה וכך גם להגדיל את רווחיה. אני מודה שהופתעתי כאשר בית המשפט לא פסק לטובת הסטודנטים.

הבדיקות של שורן אינן היחידות שבוצעו. בעשור האחרון נערכו מספר בדיקות דומות, ובאופן עקבי התוצאות מצביעות על הצלחה חלקית בלבד בזיהוי העתקות. ובכל זאת אני מודה שתוצאות הבדיקה של שורן הפתיעו אותי. השנים האחרונות ראו שיפורים רבים ביכולת של מחשבים "לקרוא" טקסטים (ואפילו לכתוב אותם), ואפשר היה לצפות ש-Turnitin וכלים דומים יצליחו לשכלל את הכלים שלהם. גם אם אינני תומך בשימוש בכלים כאלה יכולתי להבין שהיום מכונות מסוגלות לעשות את המלאכה.

בעיית ההעתקות איננה חדשה, וככל שמבחר המקורות ברשת גדלה היא נעשית יותר ויותר חמורה. שורן מסבירה את המשיכה לכלים תקשוביים לטיפול בבעיה: הכיתות כל כך גדולות כך שהמרצים אינם יכולים לקרוא את כל מה שהם מבקשים מהסטודנטים שלהם לכתוב. וזה בעצם מציב בפנינו שאלה: האם האקדמיה באמת רואה את שיפור יכולת הכתיבה של הסטודנט כמטרה מרכזית, או האם היא פשוט מנציח מצב שבו היא מצפה לרמה של כתיבה אצל הסטודנט, ומענישה אותו כאשר הוא מעתיק, אבל לא נותנת לו את ההדרכה הדרושה כדי שילמד לכתוב. הכתבה מצטטת את שורן:
The real ethical question is how you can sell a product that doesn’t work to a business -- the sector of higher education -- that is really strapped for cash right now. ... We’re paying instructors less, we’re having larger class sizes, but we’re able to find money for this policing tool that doesn’t actually work.
Turnitin פנתה לאקדמיה לראשונה ב-1996, והכלי שלה הוא ללא ספק הכלי הנפוץ ביותר לזיהוי העתקות. אבל למה לא לנצל את המאגר העצום שהצטבר אצלה לרווחים נוספים. לפני שש שנים החברה השיקה כלי נוסף, כלי שבמקום לפנות למרצה כדי לעזור לו לזהות העתקות פונה לסטודנט. הסטודנט מגיש את עבודתו לכלי – WriteCheck – ומקבל בחזרה דיווח על המידה שבה היא מכילה העתקות. עוד בשנת 2011 Inside Higher-Ed התייחס לכלי הזה, ולבעייתיות שבו: עבור $8 סטודנט יכול להגיש עבודה שהוא מכין שלוש פעמים, וזה מאפשר לו לראות עד כמה הוא הצליח לנקות את העבודה שלו מההעתקות ש-Turnitin מסוגל למצוא. הכתבה מ-2011 מצטטת את דעתו של מרצה לכלכלה באוניברסיטת ג'ורג' מייסון:
They are warlords who are arming both sides in this plagiarism war.
באתר של WriteCheck מסבירים שכוונות הכלי טהורות – המטרה היא לעזור לסטודנט ללמוד לכתוב בלי להעתיק ממקורות אחרים. ובכל זאת, בהחלט אפשר להבין את טענת המרצה, וגם לשאול – אם לפי הבדיקות של שורן ושל אחרים Turnitin איננו יעיל בזיהוי העתקות, האם החברה עובדת גם על המרצים וגם על הסטודנטים. מצד אחד הסטודנט משלם כדי לנקות את העבודה שלו כך שהמרצה לא ימצא את ההעתקות, ומצד שני המרצה מריץ את Turnitin בציפיה למצוא את ההעתקות שהבדיקות מראות שהוא איננו מצליח למצוא. נוכל לפחות להתנחם בכך שאם זה איננו תורם להשכלה הגבוהה, לפחות החברה מרוויחה מכל זה.

תוויות:

עוד מימד של הקשר בין המדידה והשפעתה על היצירה. דוגמא נפלאה על הדדיות שביניהן. תודה.
אני סבור כי הקשר קיים גם ללא הכלי המפורש לתלמיבדומה לhttp://www.popup.co.il/?p=6386

הוסף תגובה

קישורים להודעה הזאת

הוסף קישור

מי אני?

  • אני יענקל
  • אני כבר בעסק הזה שנים די רבות. מדי פעם אני אפילו רואה הצלחות. יש כלים שמעוררים תאבון חינוכי, ונוצר רצון עז לבחון אותם. אך לא פעם המציאות היא שצריכים ללמוד כיצד ללמוד לפני שאפשר ליישם את ההבטחה של הכלים האלה.
    ההרהורים האלה הם נסיון לבחון את היישום הזה.

ארכיון




Powered by Blogger
and Blogger Templates