יום שלישי, 30 ביולי 2013 

מה שהיה איננו בהכרח הוא שיהיה

לפני ארבע שנים ציטטתי כאן מהבלוג של מארק וורשאואר (Warschauer). באותה ציטטה וורשאואר ציין שהוא משוכנע שלטכנולוגיות דיגיטאליות תהיה השפעה חיובית גדולה על החינוך:
There is reason to believe that digital technologies will in the long run have as much impact on learning and literacy as the printing press had.
אין שום דבר יוצא דופן בהכרזה הזאת. אם היא היתה נאמרת לפני עשרים שנה אפשר היה אולי לראות בה משהו נבואי, אבל לפני ארבע שנים היא כבר היתה, לפחות בחוגים שעוסקים בתקשוב בחינוך, הדעה הרווחת. (הקביעה הכללית הזאת לא היה הנושא של המאמרון שבו ציטטתי את המשפט למעלה, אלא רק פתיח להתייחסות למספר הערות של וורשאואר על השימוש בתקשוב שנראו לי אז חשובים.) וורשאואר הוא איש מחקר מאד מוערך בתחום התקשוב בחינוך. הוא פתח את הבלוג שלו לפני תשע שנים ובמהלך השנים הוא כתב בו בתדירות קבועה, אם כי לא גבוהה. אבל מאז אוקטובר 2011 הבלוג היה רדום – עד לפני יומיים, כאשר מאמרון חדש הופיע פתאום בקורא ה-RSS שלי.

חשוב לציין שהעובדה שוורשאואר לא פרסם מאמרונים בבלוג שלו איננה אומרת שהוא לא היה עסוק. הצצה ברשימת הפרסומים שלו באתר האוניברסיטה בה הוא עובד (האוניברסיטה של קליפורניה באירוין) מראה שמאז 2011, בנוסף לספר אחד שיצא לאור, הוא פרסם 11 מאמרים שהתפרסמו בכתבי-עת אקדמיים, אם כחוקר הראשי או כמשני. אם בגלל זה הוא קצת זנח את הכתיבה ההגותית שלו בבלוג, אפשר להבין זאת.

אבל יש משהו מוזר במאמרון החדש של וורשאואר – הוא מתעמת עם דברים שאמר לארי קובן בראיון שהוא קרא לאחרונה – ראיון שהתפרסם לפני יותר משנה וחצי, בדצמבר של 2011. הראיון הזה כנראה מזכיר אי-הסכמה ארוכת שנים שיש לוורשאואר עם קובן. הוא כותב שהתחזית של קובן עוד בספרו משנת 2001, Oversold and Underused: Computers in the Classroom, שהמחשב בחינוך ילך בדרך של טכנולוגיות אחרות שהוכנסו לכיתה ולא ישפיע באופן משמעותי על הלמידה, היתה מוטעית. וורשאואר כותב:
I argued at the time that Cuban was seriously misreading technological, social, economic, and educational trends, and that computers or some other form of digital media would inevitably become ubiquitous in their presence and use in schools.
וורשאואר מתייחס עכשיו לאותו ראיון שהוא מצא מפני שהוא מוצא בראיון הוכחה לכך שקובן עכשיו מבין שהוא טעה ואילו וורשאואר צדק. הוא מצטט קטע מתוך הראיון בו קובן מציין שדברים השתנו מאז שהוא פרסם את ספרו:
... with new machines appearing on the market and in schools annually, particularly, hand-held devices, I have seen in my research in schools a clear trend line of increasing teacher and student use of new technologies in classrooms. The growth of online schooling and rise of blended learning options have contributed greatly to that trend as well.
וורשאואר איננו מסתפק בכך שהוא מראה שקובן עצמו מודה על טעותו. הוא מצביע על שתי נקודות שבהן הטעות הזאת בעיניו משמעותית. תחילה הוא מציין שאחת התלונות של קובן היא שתלמידים בבתי הספר משתמשים במחשבים במשך פחות מחצי יום הלימודים. מול הטענה הזאת וורשאואר משיב, במידה גדולה של הגיון, שככל שחומרי ההוראה והלמידה נעשים דיגיטאליים השימוש במחשבים (או כלים דיגיטאליים אחרים) ילך ויגדל. סביר מאד להניח שגם קובן מודע לנקודה הזאת, ולכן גם אפשר להבין שוורשאואר עצמו איננו מייחס לה חשיבות רבה. לעומת זאת, הוא כן מייחס חשיבות לנקודה השנייה: הוא כותב שלפי קובן השימושים בטכנולוגיות דיגיטאליות בבתי הספר הם שימושים "מוכרים" במקום שימושים "יצירתיים". כדוגמה לכך הוא כותב שהשימושים הנפוצים ביותר בבית הספר הם חיפוש מידע וכתיבה בתמלילן. לטענה הזאת וורשאואר משיב:
I can hardly think of two more important uses of technology than (1) writing/revising papers, and (2) planning and carrying out research that involves gathering, analyzing, and using information from the Internet. Why have students do what is “imaginative” rather than what is pedagogically sound?
יש מידה גדולה מאד של צדק בתשובה הזאת, אבל היא בכל זאת בעייתית. וורשאואר הרי מציין רק שתיים מהנקודות שקובן מעלה, אבל יש אחרות. קובן מציין שימושים אחרים שוורשאואר איננו מזכיר כמו לוחות "אינטראקטיביים", קריאת ספרי הלימוד בשעת השיעור, ודפי עבודה. סביר להניח שוורשאואר לא רואה באלה דוגמאות להוראה שהיא בהכרח "pedagogically sound".

בסיכום דבריו וורשאואר מביא עוד נקודת ביקורת כלפי קובן. הוא כותב שבהשוואה למה שהוא וקובן חוו כשהם למדו בבית הספר, השימושים שקובן מגדיר כ-"מסורתיים" הם בעצם "מהפכניים":
Students are using digital devices on a regular basis. They are using them a lot and will use them much more in the future. And some of the uses he portrays as most “traditional” are simply revolutionary compared to what could be done when he and I were children and they are among the most important.
אבל ווארשאואר מתייחס לשימושים המתוארים בראיון עם קובן כאילו הם השימושים הרווחים של היום. למרבה הצער, גם אם הוא צודק, ואותם שימושים שהוא מתאר היו "מהפכניים", הרבה השתנה מאז, והשימושים הרווחים של היום אינם השימושים שהוא נזכר בהם כאשר הוא קרא את הראיון. אתמול קובן פרסם מאמרון בו הוא מראה שאם בעבר התקשוב גויס למגוון צרכים חינוכיים, היום השימוש הזה הצטמצם מאד.

קובן מתאר שלושה תחומים ראשיים שבהם הביעו את התקווה שהתקשוב ישפיע: שיפור היעילות והאפקטיביות של ההוראה, הפיכת הלמידה לחוויה מעניינת ומושכת יותר עבור התלמידים, והכשרת התלמידים של היום לעולם התעסוקה של מחר. קובן טוען שעל אף סיפורי ההצלחה שאוהבים לספר, אין עדות מחקרית לכך שהתקשוב באמת סייע באף אחד משלושה התחומים האלה. אבל בעצם זה כבר לא משנה, כי המציאות היום אחרת. קובן כותב שבעבר תעשיות התוכנה והחומרה ביקשו לחדור לחינוך עם הבטחות לגבי שלושה התחומים שתוארו כאן. אבל היום שינוי בסדר היום החינוכי פותח לפניהן דרך עוד יותר טובה לחדור:
The best (and most recent) gift to the hardware and software industry has been the Common Core standards and assessments. At a time of fiscal retrenchment in school districts across the country when schools are being closed and teachers are let go, many districts have found the funds to go on shopping sprees to get ready for the Common Core.

And here is the point that I want to make. The old reasons for buying technology have been shunted aside for a sparkling new one....

With Common Core standards adopted, the rationale for getting devices has shifted. No longer does it matter whether there is sufficient evidence to make huge expenditures on new technologies. Now, what matters are the practical problems of being technologically ready for the new standards and tests in 2014-2015: getting more hardware, software, additional bandwidth, technical assistance, professional development for teachers, and time in the school day to let students practice taking tests.
מדובר במציאות שונה מאד מזאת שוורשאואר זוכר משנת 2011, מציאות שבה המהפכה שאליה הוא כותב נמצאת, למרבה הצער, בנסיגה. עדיין יתכן שההשפעה של התקשוב על הלמידה תהיה גדולה, אבל לא כל כך בטוח שהיא תהיה חיובית.

תוויות:

יום שישי, 26 ביולי 2013 

לשם מה התקשוב?

לפני שלוש שנים קישרתי כאן למאמרון של קלרנס פישר, מורה בעיירה קטנה במרכז קנדה. פישר מעיד על עצמו שהוא איננו הוגה חינוכי אלא בראש ובראשונה מורה בכיתה. לעומת זאת, מאמרוניו שקראתי במהלך השנים עסקו יותר בשאלות חינוכיות כלליות מאשר בשימוש בכלים בכיתות שהוא מלמד. במאמרון של פישר אותו ציטטתי לפני שלוש שנים הוא כתב על כך שביכולתם של כלים תקשוביים חדשים להוביל ללמידה אחרת, חדשה. אני מניח שפישר עדיין חושב כך, אבל נדמה לי שהתקווה הזאת מהולה היום במידה די גדולה של חשש.

אינני עוקב אחרי הבלוג של פישר באדיקות. לרוב אני מגיע אליו רק כאשר מישהו אחר שאני כן קורא מקשר אליו (מה לעשות, יש יותר מדי בלוגים מעניינים, ומעט מדי זמן). כך קרה לפני כמה ימים, כאשר הגעתי לבלוג שלו אחרי שסטיבן דאונס ציטט קטע מתוך מאמרון חדש של פישר. במאמרון הזה פישר דן במחיר – לא רק הכספי, אלא בעיקר המוסרי – של הכלים התקשוביים שאנחנו משתמשים בהם בחינוך.

פישר כותב שלאחרונה הוא התחיל להתעניין באילו יזמויות חינוכיות זוכות למימון מקרנות הון סיכון, והתוצאות של החיפוש שהוא ערך מאד מדאיגות אותו. הוא מצא שהפרויקטים שמקבלים כסף רב עוסקים בתחום מאד מצומצם של הלמידה:
Each of these companies creates a product (or products) which circle around helping students to learn basic skills. Now, before everyone jumps on me, I understand that basic skills are important. I believe that students need to read and write at higher levels at this point in history than they ever have in the past. What worries me is that the grand majority of new products and investment money in education is not going to companies looking at the “big picture” of education. Again, with the exception of Coursera, none of the companies in my small list are concerned with connecting students in new or better ways. None of them are helping students to become more engaged with the important problems that our society faces. None of them are helping students to become more passionate learners. None of them are focused on creativity. Instead, millions of dollars is being invested in companies who are offering products to help students learn old skills more efficiently.

We talk about changes in education. We talk about a renewed, responsive and changing industry to meet the needs of a globalized, diverse society; but where are the millions of dollars headed in educational technology? To better A, B, Cs and 1, 2, 3s.
פישר איננו היחיד שלאחרונה מעלה הרהורים כבדים בנוגע לכיוון התקשוב החינוכי. לפני שבוע ציטטתי כאן את אודרי ווטרס שביקרה בחריפות את הכיוון הזה. ווסלי פריאר, מורה במדינת אוקלהומה שמעורב כבר שנים רבות בתקשוב החינוכי (ולאחרונה סיים את הדוקטורט שלו) גם השמיע את קולו במקהלה הזאת. לפני שבועיים פריאר הגיב בבלוג שלו לשתי כתבות בשבועון Economist שטענו שהיום, בזכות יזמויות תקשוביות חדשות בחינוך סוף סוף יש סיכוי שההבטחה שכבר שנים משמיעים שהתקשוב ישנה את פני החינוך עשויה להתממש. פריאר מתעמת עם רשימה ארוכה של הטענות שבשתי הכתבות, ובמיוחד עם הטענה שחוק ה-No Child Left Behind מימי ממשל בוש הוא אשר קידם את השימוש בכלים דיגיטאליים חדשים בבתי הספר:
It is incredibly disingenuous and misleading (to choose tactful words) for Economist authors to portray NCLB and RTTT as supporting innovative uses of educational technology in U.S. classrooms, when they have done EXACTLY THE OPPOSITE.
פריאר מבקש להראות שיותר מאשר הכתבות ב-Economist מצביעות על שינויים חיוביים בחינוך בעקבות התקשוב, הן תופסות טרמפ על התקשוב ומבקשות לנגח את החינוך הציבורי בארה"ב ואת איגודי המורים:
Articles like these from the Economist are part and parcel of an ongoing campaign by many “corporate education reformers” in the United States whose true objective is NOT improving learning opportunities for students, but rather destroying our public schools and our system of public education which continues to be a critical part of our representative democracy.
המאמרון של פישר שממנו ציטטתי בתחילת המאמרון הזה הוא השישי להתפרסם בבלוג שלו מאז שהוא שוב נעשה פעיל בחודש יוני, אחרי ארבעה חודשים של שקט. במאמרונים האלה ניכר שפישר חש שמשהו משתנה בתקשוב החינוכי, ושהשינוי איננו לרוחו. יומיים לפני המאמרון ההוא, למשל, פישר הרהר על כך שלפני כעשר שנים הוא שמח לאמץ כלים חינמיים ולא התייחס למחיר הסמוי שמתלווה לשימוש בהם. היום, הוא איננו יכול להתעלם מהמחיר הזה:
The quality and breadth of the tools available in Google apps is undeniable. School districts save millions of dollars by signing up for this program. But what are the other costs of using this single suite of tools? What is the morality of enrolling our students in an advanced twenty first century surveillance program? By having our students sign up for a simple Google account, we enroll our students in the world’s most advanced surveillance – corporate ecosystem. This isn’t a possibility or a vague theory. It’s a proven fact.

Is that worth it?
פישר איננו מתכוון לנטוש כלים דיגיטאליים בעקבות ההרהורים האלה (ואני מניח שהוא גם ימשיך להשתמש בכלים חינמיים) אבל הוא מרגיש שמשהו השתנה, ודי ברור שהוא צודק. כלים כמו טבלט ה-Amplify, ופרויקטים כמו InBloom, שהם בין היזמויות החדשות הגדולות והיקרות ביותר, אמנם נחשבים "חינוכיים", אבל חלק מרכזי של פועלם הוא איסוף נתונים על תלמידי ארה"ב, ובניית מסד נתונים ענק. פישר צודק שהכסף שמגיע לתקשוב החינוכי מגיע לפרויקטים מהסוג הזה. אפשר, כמובן, לטעון שלא הרבה השתנה בשלוש השנים האחרונות, ושכבר אז הכתובת היתה על הקיר, ושעכשיו פישר פשוט נעשה מודע יותר למציאות. יתכן שזה נכון, אבל נדמה לי שבכל זאת משהו באמת משתנה, ופישר אכן מזהה מגמה בעייתית. הרבה יותר מאשר בעבר התקשוב החינוכי היום מתמקד בהכנת התלמיד למבחן במקום בפיתוח האדם שיוכל להתמודד עם הבעיות של מחר. כמו-כן, הרבה יותר מאשר בעבר נתוני התלמיד חשופים לגורמים ניהוליים. למרבה הצער, אפשר להבין את החששות של פישר.

תוויות: , ,

יום שני, 15 ביולי 2013 

לצחוק על מנת לא לבכות

בלוז אמריקאי קלאסי מכיל את המשפט הנפלא "laughing just to keep from crying" (ב-YouTube אפשר למצוא מספר ביצועים טובים. אני ממליץ על הביצוע של אודטה). נדמה לי שתחושה מהסוג שהמשפט הזה מבטא ליוותה את אודרי ווטרס כאשר לפני יומיים היא פרסמה:
דבריה של ווטרס אינם בדיוק מאמרון. הם מופיעים בפורמט של Storify, כלי שמאפשר ללקט ציוצים ומקורות נוספים ולהציג אותם ברצף שיוצר "סיפור". ווטרס כותבת בתגובה לכתבה מאת אנייה קמנץ על המיזם הלימודי Knewton. הכתבה מתארת את הרעיונות שבסיס המיזם, ומכילה קטעים מתוך ראיון עם יוצר Knewton, הוסה פיריירה (Jose Ferreira). ווטרס גם מתייחסת לראיון שהתפרסם ב-Wired עם דוד קונץ, סגן הנשיא לענייני מחקר של Knewton.

כבר עם התחלת דבריה, ברור שמשהו מרגיז את ווטרס. היא מצטטת את המשפט הראשון של הכתבה של קמנץ:
Imagine every student has a tireless personal tutor, an artificially intelligent and inexhaustible companion that magically knows everything, knows the student, and helps her learn what she needs to know.
כותרת הכתבה של קמנץ שואלת "?What If You Could Learn Everything". ווטרס איננה מתרשמת. היא מציינת שיש תשובה פשוטה לשאלה הזאת: אי-אפשר. היא מוסיפה גם שמכונות אינן יכולות ללמוד את הכל כדי שהן יילמדו אותנו. מדובר, כמובן, בכותרת בלבד, אם כי כותרת שדי בצדק מרגיזה את וורטס. אבל עבור קמנץ זאת כנראה אפשרות חיובית, אפשרות שעומדת בניגוד לשיעורים המשעממים הכל כך מוכרים לנו בבתי הספר היום. בראיון שנערך איתו קונץ איננו מתמקד באפשרות ללמוד את הכל, אבל הוא כן מרחיב על הרעיון הבסיסי שמאחורי Knewton:
The question our machine is trying to answer is, of all of the content that’s available to me in the system, what’s the best thing to teach you next that maximizes the probability of you understanding the big things that you need to know? What’s best next?

It’s not just what you should learn next, but how you should learn it. Depending on your learning style, it might be best to introduce linear equations through a visual, geometric approach, where you plot the lines and show the intersection. For others, they might respond better to an algebraic introduction.
כאשר קוראים את הדברים האלה קשה לא להזכר בסיפור הקצר הקלאסי של איזק אסימוב מלפני 60 שנה: The Fun They Had (יש גם תרגום לעברית). הסיפור מתרחש באמצע המאה ה-22. גיבורת הסיפור, ילדה בת 11, לומדת באמצעות רובוט אישי המותאם לקצב הלימוד שלה. כאשר היא וידיד מוצאים ספר (מודפס!) שמתאר את בית הספר של המאה ה-20, היא בטוחה שהילדים של אז בוודאי אהבו ללמוד בכיתה.

ביסודו של דבר המורה-רובוט שבסיפור של אסימוב איננו שונה מהותית ממערכת ההוראה של Knewton. שניהם מופקדים על העברה יעילה של המידע שמישהו קבע שהתלמיד צריך "ללמוד". שניהם עוברים כיוונון על מנת להתאים את עצמם לקצב הלימוד של התלמיד. בסיפור של אסימוב איננו יודעים אם זאת החברה כולה, המערכת החינוכית, הורי הילדה, או מישהו אחר, שקובע מה צריכים ללמוד. במקרה של Knewton ברור שה-"כלי" משרת את המערכת החינוכית הקיימת והיעדים הלימודיים שהיא הציבה לתלמידים.

אבל יש, כמובן, הבדל משמעותי. הסיפור של אסימוב מתרחש באמצע המאה ה-22, ואילו Knewton פועל כאן ועכשיו. קמנץ כותבת שלא נצטרך לחכות הרבה זמן לחזון להתממש:
But here’s the vision. Within five or 10 years, the paper textbook and mimeographed worksheet will be dead. Classroom exercises and homework—text, audio, video, games—will have shifted entirely to the iPad or equivalent. And adaptive learning will help each user find the exact right piece of content needed, in the exact right format, at the exact right time, based on previous patterns of use.
קשה לא להתרשם מהחיבור הנפלא הזה בין תוכן, פורמט, ועיתוי, עם הדגש החוזר על ה-"מדויק". בראיון איתו קונץ מציין שבמערכת של Knewton יש יותר ממיליון "data points" עבור כל תלמיד שלמד רק בקורס אחד באמצעות המערכת, והוא מבטיח שכמות הנתונים תמשיך לתפוח. ברור שהדברים כאן נכתבים בהתפעלות חיובית – מי יכול להתווכח עם עוד ועוד נתונים שמאפשרים לנו להתמקד באופן מדויק על מה שתלמיד צריך. העובדה שבזכות הדיגיטאליות כבר לא יהיה צורך בספרים מודפסים או דפי עבודה משנית לנקודה המרכזית – שהודות לאיסוף הנתונים המאסיבי על הלמידה של התלמיד מלאכת ההוראה תהפוך למדע מדויק. ואם הדברים אינם מספיק ברורים, פיריירה מבהיר כיצד המערכת שלו פועלת:
By watching as a student interacts with it, the platform extrapolates, for example, “If you learn concept No. 513 best in the morning between 8:20 and 9:35 with 80 percent text and 20 percent rich media and no more than 32 minutes at a time, well, then the odds are you’re going to learn every one of 12 highly correlated concepts best that same way.”
בתפיסות החינוכיות שמהם אני יונק, כאשר מדברים על "למידה ממוקדת תלמיד" לא לזה מתכוונים.

גם עבור ווטרס מדובר יותר בחלום בלהות מאשר בחזון רצוי. עם זאת, היא "מתחממת" כלפי הנושא יחסית לאט. תחילה היא "מתווכחת" עם הטענות שבכתבות. היא מציינת שהיה רצוי לו קמנץ, וג'יל בראשי, שראיינה את קונץ, היו בודקות אם יש בכלל ביסוס מחקרי לטענות של אנשי שיווק. כמו-כן, היא כותבת שאין הוכחות ל-"סגנונות למידה" (ומביאה קישור למאמר של פסיכולוגים מסבירים את הנושא). אבל בהמשך ווטרס כבר איננה יכולה להתאפק, ובחשבון ה-Twitter שלה היא מעלה "דוגמאות" משלה להתמקדות המדויקת בהרגלי הלמידה של התלמיד על מנת לסייע לו ללמוד. לדוגמה:
"According to your clickstream, we've decided you learn calculus best at 7am on Thursdays through an anal suppository"
וגם:
"We've decided you'll learn quadratic equations best if you're strapped to this table and stimulated with a goose feather."
יש עוד. כנראה כאשר ווטרס נכנסת לשוונג קשה לעצור אותה, וקשה לא לצחוק בקול רם משרשרת האסוציאציות שלה. כמה מהאנשים שעוקבים אחריה ב-Twitter גם מצטרפים לחגיגה. באמת, מצחיק ... אבל כמובן גם עצוב.

אולי הדבר העצוב ביותר בכל היומרה הזאת היא שיוזם Knewton מעיד על עצמו שהוא השתעמם מאד כאשר הוא היה תלמיד בבית הספר, והרצון שלו ליצור חוויה לימודית אחרת נובע מכך שהוא סבל שם. אבל דווקא בגלל זה קשה להבין למה הוא יוצר מערכת של למידה "אישית" שבסופו של דבר מבודד את התלמיד מעמיתיו, ומונע ממנו את החוויה של שיתוף בתהליך של גילוי. לטעמי, במקום לבטל את ההיבטים של בית הספר שמובילים לשעמום הוא מקצין אותם. מה שהוא יוצר איננו הלמידה שתאפשר לתלמיד לחוות חוויה לימודית חיובית.

לפני כמעט שנה, ניצלתי הזדמנות אחרת להזכיר את The Fun They Had של אסימוב. גם אז, עשיתי זאת במסגרת של השוואה בין גישות שונות לשימוש בכלים דיגיטאליים בחינוך. לאור זה, אפשר אולי לציין שמעט מאד השתנה במהלך השנה האחרונה. יש עדיין מי שחולם על השימוש בתקשוב על מנת לאפשר ללומד לקדם את הלמידה של עצמו, תוך כדי שיתוף עם לומדים אחרים, ויש מי שבטוח שהתרומה האמיתית של הדיגיטאליות נמצאת באפשרות לייעל את הגשת חומרי הלמידה המורשים לתלמיד. אבל יש בכל זאת שוני משמעותי בין אז והיום. אני משוכנע שהאירוניה והעוקצנות שבכתיבה של ווטרס נובעות מהתחושה שהחלום החינוכי שלה חומק לה מהידיים. בסופו של דבר, ההומור הוא הדרך היחידה שנותרת לה לשמור על התקווה.

תוויות: ,

יום שבת, 13 ביולי 2013 

הוכחה שהדיגיטאלי עולה על המודפס

תחילה, קצת רקע. בערך פעם בשבוע אני נפגש עם ידידה בת 80 ועוזר לה להפיק תועלת מהמחשב ומהאינטרנט. ה-"שיעורים" שלנו מאד מהנים, ואני לומד הרבה על הדרך שבה אדם ללא נסיון עם המחשב מתחיל לצלול לתוך המידע האדיר שנחשף אליה בזכות הגישה לרשת. דרך גוגל היא מוצאת ביקורות על ספרים שהיא קראה (או רוצה לקרוא), והיא מחפשת מידע (בעיקר בוויקיפדיה) על אנשים, על מקומות, ועל תופעות שמוזכרים בספרים האלה. עד לפני כמה שנים היא יכלה לנסוע לאוניברסיטה תל אביב כדי להאזין להרצאות במגוון רחב של נושאים שעניינו אותה. היום הנסיעות האלה מפרכות מדי, אבל עושר ההרצאות באוניברסיטה הפתוחה, באוניברסיטה תל אביב, ובאוניברסיטה העברית שהיא מוצאת ב-YouTube (וגם שהיא מוצאת דרך TED) מחליף את הנסיעות האלו בצורה מאד משביעת רצון.

בעלה בן 90, והעיניים שלו בוגדות בו. הוא אוהב לקרוא, אבל מתקשה לעשות זאת. אחד הבנים שלהם רכש לו iPad וגם מספר ספרים שהוא העלה עליו כך שאולי כך, עם אותיות גדולות מאד, הוא יוכל להמשיך להנות מהקריאה. מידי פעם אני מתיישב לידו כדי לעזור לו להמצא ברזי ה-iPad – כיצד חוזרים למסך הראשי, כיצד פותחים את האפליקציה של "הארץ", ובעיקר, כיצד לקרוא את הספרים שהבן הטעין. זה הולך לאט, אבל מתברר שגם בטוח.

לפני כמה ימים, כאשר ביקרתי אצלו, הוא הראה לי שהוא מסיים לקרוא ספר על ה-iPad, ספר שהוא התחיל, אבל לא היה יכול לסיים, במהדורה מודפסת. הוא הראה לי שהאותיות במסך היו מסודרות כך שהופיעו ארבע או חמש שורות של טקסט בכל מסך, והוא הצביע על הספר המודפס, שישב מתחת ל-iPad ותמך בו כך שהוא יישב בזווית מתאימה לקריאה (הוא מתקשה לסדר את המכסה של ה-iPad שאמור לענות על אותו צורך). אכן, הספר הדיגיטאלי היה "פתוח" לפניו, באחד העמודים האחרונים שבו. אגב, הוא סיפר לי בהתלהבות שמדובר בספר מצויין.
אז זהו. לפי הצילום אפשר להיווכח שהספר הדיגיטאלי אכן עולה על המודפס. אבל אפשר לראות שבכל זאת הדיגיטאלי נשען על המודפס.

תוויות: ,

יום חמישי, 11 ביולי 2013 

כלי לימודי (כנראה) ללא ביקוש

בזמן האחרון אינני מרבה לכתוב על כלים דיגיטאליים והמקום שהם ממלאים בתהליכי הוראה או למידה. למען האמת, הכלים האלה די הפסיקו להעסיק אותי. נדמה לי שיש שלוש סיבות ראשיות לכך.
  • קודם כל, אני חושש שרבים מדי מאיתנו בתחום התקשוב החינוכי ממשיכים לרדוף אחרי כלים חדשים בתקווה שהכלי הלימודי האולטימטיבי נמצא מעבר לפינה, או שאו-טו-טו מישהו ימציא אותו. קשה לעקור את התקווה הזאת, ואני חייב להודות שעל אף העובדה שאני מבקר אותה, במידה מסויימת אני גם שותף לה.
  • שנית, תחום פיתוח הכלים החינוכיים הפך להיות זירת התגוששות של חברות טכנולוגיות (גם ותיקות וגם סטארט-אופים) שזיהו את החינוך כשוק פוטנציאלי עצום. לכן, אנחנו "זוכים" למבול של כלים שאולי נוצצים, אבל אינם תורמים משהו ייחודי ללמידה מעבר למה שכבר נמצא אצלנו.
  • והסיבה האחרונה, ואולי הבעייתית יותר, הפיתוח של כלים "חינוכיים" דיגיטאליים היום איננו בכיוון של העצמת הלמידה, אלא בכיוון של איסוף נתונים ומעקב. אמנם מוסרים לנו שאיסוף נתונים על תהליך הלמידה (נדמה לי שנכון יותר לכתוב "על הפנמת החומר") של הלומד מסייע לשכלל את הלמידה של התלמיד, אבל למרבה הצער המציאות אחרת, והיום התקשוב משרת מגמה של ייעול ההוראה ואחידות בהישגים.
אחרי כל הביקורת הזאת יש מקום גם לסיבה חיובית: ככל שהסביבה הדיגיטאלית נעשית לסביבה "טבעית" עבור מורים ותלמידים אנחנו חדלים להתמקד בכלים. אנחנו נעשים קשובים יותר ללמידה שהכלים מאפשרים. כבר שנים אני מייחל למצב כזה בחינוך, ואם הוא אכן מתממש, זה רק לטובה.

אבל דווקא הפעם (אחרי הקדמה ארוכה מדי שאפילו סותרת את מה שנכתב בהמשך) אני כן רוצה לכתוב על כלי, או ליתר דיוק, על העלמותו של כלי. בתחילת החודש הזה חברת גוגל סגרה את ה-Google Reader, כלי שזכה אצלי לשימוש יום-יומי. ספק אם תחזוקת ה-Reader דרש משאבים רבים מחברה כמו גוגל, אבל היא כנראה בכל זאת החליטה שלא כדאי לה להמשיך לתמוך בו. אישית, אני נוטה לחשוב שההחלטה לבטל את הכלי נבעה מתכונה בסיסית שלה, תכונה שפעלה בניגוד לאינטרסים של גוגל: ה-Reader איפשר למשתמשים לקבוע לעצמם איזה מידע מגיע אליהם, ועבור גוגל העצמאות הזאת לא נחשבת ליתרון.

כמעט מיד אחרי שגוגל הכריזה על סגירת ה-Reader צצו מספר אלטרנטיבות, כך שמעבר לתקופת הסתגלות קצרה לכלי חדש הרגלי השימוש שלי ב-RSS לא ניזוקו. אבל להחלטה של גוגל להפסיק לתמוך ב-RSS יש חשיבות הרבה מעבר להרגלי העבודה האישיים שלי.

רעיון ה-RSS קיים קרוב ל-20 שנה, אם כי רק לפני כעשור, כאשר קוראי RSS מבוססי ווב הופיעו, הוא הפך לכלי שימושי של ממש, לכלי בעל השפעה מהותית על הדרך שבה אנחנו מתייחסים למידע הרב שמציף אותנו. הרעיון הבסיסי שמאחורי ה-RSS הוא שהשליטה על המידע שמגיע לקורא נמצאת בידי הקורא עצמו. במקום להכנס לאתר אחרי אתר כדי לראות מה חדש בו, באמצעות ה-RSS הידיעות החדשות באתרים שאחריהם אנחנו מעוניינים לעקוב מגיעות אלינו למקום מרכזי. בעידן של עומס מידע, עידן שבו אנחנו ניזונים מהרשת אבל גם יכולים בקלות ללכת לאיבוד בה, "ניהול הידע האישי" נעשה למיומנות חשובה ביותר, וה-RSS הוא כלי מרכזי במימוש המיומנות הזאת.

מפני שבמידה לא קטנה השימוש ב-RSS נשאר מיומנות נישה, גוגל כנראה הרגישה שהיא יכולה לסגור את ה-Reader. והאמת היא שה-RSS לא הצליח לחדור לציבור הרחב. אולי אני מגזים, אבל נדמה לי שזה אומר משהו חשוב על הגולש ה-"ממוצע". הגולש הזה כנראה איננו חש צורך ב-RSS, וזה משום שעל אף היצע המידע האדיר שברשת, מספר המקורות שאליהם הוא בוחר להגיע די מצומצם. ומפני שכך, גם בלי כלי כמו RSS הוא איננו נמצא בסכנת טביעה בים המידע. כמו-כן, יתכן שעבור הגולש הזה הצלילה לתוך נבכי הרשת איננה מתבצעת לצרכי למידה, אלא לצרכי בידור בלבד, ובגלל זה אפשר להסתפק בהגעה מזדמנת למקורות במקום לארגן את הסביבה כך שהמקורות מגיעים ישירות אליו.

כך או כך, נדמה לי שלסגירת ה-Google Reader השתמעויות חינוכיות חשובות. אם מערכת החינוך באמת מתיימרת לפתח מיומנויות מידע אצל הלומד, אמצעים להפיכת הרשת למרחב שבו הלומד היחיד מארגן את המידע הרלוונטי לצרכיו צריכים להיות יעד חשוב. אבל כאשר גוגל קוברת את קורא ה-RSS הנפוץ ביותר המערכת "מגיבה" בדממה. קשה לא לחשוב שזה מפני שעל אף מס השפתיים שמשלמים למיומנויות המאה ה-21, קברניטי המערכת אינם תופסים עד כמה ה-RSS היה צריך להיות במרכז הפעילות של הלומד העצמאי.

-- --

נדמה לי שיש טעם להוסיף כאן הערה אישית, לא כ-"צרכן" RSS, אלא ככותב בלוג. נכון להיום, ה-RSS הוא האמצעי היחיד שדרכו אני "מפיץ" את המאמרונים החדשים שאני כותב כאן. יכולתי להעזר ב-Twitter, או להעלות הודעות על מאמרונים חדשים ב-+Google (ואם היה לי חשבון פייסבוק, אפשר היה גם שם), אבל נכון לעכשיו, על אף העובדה שזה בוודאי מצמצם את התפוצה, אני משתמש רק ב-RSS. אין לי שום דבר נגד "קהילות", ואני בהחלט בעד "שיתוף". אבל אני חושש שבמסווה של המילים היפות האלו חברות ענק מקדמות את סדר היום המסחרי שלהם, ולא את האינטרסים שלי. זה גם איננו עניין של צניעות יתר. אני פועל כך מפני שאני מניח שמי שעוסק בתקשוב בחינוך מבין את החשיבות של ה-RSS, ומשתמש בו כדי לעצב את סביבת הלמידה של עצמו. אם קוראים רוצים לכלול את הבלוג הזה לתוך הסביבה שלהם, אשמח, אבל אני גם מכבד החלטה לא לעשות זאת.

ובכל זאת, אני יודע שבימי Google Reader היו לבלוג הזה מעל 90 מנויים (בכלל לא הפריע לי שקראו את המאמרונים בתוך ה-Reader במקום להקליק לתוך הבלוג; כך אני נוהג לעשות עם רוב הבלוגים שעליהם אני מנוי). היום, אינני יודע אם אותם אנשים עברו לכלי אחר. לא יהיה זה אסון אם אני אכתוב ואף אחד לא יקרא (כי הוא איננו יודע שפרסמתי משהו), אבל בוודאי עדיף שיהיו קוראים. אי-לכך, יכול להיות שאצטרך לשקול אמצעי הפצה נוספים.

תוויות: ,

יום שני, 8 ביולי 2013 

לא היה מזיק לדעת על מה מדברים

במאמרון ארוך בבלוג E-Literate מתחילת השבוע הקודם ג'ים פרמר מגולל את הסיפור (מיוני, 2012) של הפיטורין של נשיאת אוניברסיטת וירג'יניה, וחזרתה לתפקיד אחרי שלושה שבועות. מדובר בסיפור מרתק שמשקף את המידה שבה ידיעות לא מבוססות שמתפרסמות בעיתונות הפופולארית משפיעות על החלטות בהשכלה הגבוהה, החלטות שאמורות להיות מקצועיות.

ביוני של 2012 הוועד המנהל של האוניברסיטה של וירג'יניה, אוניברסיטה ציבורית אך יוקרתית, החליטה שנשיאת האוניברסיטה, תרסה סוליבן, לא פעלה מספיק בזריזות על מנת לקדם את מה שהוועד הגדיר כקורסים מקוונים.

הסיפור שפרמר מספר מבוסס על תחקירים של עיתון הסטודנטים העצמאי של האוניברסיטה (עיתון, אגב, שזוכה לפרסים). באמצעות חוק ה-Freedom of Information כתבים של העיתון קיבלו תכתובת דואר אלקטרוני של הוועד המנהל. מהתכתובת הזאת מתברר שהביקורת על חוסר הזריזות של סוליבן עלתה אחרי שכמה מאנשי הוועד המנהל קראו כתבות בניו יורק טיימס ובוואל סטריט ג'ורנל. הכתבות האלו דיווחו על קורסי MOOC ויצרו את הרושם (המאד נפוץ היום) שביכולתם של הקורסים האלה לשבש את ההשכלה הגבוהה כמעט ללא הכר. מתוך תחושה שצריכים "להיות שם", חברי הוועד המנהל הביעו את הביקורת שלהם כלפי הנשיאה ואילצו אותה להתפטר.

לסיפור הזה היבטים מעניינים רבים. אולי החשוב ביותר מאלה הוא שאותם אנשי הוועד המנהל ניזונו מהעיתונות הפופולארית בלבד. הם לא פנו להנהלת האוניברסיטה, או לסגל ההוראה, על מנת לברר את מצב הלמידה המקוונת אצלם. לו היו עושים זאת הם היו מגלים שכבר שנים לאוניברסיטה של וירג'יניה, כמו לאוניברסיטאות רבות, יש קורסים מקוונים רבים. הם אפילו היו לומדים שאיש סגל משלהם מלמד ב-MOOC של Coursera. אבל הם לא היטיבו להבחין בין קורסים מקוונים לבין קורסי MOOC. למען האמת, הם אפילו לא ניסו לעשות זאת. זה איננו מפתיע – הרי לא הנסיון בקורסים מקוונים שהצטבר באוניברסיטה, ולא איכות ההוראה, עניינו אותם. עניין אותם לא להשאר מאחור, לא להשטף בצונמי שלפי העיתונות מאיים להטביע אותם.

הסיפור של האוניברסיטה של וירג'יניה התרחש לפני שנה. פרמר מביא אותו עכשיו בעקבות כתבה של ג'ושוע קים באתר Inside Higher Ed, כתבה שמדווחת על כתבה של ג'ון טמני ב-Forbes. הכתבה של קים התפרסם לפני כחודש, וזאת של טמני מספר ימים לפני-כן. מתברר שעל אף העובדה ששנה עברה מאז הפרשה של האוניברסיטה של וירג'יניה, העיתונות ממשיכה להתבלבל בין "קורסים מקוונים" לבין קורסי MOOC. הכותרת של הכתבה של טמני ממחישה זאת:
כך בכותרת, אבל לא כך בכתבה עצמה. קים מסביר:
When Tamny is saying that online education is the next bubble he is of course not talking about the sort of online education that any of us working in the field of designing, teaching, or supporting online courses would recognize.

Tamny is talking about MOOCs.
קים כותב שיתכן שקיימת בועה בנוגע לקורסי MOOC, בועה שעתידה להתפוצץ. אבל מפני שטמני איננו מבחין בין ה-MOOC לבין הלמידה המקוונת בכללותה, קשה לקבל או לדחות את הטענה שלו. זאת ועוד: קים מדגיש שיתכן שהביקורת של טמני מתאימה למצב של קורסי MOOC היום, אבל היא בוודאי איננה תואמת את המציאות של הלמידה המקוונת בה הוא מעורב:
What is certain is that the online learning communities focus over the past decade has been on just the sort of learning that Tamny sees as most valuable. That is learning that is built around the intense exchange and development of ideas between faculty and students. Online courses are hot beds of good pedagogical practices. All of the online programs that I have worked on have been collaborations between learning designers and subject matter experts, developed on strong theoretical foundations of how people learn.
הוועד המנהל של האוניברסיטה של וירג'יניה, וג'ון טמני, אינם היחידים שאינם מצליחים להבחין בין קורסים מקוונים לבין קורסי MOOC. לפני חודשיים ה-Chronicle of Higher Education (שהיה צריך היה לדעת טוב יותר) פרסמה אינפוגרפיק שתיאר את הדמויות הבולטות בתחום ה-MOOC. הופיעה שם (עם צילום) קתי דייווידסון מאוניברסיטת דיוק. דייווידסון מאד מעורבת בהיבטים רבים של התקשוב בחינוך, אבל היא הופתעה לגלות שהיא גם נחשבת דמות מובילה בנוגע לקורסי MOOC. בעקבות הפרסום הזה היא כתבה בבלוג שלה:
... more to the point, I've been ambivalently interested in MOOCs, with more than a healthy degree of scepticism that the current form will persist in the future. On the other hand, I am interested, vitally so, in all the ways we can learn from one another online. So I'm uncomfortable with the "MOOC Major Player" sobriquet but flattered that my efforts over the last decade on behalf of digital modes of interactive and collaborative learning are being recognized here.
וכמובן שהקושי הזה מופיע גם אצלנו. לפני שלושה שבועות עיתון הארץ פרסם כתבה תחת הכותרת:
שם קראנו ש:
בעוד האקדמיה הישראלית עושה את צעדיה הראשונים בתחום, ברחבי העולם – ובעיקר בארה"ב – כבר הפכו הקורסים המקוונים לשחקן מרכזי במגרש ההשכלה הגבוהה.
אולי אפשר להבין את הבלבול שחל כאן בין קורסי MOOC לבין קורסים מקוונים. אבל קשה להבין כיצד מי שכתב את הכתבה לא ידע (או לא בדק) שכבר שנים רבות לאקדמיה בישראל, גם האוניברסיטאות וגם המכללות, יש קורסים מקוונים רבים, כולל קורסים מוצלחים מאד.

בסיום המאמרון שלו פרמר מצטט את ההצעות שקים מביא בסיום הכתבה שלו. מדובר בהצעות מאד פשוטות שמיועדות למנוע את הבלבול המתמשך הזה, ועוד יותר חשוב, למנוע פארסות כמו זאת שהתרחשה באוניברסיטה של וירג'יניה. יש טעם להביא את ההצעות האלו גם כאן:
I have a simple proposal.

Any reporter writing about online and education and MOOCs should understand the difference between the two.

Any reporter writing about online education should talk to people who have been designing and teaching online courses for the past few years. Any reporter writing about the benefits or faults of online learning should have to enroll in a quality online degree program.

And anyone that is writing about the pros and cons of residential vs. online education should experience a blended course.
אכן, הצעות די פשוטות. הן לא יכולות להזיק, אם כי סביר להניח שכל מי שמבקש לספר על השיבוש האדיר שהאינטרנט מחולל להשכלה הגבוהה יצליח, באלגנטיות, להתעלם מהן.

תוויות:

יום שבת, 6 ביולי 2013 

האם יש אמות מידה להעריך קורסי MOOC?

לפני כחודש הפרתי את השתיקה הממושכת שלי אודות ה-MOOC. תירצתי את החזרה לכתיבה על ה-MOOC בכך שלאחרונה אפשר היה להבחין בצמצום ציפיות כלפי ה-MOOC מצד אלה שדוגלים בהם. חשבתי שזה סימן להסתכלות מפוקחת יותר על התופעה במקום ההכרזות הכמעט אפוקליפטיות אודות הנושא שהתרגלנו לקרוא, והרגשתי שחשוב לציין זאת.

אבל על אף צמצום הציפיות הזה, קשה להגיד שבמשך חצי השנה האחרונה התמונה הכללית אודות ה-MOOC נעשתה ברורה יותר. יש יותר דיווחים על קורסים, הצלחות וכשלונות כאחד, אבל קשה להגיד שאלה עוזרים להבין לאן הדברים הולכים. במקום ששטף הפרסומים יוצר תמונה ברורה יותר, פושט זכינו למבול של כתבות על ה-MOOC – בעיתונים, בבלוגים, והיכן שלא פונים. כבר היום מבול המילים הזה יכול לשמש בסיס למספר תיזות דוקטורט, ולא נראה שבעתיד הקרוב שטף המילים הזה ייעצר. אבל שוב, אין זה אומר שהמידע הנוסף משכנע מישהו. קווי הוויכוח כבר צוירו – הביקורות שמופיעות היום לא ישכנעו את אלה הסבורים שמדובר בחידוש מבורך (שלא לדבר על חידוש "משבש"), והמבקרים אינם מתרשמים במיוחד מהדיווחים על קורסי MOOC מוצלחים.

בין היתר, הפער הזה נובע מהשוני בציפיות של שני הצדדים. אלה שרואים בקורסי MOOC הזדמנות להשכלה גבוהה עבור מי שלא יכול היה להשיג אותה לפני-כן, אדישים לטענות על מודל פדגוגי לקוי. אם הרצאות פרונטליות מספיק טובות לאוניברסיטאות, אז כל דבר שמביא הרצאות כאלה לציבור הרחב הוא מבורך. לעומת זאת, אלה שחושבים שהרצאות פרונטאליות אינן אמצעי למידה אפקטיבי וסבורים שההשכלה הגבוהה צריכה למצוא דרכי הוראה אחרות מטילים ספק בכך שמי שנרשם לקורסים האלה באמת לומד בהם. הם מסתכלים במודל הפדגוגי הרווח של ה-MOOC ורואים המשך של הקיים, רק בממדים גדולים יותר.

נדמה לי שמאמרון של ליסה ליין מלפני שלושה שבועות עוזר לחדד את ההבדלים האלה ולעשות קצת סדר בוויכוח.

ליין מציינת שבוויכוחים סביב ה-MOOC היא לא נתקלת בתלונות בנוגע לאיכות המידע שנמסר ללומדים בהרצאות המצולמות בקורסים. היא מוסיפה:
This means that the debate about mass pedagogy has two aspects. One is whether the lecture format itself relays good information and well-supported professorial interpretations – this seems to not be a problem. The other is based in the very old argument over whether lecture/presentation itself is good pedagogy.
ליין מלמדת היסטוריה בקולג' קהילתי קטן בדרום קליפורניה, והיא מעורבת היטב בנסיונות לגייס טכנולוגיות דיגיטאליות לשפר את ההוראה שלה ואת הלמידה של הסטודנטים שלה. ליין מקדישה מאמצים רבים לעיצוב סביבת הלמידה של הסטודנטים שלה, ומדגישה שההרצאה היא רק חלק אחד מכלל הסביבה הזאת, ואולי אפילו חלק קטן. סטודנטים עם מוטיבציה פנימית יכולים לדלות מידע מתוך הרצאות, אבל, לדעת ליין, הם עדיין זקוקים לליווי אישי כדי לצלול עמוק יותר לתוך הנושא וממש לחקור אותו:
If you are focused on individual learning and individual evaluation of that learning, either for self-improvement or to be assessed for a grade/credit/degree, then the interaction and assessment elements of xMOOCs can be disappointing. Individualized learners are self-directed enough to do the work and learn well on their own given the presentation, but their efforts at deeper exploration are adversely affected by lack of professorial contact, feedback and input.
רבים מאלה שמבקרים את ה-MOOC טוענים שקורס המוני מאבד את הקשר האישי שדרוש כדי שלמידה משמעותית תתרחש. מול הטענה הזאת התומכים בקורסי MOOC בדרך כלל משיבים שקשר מהסוג הזה קיים רק באוניברסיטאות יוקרתיות, ולא בקולג'ים קהילתיים. ליין, שכזכור מלמדת בקולג' קהילתי, איננה מוכנה לוותר על הליווי שהיא חושבת שהסטודנטים שלה זקוקים לו. עבורה הבעיה של קורסי ה-MOOC היא שהם אינם מתקדמים מעבר לשלב של מסירת מידע:
If you are focused on crowd-sourced learning and self-actualization through communication with others, xMOOCs may be disappointing for similar reasons. Presentation quality may be high, but presentation is secondary to exploration – it is just a jumping off point. With formulated discussions and automated assessments focused on absorbing that presentation content, there is less opportunity to extend exploration.
ליין טוענת שפדגוגיה של קורס נבחנת בשלושה היבטים: הפדגוגיה של הצגת המידע בקורס, הפדגוגיה של האינטראקציות בקורס, והפדגוגיה של הערכת הלמידה. לדעתה, בקורס טוב כל ההיבטים זוכים למענה מוצלח. כאשר היא בוחנת קורסי MOOC היא מוכנה להכיר בכך שהפדגוגיה של הצגת המידע מוצלחת, אבל היא לוקה בחסר בשני ההיבטים האחרים. וליין כמובן סבורה שכאשר מעריכים קורס צריכים לקחת בחשבון את כל ההיבטים האלה. לכן, היא איננה מתלהבת מקורס ה-MOOC כפי שהם קיימים היום.

קשה לא לסיים עם הערה טיפה פסימית: לטעמי, ליין מעלה נקודות חשובות שעוזרות לנו להבין למה עדיין מוקדם להתלהב מקורסי MOOC. אבל היא עצמה גם מציינת שאין חדש בדברים שהיא כותבת. וזה מחדד מציאות בעייתית – בדיון סביב הכדאיות של ה-MOOC המחנות השונים לא רק שאינם מסכימים לגבי הכדאיות הזאת, הם אפילו אינם מסכימים לגבי אמות המידה שלפיהן אפשר להעריך אותה.

תוויות:

מי אני?

  • אני יענקל
  • אני כבר בעסק הזה שנים די רבות. מדי פעם אני אפילו רואה הצלחות. יש כלים שמעוררים תאבון חינוכי, ונוצר רצון עז לבחון אותם. אך לא פעם המציאות היא שצריכים ללמוד כיצד ללמוד לפני שאפשר ליישם את ההבטחה של הכלים האלה.
    ההרהורים האלה הם נסיון לבחון את היישום הזה.

ארכיון




Powered by Blogger
and Blogger Templates