הערכת עמיתים

מבוא

הערכת עמיתים היא אסטרטגיית הוראה יעילה, המבוססת של שיתוף ומעורבות לומדים בתהליך ההערכה, המתאימה במיוחד להשגת המטרות של הוראה אקדמית בתחומי תוכן שונים. מחקרים מצביעים על התאמה טובה בין הציונים וההערכות של הסגל לבין ההערכות שנותנים סטודנטים. לכן, ניתן להשתמש בהערכות שנותנים סטודנטים.

הערכת עמיתים היא משימה ברמת חשיבה גבוהה, המאפשרת לסטודנטים להכיר את הקריטריונים המשמשים להערכת עבודותיהם, ותורמת לסטודנטים בקידום ההבנה וטיפוח כישורים מקצועיים. ממחקרים עולה כי הערכת עמיתים היא אסטרטגיה יעילה להעצמת תהליך הלמידה ולהגברת המוטיבציה (Conway et al., 1993; Falchikov & Goldfinch, 2000 ).

מערכת ה-Moodle מאפשרת יישום יעיל של הערכת עמיתים בהוראה, תוך שמירה על אנונימיות, נגישות לעבודות עמיתים ולקריטריונים להערכה, אפשרות להגשה מקוונת של ההערכה, עיבוד אוטומטי של הנתונים והצגת תוצאות ההערכה.

הערכת עמיתים במערכת ה-Moodle

• בפעילות הערכת עמיתים ב- Moodle, סטודנט מגיש עבודה, ובהמשך, מבצע הערכה של מספר עבודות שהוגשו על ידי עמיתים.
• בפעילות 'הערכת עמיתים', סטודנטים מקבלים שני ציונים (1) ציון על הגשת העבודה (2) ציון על סמך הערכות עמיתיהם. שני הציונים נרשמים בגיליון הציונים של הקורס.

פעילות הערכת עמיתים כוללת חמישה שלבים, והמרצה מעביר את המטלה משלב לשלב, בהתאם להתקדמות:

היערכות: מרצה מגדיר את מאפייני הפעילות, לוח הזמנים והמחוון (ניתן לחזור לשלב זה גם בהמשך). בשלב זה, ניתן להעלות דוגמה להערכה.

הגשה: סטודנטים מגישים עבודות, בהתאם להנחיות המרצה.

המרצה מגדיר עבודות להערכה בהקצאה ידנית או לחלופין, בהקצאה אוטומטית.

הערכת עמיתים: סטודנטים מעריכים עבודות של עמיתים באמצעות מחוון (טופס הערכה) מובנה, המכיל קריטריונים להערכה (מחוונים) שהוגדרו ע"י המרצה.

הערכה ומתן ציון: המערכת מקצה באופן אוטומטי, ציונים המורכבים מהציון על העבודה שהוגשה ומציון על איכות ההערכה

סגירה: הציונים מועברים לגיליון הציונים שבמערכת ה-Moodle  וכל סטודנט יכול לראות את ההערכות שקיבל מחבריו.

המלצות ליישום הערכת עמיתים בקורס

• נדרשת הסברה מקדימה - סטודנטים ייהנו יותר מסוג זה של פעילות, אם יבינו כיצד תתרום להם ההתנסות בהערכה.

ההכנה צריכה לכלול רציונל לפדגוגיה, הנחיות עבודה, לוח זמנים, התייחסות לקריטריונים להערכה, והדרכה איך לתת משוב טוב. – כל אלה עשויים למנוע התנגדות, להפחית הטיה, ולשפר את התוקף.

בנוסף, מומלץ לתרגל הערכה, תוך הצגה של דוגמאות של הערכה טובה והערכה גרועה...

• מומלץ לבחור בתרגיל/משימה שכבר נבדקו בסמסטרים קודמים, ונמצאו תקינים ומהימנים.
• בשלב ההיערכות, הגדרת המחוון היא קריטית! המחוון (טופס הערכה) הכולל קריטריונים ורמות ביצוע, מסייע ומדריך את הסטודנטים במתן הערכה ודרוג. איכות המחוון תשפיע על איכות ההערכות (ר' Miller, 2003).
• הנחו את הסטודנטים להצדיק/לנמק את ההחלטות והציונים, כדי למנוע שיקולים זרים במתן הציונים...
• מומלץ לפרסם את הקריטריונים בשלב מוקדם, כדי שידריכו את הסטודנטים כבר בשלב הכנת העבודה.
• מומלץ לשקול מהי המטרה של שילוב הסטודנטים בהערכה ובהתאם, מהי הדרך המועדפת להקצאת עבודות להערכה, למשל: הגדרת קבוצות של סטודנטים (2-4), שיבצעו הערכה הדדית.
• מומלץ לאפשר הערכת עמיתים ו/או הערכה עצמית כבונוס או כרשות ולא כחובה (ר'(Komarov  & Gajos, 2014).
• המרכז לקידום הלמידה וההוראה מציע תמיכה פדגוגית ותמיכה טכנולוגית ומענה ידידותי לשאלות.
  בנוסף, פורום המפתחים של מערכת ה- Moodle מציע תמיכה ומענה על שאלות.

מקורות

• Falchikov, N and Goldfinch, J. (2000). Comparing Peer and Teacher Marks Student Peer Assessment in Higher Education: A Meta-Analysis. Review of Educational Research. Vol 70 (3). pp287-322.
• Conway, R., Kember, D. Sivan, A. and Wu, M. (1993) Peer Assessment of an Individuals Contribution to a Group Project. Assessment and Evaluation in Higher Education, 18 (1) 45-56.
• Komarov,  S., Gajos , J. K. (2014). Organic Peer Assessment
• www.eecs.harvard.edu/~kgajos/papers/2014/komarov14organic.pdf
•  Miller, P. J., (2003). “The Effect of Scoring Criteria Specificity on Peer and Self-Assessment”, Assessment & Evaluation in Higher Education, Volume 28, No 4, pp 383-394.

נכתב ע"י ד"ר אירית ורטהיים

שלב 1 - יצירת הסדנה

שלב זה מיועד לקביעת ההגדרות של הפעילות והוא גלוי רק לעורך (מורה).

א. שם לסדנה  - מומלץ לתת שם ברור ותמציתי.

ב. אסטרטגיית הציונים – אסטרטגיית הציונים תקבע כיצד ייראה טופס ההערכה, וכיצד יחושב הציון הסופי על כל מרכיביו, במטלה נתונה. שימו לב: לא ניתן לשנות את אסטרטגיית הציונים לאחר הגשת המטלה.

• אסטרטגיית הציונים:
  • ציון מצטבר - הערות וציון ניתנים ביחס להיבטים שצוינו
  • הערות – ניתנות ביחס להיבטים שצוינו, אך לא ניתן לתת ציון
  • מספר השגיאות – ניתנים הערות והערכה בסגנון של נכון/לא נכון
  • מחוון - ניתנת הערכת ביצוע, ביחס לקריטריונים שנקבעו מראש

• ציון הסטודנט בפעילות סדנה הוא הסכום של:
  • ציון ההגשה: ציון מחושב על בסיס הממוצע המשוקלל של הציונים שניתנו במהלך תהליך הערכת העמיתים.
  • ציון ההערכה: ציון מחושב באופן אוטומטי ע"י בדיקת התאימות בין ההערכות השונות (של משתתפים שונים). החישוב נעשה בצורה אוטומטית.

ההמלצה: להגדיר עבור ציון ההערכה וציון ההגשה 100, ואת השקלול לעשות בדוח הציונים הכללי.

ניתן גם לאפשר הערכה עצמית.

ג. הגדרות ההצגה - מה יוצג למשתתף כאשר הוא מתבקש להגיש את העבודה: הוראות הגשה ובהמשך הנחיות הערכה.

ד. זמינות: טווח הזמן המוקצה להגשה ולהערכה

ה. סיכום: משוב כללי שייכתב ע"י המרצה (מתחת למשוב).

שלב ב - שימוש בהערכת עמיתים

הכנסו למשימת הערכת עמיתים בתפריט.

הסדנה מאורגנת בשלבים.

בצידו של כל שלב מוצגת 'נורה' המשמשת למעבר בין השלבים השונים.

1. שלב הגדרת מחוון – המחוון הוא סט של קריטריונים המשמשים את הסטודנטים בהערכת עבודות חבריהם. הכנת המחוון מחייבת חשיבה ותכנון, ולכן מומלץ להכין מראש.

המורה נדרש לקבוע לקבוע ציון מרבי ומשקל עבור כל אחד מהקריטריונים.

ברירת המחדל הנה הגדרת 3 קריטריונים, אך קיימת אפשרות להוסיף קריטריונים נוספים.

סכום כלל הציונים הניתנים לקריטריונים השונים מהווה את הציון המלא למטלה. המערכת לא תאפשר להתקדם לשלב הבא, כל עוד הסכום לא תואם את ההגדרות הקודמות.

2. שלב ההגשה

בשלב זה הסטודנטים מעלים את עבודותיהם והעבודות מוקצות לבדיקה. זהו שלב מקדים לשלב ההערכה, וניתן להתחיל בהערכה רק לאחר סיום ההגשה.

מומלץ להעלות דוגמאות להגשה על מנת לסייע לסטודנטים ולמקד את ההערכה.

מומלץ להסב את תשומת ליבם של הסטודנטים כי מטלה זו מאפשרת הגשה אחת בלבד!

א. הגשות - קיים מעקב על כמות העבודות שהוגשו עד כה וכמות העבודות שצפוייה להתקבל (בהתאם למספר הסטודנטים הרשומים לקורס).

לאחר ההגשה מקבל סטודנט שהגיש, הודעה כי העבודה התקבלה, ובהמשך יקבל הודעה במייל כאשר יוגש משוב על עבודתו.

ב. הקצאת הגשות (להערכה) – חלוקת העבודות להערכה בין הסטודנטים. מומלץ שכל סטודנט יקבל מספר אי זוגי של עבודות להערכה.

לחיצה על "הקצאת הגשות" תפתח את המסך הבא:

ניתן להבחור את שיטת ההקצאה: הקצאה ידנית (המורה בוחר עבור כל סטודנט אילו עבודות יעריך), הקצאה אקראית (יש לבחור כמה סטודנטים יעריכו כל עבודה והמערכת מחלקת באופן אקראי את העבודות בין הסטודנטים) או הקצאה מתוזמנת (זהה לשיטה האקראית ובנוסף מתבצע באופן אוטומטי בסיום מועד ההגשות).

עם סיום ההקצאה, יש ללחוץ על שם המטלה (בראש העמוד) כדי לחזור לדף המטלה.

שלב 3. שלב ההערכה

בשלב זה, הסטודנטים מעריכים את העבודות של חבריהם באמצעות טופס ההערכה שהוגדר מראש (מחוונים להערכה).

עבור כל עבודה שיש להעריך, הסטודנט צריך לפתוח את הקובץ ולמלא משוב בהתאם לדרוג הציונים שנקבע ובתוספת הערות.
* הסטודנט המעריך, יכול להוריד את הקובץ אליו למחשב, לכתוב הערות ולשלוח את הקובץ עם ההערות חזרה, אל הסטודנט שהגיש את המטלה.

שימו לב! ברירת המחדל של הערכת עמיתים היא כי סטודנטים יכולים לדעת מי היוצר של המטלה אותה הם בודקים. על מנת לבצע את התהליך בצורה אנונימית - יש לבקש מצוות התקשוב (ד"ר אולגה צ'ונטונוב, olgac@tx.technion.ac.il או בטלפון 2726) לשנות את ההרשאות.

 המורים יכולים לראות טבלה המרכזת את המטלות שהועלו, את המשובים ואת הציונים שניתנו.

מורה יכול לשנות את המשקל שמקבלת הערכה מסוימת על הציון הכולל, או לעקוף את ההערכה המספרית של הסטודנט, להעניק ציון אחר או הערכה מילולית. אם לא יקבע אחרת הציון ייקבע כממוצע המשובים.

* בסוגריים מתקבל ציון על ההערכה שהמשתתף נתן (איכות ההערכה אשר מחושבת ע"י המערכת).

שלב 4. מתן ציונים

בשלב זה, המרצה יראה את סיכום הפעילות של הסטודנטים (הגשה והערכה) והציונים יתעדכנו באופן אוטומטי.

המערכת מבצעת חישוב אוטומטי לשקלול ההערכות (ברירת מחדל – ממוצע).

כל סטודנט מקבל שני ציונים:

• ציון על העבודה שלו (ממוצע)
• ציון על ההערכה שלו – איכות ההערכה (מופיע בסוגריים) הקרבה/הסטייה אל הממוצע

שלב 5. סגירה 

לאחר חישוב כל הציונים – יוצג סיכום לפעילות, אשר יוכן ע"י המרצה.

קישורים להדרכות נוספות

מדריכים כתובים:

Workshop module (from Moodle)

Create a Workshop Activity in Moodle (from UNSW)

Workshop activity for peer assessment (from UCL)

סרטוני הדרכה:

Using the 'Workshop' module for self and peer assessment in Moodle (iTeachWithMoodle)

Moodle2 Workshop (by Gavin Henrick)