מהימנות מתארת את מידת העקביות של כלי המדידה, ואילו תוקף מתאר עד כמה הכלי אכן מודד את המושג שהוא נועד למדוד. כלי יכול להפיק תוצאות עקביות מאוד ובכל זאת למדוד את הדבר הלא נכון. לכן, הצגה נכונה של איכות המחקר מחייבת להתייחס גם למהימנות וגם לתוקף, להסביר כיצד נבדקו ולדווח על התוצאות באופן מדויק.
מהימנות ותוקף הם שניים מהמושגים החשובים ביותר בהערכת איכותם של מחקרים וכלי מדידה. הם מופיעים לעיתים קרובות בפרק השיטה, בניתוח הממצאים ובדיון במגבלות המחקר. למרות הקשר ביניהם, אין מדובר במילים נרדפות: כל אחד מהם בוחן היבט אחר של איכות המדידה.
במאמר זה נסביר מהי מהימנות, מהו תוקף, אילו סוגים קיימים, כיצד בודקים אותם ואיך מציגים אותם בצורה נכונה במסגרת עבודה סמינריונית או מחקר אקדמי אחר.
מה ההבדל בין מהימנות לתוקף?
ההבדל המרכזי בין מהימנות לתוקף נמצא בשאלה שכל אחד מהם מבקש לענות עליה:
- מהימנות: האם כלי המדידה מספק תוצאות עקביות ויציבות?
- תוקף: האם כלי המדידה אכן מודד את המושג שאותו הוא אמור למדוד?
אפשר להמחיש זאת באמצעות משקל ביתי. אם אדם שמשקלו האמיתי 70 קילוגרם נשקל מספר פעמים והמשקל מציג בכל פעם 75 קילוגרם, המדידה עקבית ולכן עשויה להיות מהימנה. עם זאת, היא אינה מדויקת ואינה משקפת את המשקל האמיתי, ולכן תוקפה נמוך.
| מאפיין | מהימנות | תוקף |
|---|---|---|
| השאלה המרכזית | האם התוצאות עקביות? | האם נמדד המושג הנכון? |
| מוקד הבדיקה | יציבות, עקיבות והסכמה בין מדידות | דיוק והתאמה בין המדידה למושג התאורטי |
| דוגמה לבדיקה | אלפא של קרונבאך או מבחן חוזר | תוקף תוכן, תוקף מבנה או תוקף קריטריון |
| האם הכלי מספיק בפני עצמו? | לא. כלי מהימן אינו בהכרח תקף | כלי תקף נדרש בדרך כלל להפגין גם מהימנות מספקת |
מהי מהימנות במחקר?
מהימנות, Reliability באנגלית, היא המידה שבה כלי מדידה מפיק תוצאות עקביות בתנאים דומים. כאשר כלי נחשב מהימן, ניתן לצפות שהשימוש בו לא יניב תוצאות שונות מאוד בגלל תנודות מקריות, ניסוח לא ברור או חוסר אחידות בתהליך המדידה.
מהימנות אינה מעידה בהכרח על נכונות התוצאה. היא מלמדת בעיקר על כך שהמדידה אינה משתנה באופן שרירותי. סוג המהימנות שיש לבדוק תלוי במבנה הכלי, באופן איסוף הנתונים ובמטרת המחקר.
מהימנות כעקביות פנימית
עקביות פנימית בוחנת עד כמה פריטים שונים שנועדו למדוד את אותו משתנה אכן קשורים זה לזה. לדוגמה, אם שאלון למדידת חרדת בחינות כולל עשרה היגדים, נרצה לבדוק האם ההיגדים פועלים יחד כמדד סביר לאותו מבנה.
אחד המדדים הנפוצים לבחינת עקביות פנימית הוא אלפא של קרונבאך. ערך גבוה יותר מעיד בדרך כלל על קשר חזק יותר בין פריטי הסולם, אך אין להתייחס לערך סף מסוים כאל כלל מוחלט. הפרשנות צריכה להביא בחשבון את מטרת המחקר, מספר הפריטים, מורכבות המושג והמקובל בתחום הדעת.
אלפא גבוהה במיוחד אינה תמיד יתרון. לעיתים היא עשויה להצביע על כך שכמה מהפריטים כמעט זהים ולכן אינם מוסיפים מידע משמעותי. נוסף על כך, אלפא של קרונבאך אינה מוכיחה שכל הפריטים מודדים ממד אחד בלבד ואינה מעידה בפני עצמה על תוקף השאלון.
מהימנות מבחן חוזר
מהימנות מבחן חוזר, Test-Retest Reliability, נבדקת באמצעות העברת אותו כלי לאותה קבוצת משתתפים בשתי נקודות זמן. לאחר מכן בוחנים את מידת הדמיון בין התוצאות.
בדיקה זו מתאימה בעיקר למשתנים שאמורים להישאר יציבים בתקופה שנבחרה. אם חוקרים מצב שעשוי להשתנות במהירות, כמו מצב רוח רגעי, הבדל בין שתי המדידות אינו בהכרח עדות לבעיה בכלי. ייתכן שהמשתנה עצמו השתנה.
מהימנות בין שופטים
מהימנות בין שופטים בוחנת את מידת ההסכמה בין שני מעריכים או יותר. היא חשובה כאשר קידוד הנתונים תלוי בשיקול דעת אנושי, למשל בניתוח התנהגות מצולמת, בדירוג תשובות פתוחות או בסיווג תכנים לקטגוריות.
לא מספיק לציין שהחוקרים דנו ביניהם. רצוי להסביר כיצד הוגדרו הקטגוריות, האם נערכה הכשרה למקודדים, איזה חלק מהנתונים נבדק על ידי יותר ממעריך אחד ובאיזה מדד חושבה ההסכמה.
מהימנות של נוסחים מקבילים
במקרה זה משווים בין שתי גרסאות שונות אך שקולות של אותו כלי. בכל גרסה מופיעים פריטים אחרים שאמורים למדוד את אותו משתנה ובאותה רמת קושי. מהימנות זו שימושית כאשר רוצים לצמצם את השפעת הזיכרון או כאשר יש צורך לבצע מדידות חוזרות בלי להשתמש בדיוק באותן שאלות.
מהו תוקף במחקר?
תוקף, Validity באנגלית, מתייחס למידה שבה הראיות והטיעונים תומכים בפרשנות שהחוקר מעניק לתוצאות המדידה. בניסוח פשוט יותר, תוקף עוסק בשאלה האם הנתונים מאפשרים להסיק את המסקנה שהחוקר מבקש להסיק.
חשוב להימנע מהכרזה כללית שלפיה "השאלון תקף". תוקף אינו תווית קבועה שיש לכלי בכל מצב. כלי עשוי להתאים לאוכלוסייה מסוימת, לשפה מסוימת ולמטרת מדידה מסוימת, אך לא להתאים אוטומטית לאוכלוסייה, לתרבות או לשימוש אחרים.
תוקף פנים
תוקף פנים מתאר עד כמה הכלי נראה, על פניו, מתאים למדידת המושג. לדוגמה, שאלון למדידת שביעות רצון מהלימודים שמכיל שאלות על איכות ההוראה, העומס והיחס לסטודנטים עשוי להיראות רלוונטי למטרתו.
זהו סוג בסיסי וחלש יחסית של ראיה, משום שהתרשמות הגיונית אינה מוכיחה שהכלי אכן מודד את המושג באופן תקף. בכל זאת, לתוקף פנים עשויה להיות חשיבות מעשית: שאלון שנראה לא רלוונטי עלול לפגוע במוטיבציה של המשתתפים להשיב ברצינות.
תוקף תוכן
תוקף תוכן בוחן האם פריטי הכלי מכסים באופן מספק את מכלול ההיבטים של המושג הנמדד. למשל, אם כלי למדידת שחיקה בעבודה כולל רק שאלות על עייפות, אך מתעלם מריחוק רגשי ומתחושת הישג מקצועי, ייתכן שכיסוי התוכן שלו חלקי.
תוקף תוכן נבדק בדרך כלל באמצעות הגדרה תאורטית ברורה של המושג, עיון במחקרים קודמים ובחינה של הפריטים על ידי מומחים בתחום. לכן קיים קשר הדוק בין ביסוס התוקף לבין כתיבת סקירת ספרות מקיפה.
תוקף מבנה
תוקף מבנה, Construct Validity, בוחן האם כלי המדידה מתנהג בהתאם לציפיות התאורטיות ביחס למושג מופשט, כגון חרדה, מוטיבציה, אמון או מסוגלות עצמית. הבדיקה עשויה לכלול ניתוח גורמים ובחינת קשרים בין המדד לבין משתנים אחרים.
שתי ראיות מרכזיות לתוקף מבנה הן:
- תוקף מתכנס: המדד קשור למדדים אחרים שאמורים, על פי התאוריה, למדוד מושגים דומים או קרובים.
- תוקף מבחין: המדד מובחן ממדדים של מושגים שונים שאינם אמורים להיות זהים לו.
לדוגמה, שאלון חדש למדידת חרדה חברתית אמור להציג קשר מסוים עם שאלון חרדה מוכר, אך לא להיות זהה לחלוטין למדד של דיכאון או להערכה כללית של שביעות רצון מהחיים.
תוקף קריטריון
תוקף קריטריון בוחן את הקשר בין תוצאות הכלי לבין מדד חיצוני רלוונטי. כאשר הקריטריון נמדד באותו זמן מדובר בדרך כלל בתוקף בו-זמני. כאשר הכלי אמור לנבא תוצאה שתתרחש בעתיד, מדובר בתוקף ניבוי.
לדוגמה, אפשר לבדוק האם מבחן מיון חדש קשור לביצועי המועמדים במבחן מקובל שכבר נמצא בשימוש. לחלופין, ניתן לבדוק האם הציונים במבחן מנבאים הצלחה עתידית בלימודים או בתפקיד מקצועי.
תוקף פנימי ותוקף חיצוני
המונחים תוקף פנימי ותוקף חיצוני מתייחסים לתכנון המחקר ולמסקנותיו, ולא רק לאיכות השאלון:
- תוקף פנימי: באיזו מידה ניתן לייחס את התוצאה לגורם שנבדק, ולא להסבר חלופי כמו הטיית בחירה, אירוע חיצוני או הבדל מוקדם בין הקבוצות.
- תוקף חיצוני: באיזו מידה ניתן להכליל את הממצאים מעבר למשתתפים, לתנאים ולתקופה שבהם נערך המחקר.
מחקר יכול להיות בעל תוקף פנימי גבוה אך תוקף חיצוני מוגבל. ניסוי מבוקר מאוד במעבדה, למשל, עשוי לאפשר זיהוי משכנע של קשר סיבתי, אך לא בהכרח לשקף את ההתנהגות בסביבה טבעית.
האם כלי מהימן הוא בהכרח כלי תקף?
לא. מהימנות היא תנאי חשוב לתוקף, אך אינה מספיקה כדי להוכיח אותו. אם כלי מפיק תוצאות לא עקביות, קשה לטעון שהוא מודד באופן מדויק את המושג הרצוי. לעומת זאת, כלי יכול להיות עקבי מאוד ועדיין למדוד משתנה אחר מזה שהחוקר התכוון למדוד.
לדוגמה, שאלון שנועד למדוד ביטחון עצמי עשוי לכלול בעיקר שאלות על מוחצנות. התשובות יכולות להיות עקביות מאוד והאלפא של קרונבאך עשויה להיות גבוהה, אך הדבר אינו מוכיח שהשאלון מודד ביטחון עצמי ולא מוחצנות.
איך בודקים מהימנות ותוקף במחקר?
בחירת הבדיקה צריכה להתבסס על מטרת המחקר, סוג הנתונים, מאפייני הכלי והטענות שהחוקר מבקש לבסס. זהו חלק מתהליך הבחירה של מתודולוגיה מתאימה, ולא פעולה טכנית שמבצעים באופן זהה בכל עבודה.
- מגדירים במדויק את המשתנה: מסבירים מהו המושג התאורטי ואילו ממדים הוא כולל.
- בוחרים כלי מתאים: מעדיפים, כאשר הדבר אפשרי, כלי שפורסם בעבר ושנבדק באוכלוסייה דומה.
- מתאימים את הכלי להקשר: מתעדים תרגום, שינוי ניסוח, קיצור שאלון או התאמה תרבותית.
- מבצעים מחקר מקדים: פיילוט עשוי לחשוף שאלות לא ברורות, קשיי מילוי או בעיות בתהליך המדידה.
- בוחרים מדד מהימנות מתאים: לדוגמה, עקיבות פנימית, מבחן חוזר או הסכמה בין שופטים.
- אוספים ראיות לתוקף: משלבים ביסוס תאורטי, הערכת מומחים וניתוחים אמפיריים מתאימים.
- מדווחים בשקיפות: מציגים את שיטת הבדיקה, המדגם, התוצאות והמגבלות.
כאשר הבדיקה כוללת חישוב אלפא, מתאמים, ניתוח גורמים או מדדי הסכמה, יש לתכנן מראש את הניתוח הסטטיסטי ולא לבחור בדיקה רק לאחר איסוף הנתונים.
איפה מציגים מהימנות ותוקף בעבודה אקדמית?
המידע אינו חייב להופיע כולו במקום אחד. החלוקה תלויה בהנחיות המוסד ובמבנה העבודה, אך בדרך כלל משתמשים במבנה הבא:
בסקירת הספרות
כאשר המחקר משתמש בכלי קיים, ניתן להציג את המקור התאורטי שלו וממצאים מרכזיים ממחקרים קודמים. יש לציין אילו סוגי מהימנות ותוקף נבדקו ובאיזו אוכלוסייה, ולא להסתפק במשפט כללי שלפיו מדובר ב"שאלון תקף ומהימן".
בפרק שיטת המחקר
בפרק שיטת המחקר מציגים את הכלי, מספר הפריטים, סולם התשובות, אופן חישוב הציון ותהליך ההתאמה למחקר הנוכחי. כאן גם מסבירים כיצד תוכננה בדיקת המהימנות או התוקף.
בפרק הממצאים
בפרק זה מדווחים על תוצאות הבדיקות שבוצעו בנתוני המחקר הנוכחי. למשל, אפשר להציג את מקדם המהימנות של כל סולם או תת-סולם. אין להניח שמקדם שדווח במאמר קודם בהכרח מתקיים גם במדגם החדש.
בפרק הדיון
במסגרת פרק הדיון והמסקנות מסבירים כיצד איכות המדידה משפיעה על פרשנות התוצאות. אם נמצאה מהימנות נמוכה, אם לא נאספו מספיק ראיות לתוקף או אם הכלי הותאם לאוכלוסייה חדשה, יש להציג זאת כמגבלה ולהימנע ממסקנות רחבות מדי.
דוגמה לניסוח מהימנות בעבודה אקדמית
ניסוח מתאים אינו מסתפק בהצגת מספר. עליו להסביר מה נבדק, באיזה כלי, באיזה מדגם ומה משמעות התוצאה.
תחושת המסוגלות העצמית נמדדה באמצעות שאלון בן שמונה פריטים בסולם תשובות שנע בין 1, "כלל לא מסכים", ל-5, "מסכים מאוד". במחקר הנוכחי נבדקה העקיבות הפנימית של הסולם באמצעות אלפא של קרונבאך, ונמצאה מהימנות של α = .84. בהתאם לכך חושב לכל משתתף ציון ממוצע של פריטי הסולם, כאשר ציון גבוה יותר מייצג תחושת מסוגלות גבוהה יותר.
אם לכלי יש כמה ממדים, רצוי לדווח על המהימנות של כל תת-סולם בנפרד ולא רק על כלל הפריטים יחד.
דוגמה לניסוח תוקף בעבודה אקדמית
תוקף התוכן של השאלון נבחן על ידי שלושה מומחים בתחום החינוך, שהתבקשו להעריך את התאמת הפריטים להגדרה התאורטית של מעורבות בלמידה. בעקבות הערותיהם שונו שני פריטים והוסר פריט שנמצא חופף לפריט אחר. נוסף על כך, הקשר החיובי שנמצא בין ציוני השאלון לבין מדד קיים של מוטיבציה ללמידה סיפק ראיה לתוקף המתכנס של הכלי.
הניסוח משתמש במונח "ראיה לתוקף" ולא מציג את התוקף כעובדה מוחלטת. זוהי דרך מדויקת יותר לתאר את המסקנה שניתן להסיק מבדיקה מסוימת.
איך מציגים מהימנות ותוקף במחקר איכותני?
במחקר איכותני מקובל לעיתים להשתמש במושגים המתאימים לאופיו הפרשני של המחקר, כגון אמינות, יכולת העברה, עקיבות ואפשרות לאימות. המטרה עדיין דומה: להראות שהממצאים נשענים על תהליך מחקר שיטתי, שקוף ומשכנע.
- אמינות הממצאים: ניתן לחזק באמצעות שהות מספקת בשדה, הצלבת מקורות, תיאור מפורט ובדיקת פרשנויות חלופיות.
- יכולת העברה: מושגת באמצעות תיאור עשיר של המשתתפים וההקשר, המאפשר לקוראים לשפוט אם הממצאים רלוונטיים להקשרים אחרים.
- עקיבות: מחייבת תיעוד ברור של שלבי איסוף הנתונים, הקידוד, גיבוש הקטגוריות וקבלת ההחלטות.
- אפשרות לאימות: מתחזקת כאשר ניתן לעקוב אחר הקשר בין חומרי הגלם, הפרשנות והמסקנות.
שיטות אפשריות לחיזוק איכות המחקר כוללות טריאנגולציה, תיעוד יומן מחקר, הצגת ציטוטים מייצגים, קידוד על ידי חוקר נוסף, דיון במקרים סותרים ורפלקסיביות בנוגע להשפעת החוקר. אין צורך להשתמש בכל השיטות בכל מחקר, אלא לבחור את אלה שמתאימות לשאלת המחקר ולגישה האיכותנית.
טעויות נפוצות בהצגת מהימנות ותוקף
- שימוש במושגים כאילו הם זהים: עקביות המדידה אינה מוכיחה שהיא מודדת את המשתנה הרצוי.
- כתיבה שהכלי "תקף ומהימן" ללא ראיות: יש לציין אילו בדיקות בוצעו ומה היו תוצאותיהן.
- הסתמכות רק על מחקר קודם: רצוי לבדוק ולדווח על מהימנות הכלי גם במדגם הנוכחי.
- הצגת אלפא של קרונבאך כהוכחה לתוקף: אלפא בוחנת עקיבות פנימית ואינה מעידה לבדה על תוקף.
- דיווח על אלפא אחת לשאלון רב-ממדי: כאשר קיימים תתי-סולמות נפרדים, יש לבחון כל אחד בהתאם למבנה התאורטי.
- התעלמות משינויים בכלי: תרגום, קיצור או שינוי ניסוח עשויים להשפיע על מאפייני המדידה.
- בחירת ערך סף ללא הסבר: יש לפרש את המדד בהקשר של תחום המחקר, סוג הכלי והשימוש המיועד.
- הסתרת מגבלות: מהימנות או תוקף מוגבלים אינם סיבה להשמיט מידע, אלא נתון שיש להביא בחשבון בפרשנות.
רשימת בדיקה לפני הגשת העבודה
- האם הוגדר בבירור מה כל משתנה אמור למדוד?
- האם צוין מקורו של כל שאלון או כלי מדידה?
- האם תוארו מספר הפריטים, סולם התשובות ואופן חישוב הציון?
- האם הוסברו תרגום, קיצור או התאמה שבוצעו בכלי?
- האם נבחרה בדיקת מהימנות שמתאימה למבנה הכלי?
- האם הוצגו ראיות רלוונטיות לתוקף ולא רק טענה כללית?
- האם דווחו התוצאות מהמדגם הנוכחי?
- האם מגבלות המדידה נלקחו בחשבון בדיון ובמסקנות?
עיון במבנה של עבודה סמינריונית לדוגמא יכול לעזור להבין היכן מופיעים תיאור הכלים, בדיקות המהימנות ומגבלות התוקף. עם זאת, יש להתאים את הדיווח לכללי המוסד, לשאלת המחקר ולשיטה שנבחרה.
שאלות נפוצות על מהימנות ותוקף
מה חשוב יותר, מהימנות או תוקף?
שניהם חשובים, אך הם אינם ניתנים להחלפה. כלי לא עקבי מקשה על קבלת מדידה תקפה, ואילו מהימנות גבוהה לבדה אינה מבטיחה שנמדד המשתנה הנכון.
האם אלפא של קרונבאך בודקת תוקף?
לא. אלפא של קרונבאך משמשת להערכת העקיבות הפנימית של קבוצת פריטים. היא אינה מוכיחה תוקף תוכן, תוקף מבנה או תוקף קריטריון.
איזה ערך של אלפא נחשב טוב?
אין ערך יחיד שמתאים לכל מחקר. נהוג לפרש את התוצאה בהתאם למטרת המדידה, מספר הפריטים, מאפייני המשתנה והמקובל בתחום. לכן רצוי להימנע מקביעה אוטומטית המבוססת רק על חציית ערך סף.
האם צריך לבדוק מהימנות של שאלון שכבר פורסם?
בדרך כלל רצוי לדווח על המהימנות שהתקבלה במדגם הנוכחי. מהימנות היא מאפיין של ציוני המדידה בהקשר מסוים, ולכן תוצאה ממחקר קודם אינה מבטיחה תוצאה זהה באוכלוסייה חדשה.
האם תרגום שאלון משפיע על התוקף?
כן. תרגום עלול לשנות משמעויות, רמת קושי והקשרים תרבותיים. יש לתאר את שיטת התרגום וההתאמה ולבחון מחדש ראיות למהימנות ולתוקף בגרסה המתורגמת.
האם אפשר לשפר מהימנות באמצעות הסרת פריטים?
לעיתים הסרת פריט בעייתי משפרת את העקיבות הפנימית, אך אין להסיר פריטים רק כדי להעלות מדד סטטיסטי. יש לבדוק את חשיבות הפריט להגדרה התאורטית ואת השפעת ההסרה על תוקף התוכן.
לסיכום
מהימנות ותוקף מספקים שתי נקודות מבט משלימות על איכות המחקר. מהימנות עוסקת בעקביות המדידה, בעוד שתוקף עוסק בהתאמה בין המדידה, המושג התאורטי והמסקנות שמסיקים מן הנתונים.
הצגה אקדמית טובה אינה מסתפקת בקביעה שהכלי תקף ומהימן. היא מסבירה מה נמדד, באיזה כלי, אילו בדיקות נערכו, מה התקבל ומהן מגבלות המדידה. תכנון מוקדם ודיווח שקוף יחזקו את איכותן של עבודות אקדמיות ויאפשרו לקוראים להעריך בצורה מושכלת את אמינות הממצאים והמסקנות.
