מדריך מעשי והערכה לשימוש ב-ChatGPT לביצוע תיאוריה מעוגנת: מדריך שימוש

מבוא

עם התפתחות הבינה המלאכותית הגנרטיבית, ובפרט מודלים כגון ChatGPT, נפתחות אפשרויות חדשות לניתוח נתונים איכותניים במחקר האקדמי. ChatGPT, שפותח על ידי OpenAI ושוחרר בנובמבר 2022, הוכיח את יכולתו לעבד ולנתח שפה טבעית ביעילות, מה שהפך אותו לכלי שימושי למשימות כגון ניתוח נושאי, חילוץ נתונים ומחקר איכותני. עם זאת, תפקידו בניתוח תיאוריה מעוגנת (grounded theory) לא נחקר עד כה בצורה שיטתית.

תיאוריה מעוגנת היא שיטת מחקר נפוצה בתחום המחקר הבריאותי, המפתחת תובנות תיאורטיות באמצעות שלושה שלבי קידוד: פתוח, צירי ובררני. שיטה זו מתאימה במיוחד לניתוח באמצעות ChatGPT, שכן היא מבוססת על עיבוד שפה. סקירת מחקרים בין השנים 2022 ל-2024 העלתה מספר מצומצם של עבודות אמפיריות שבחנו את השימוש ב-ChatGPT למחקר איכותני. עבודות אלה הצביעו על כך ש-ChatGPT מסוגל לייצר תוצאות קידוד הדומות לגישות ידניות, תוך שיפור היעילות. עם זאת, נותרו מגבלות, בייחוד בלכידת עומק הקשרי ובהבטחת עקביות, שעדיין מצריכות סיוע אנושי.

שיטות המחקר

חומרי הנתונים

בין פברואר למרץ 2022 נערכו ראיונות מובנים-למחצה באינטרנט עם 8 משתתפים מקהילת המשחק "Listen and Play in Jianghu", משחק MMORPG סיני פופולרי המיועד לאנשים עם עיוורון, ומבתי ספר לחינוך מיוחד. גילאי המשתתפים נעו בין 18 ל-41 שנה. הראיונות עסקו בחוויות המשחק של המשתתפים ובהשפעתן על חיי היומיום, הבריאות הנפשית והרווחה הכללית. כל ראיון הוקלט ותומלל, ומאגר הנתונים הסופי הכיל כ-40,000 מילים. שני חוקרים ביצעו קידוד ידני בסיוע תוכנה, בעוד חוקר אחר ביצע קידוד באמצעות ChatGPT 4-Turbo.

הקידוד הידני בסיוע תוכנה

שני חוקרים השתמשו בתוכנת ניתוח נתונים איכותניים NVivo לביצוע קידוד בשלושה שלבים. הם קידדו בנפרד שלושה תמלילים שנבחרו באקראי, ויישבו חילוקי דעות בדיון. לאחר שמהימנות הבין-מקודדים עברה 85%, הם יישמו את תכנית הקידוד על חמשת הראיונות הנותרים. בשלב הקידוד הפתוח זוהו ורוכזו מושגים משמעותיים. בקידוד הצירי, מושגים אלה קובצו ל-8 קטגוריות ראשיות. הקידוד הבררני קבע את "מניעי המשחק והשפעתו" כקטגוריית הליבה, ופיתח מסגרת תיאורטית ראשונית שעובדה שוב ושוב עד שהגיעה לצורה יציבה.

הקידוד בסיוע ChatGPT 4-Turbo

תהליך הקידוד באמצעות ChatGPT 4-Turbo כלל ארבעה שלבים עיקריים:

1. הגדרת הרקע: בשלב הראשון, המשתמש הגדיר ל-ChatGPT את תפקידו כחוקר במדעי החברה המנוסה בשיטת התיאוריה המעוגנת.
2. קידוד פתוח: נוכח מגבלת אורך הקלט של המודל (8,192 tokens), טקסטים ארוכים הוזנו בחלקים. לאחר מכן התבקש ChatGPT לבצע קידוד פתוח ולהצמיד כל קוד לציטוטים המתאימים מהטקסט. אם הקידוד לא היה מפורט דיו, ניתן היה לבקש ממנו להעמיק ולמצוא קודים נוספים.
3. קידוד צירי: ChatGPT הונחה להשוות בין כל הקודים, לזהות קווי דמיון ושוני, ולאתר נושאים משותפים וייחודיים בין המרואיינים. בשל מגבלת הטוקנים, הוצא הקידוד בשלבים (זוגות של משתתפים), ולאחר מכן אוחדו התוצאות.
4. קידוד בררני: ChatGPT נדרש לנתח את היחסים בין הקטגוריות שנוצרו בקידוד הצירי, לזהות את קטגוריית הליבה, ולבנות סביבה מבנה נרטיבי קוהרנטי. לאחר מכן, החוקרים אימתו ידנית את הממצאים ופיתחו מסגרת תיאורטית שלמה.

גישת הניתוח ההשוואתי

להשוואה בין שתי שיטות הקידוד, חולק טקסט הראיונות לארבעה חלקים. לבדיקת תוצאות הקידוד הפתוח נעשה שימוש בתיאור כמותי של צמתים, נקודות ייחוס ואחוזי כיסוי, לצד מבחני t בתוכנת SPSS. כמו כן, בוצעה בדיקת מהימנות באמצעות NVivo, הכוללת השוואה סמנטית בין קודים. ההשוואה התבססה על שני קריטריונים: דמיון בין שמות הצמתים, ודמיון בין הטקסטים המקודדים. לאחר יישור הסמנטי, חושב אחוז ההסכמה ומקדם קאפה (kappa), הנע בין -1 (אי-הסכמה מוחלטת) ל-+1 (הסכמה מוחלטת).

ממצאים

קידוד פתוח

הקידוד הידני הניב מעט יותר צמתים מ-ChatGPT (289 לעומת 274) ויותר נקודות ייחוס (333 לעומת 301), אך ההפרשים לא היו מובהקים סטטיסטית. הקידוד הידני הראה גם שיעור כיסוי גבוה יותר בכל החלקים, אך גם הפרש זה לא היה מובהק. בעוד הקידוד הידני ייצר יותר נקודות ייחוס מצמתים, ChatGPT ייצר מספרים כמעט זהים לשניהם, כנראה מכיוון שאינו מסוגל לאחד נקודות ייחוס לצמתים ספציפיים כפי שעושה מקודד אנושי.

אחוז ההסכמה בין שתי השיטות עלה עקביות על 95%, אך נובע ברובו מכך שחלק גדול מהטקסט נותר ללא קידוד בשתי הגישות. התפלגות מקדם קאפה הראתה דפוס עקבי: ה"הסכמה הקלושה" היוותה את השיעור הגבוה ביותר בכל החלקים, ואחריה "הסכמה כמעט מושלמת". שיעור ה"הסכמה הבינונית" היה הנמוך מכולם.

קידוד צירי

הקידוד הידני זיהה 8 קטגוריות ראשיות, בהן מידע אישי ורקע, מניעי משחק, התנהגות ותהליך המשחק, השפעת המשחק, תפיסות ועמדות, מאפיינים תפעוליים ועיצוב נגישות, ואינטראקציה חברתית. לעומתו, ChatGPT ייצר 7 קטגוריות ראשיות: מניעים ועמדות, חוויית משחק, הוצאות והשקעה, השפעה על החיים, תפעול ולמידה, אינטראקציה חברתית, נגישות ועיצוב, ומידע אישי ורקע. שתי הגישות ייצרו 4 קטגוריות דומות: השפעת המשחק, אינטראקציה, תפעול, ומידע אישי. הקידוד הידני היה רחב יותר בנושאי "התנהגות ותהליך" ו"תפיסות ועמדות", בעוד ChatGPT התמקד יותר ב"חוויית משחק" וב"הוצאות והשקעה". כמו כן, ChatGPT הפגין יכולות חלשות יותר בחיבורים ובארגון בין קטגוריות ראשיות ומשניות.

קידוד בררני

החוקרים זיהו ידנית "מניעי המשחק והשפעתו" כקטגוריית הליבה, ופיתחו מסגרת תיאורטית בשם "מנגנון המניעים וההשפעה עבור עיוורים". ChatGPT בחר ב"השפעת המשחק על החיים" כקטגוריית ליבה, ואיחד סביבה קטגוריות אחרות לפיתוח מסגרת תיאורטית בשם "מנגנון השפעת המשחק על חיי עיוורים". למרות שמות קטגוריות הליבה שונים, שתי המסגרות חלקו קווי דמיון רבים. עם זאת, ChatGPT נפל בעומק הפרשנות, בהבנת ההקשר ובהבחנת דקויות עדינות.

דיון

סיכום ממצאים

שתי גישות הקידוד הפגינו מהימנות במובנים רבים. יישום ChatGPT 4-Turbo שיפר את יעילות הקידוד ואת גיוון הקודים שנוצרו. תהליך הקידוד של ChatGPT הוא אגרגטיבי ומובנה: בהינתן הנחיות ברורות ותמלילי ראיונות, הוא משתמש בנתוני האימון שלו לחיזוי תגובות מתאימות. לעומת זאת, הקידוד האנושי הוא איטרטיבי ומתפתח, ומחייב שיבה חוזרת לנתונים, השוואות מתמשכות ועמקות בהקשרים.

פערי הביצוע בין שתי הגישות מתבטאים בכך שהקידוד הידני מייצר יחס גבוה יותר של נקודות ייחוס לצמתים, שכן מקודדים אנושיים מסוגלים לאחד נקודות תחת צמתים רחבים על סמך הבנה עמוקה של הנושא. ChatGPT, לעומת זאת, נוטה לייצר קוד נפרד לכל יחידת מידע. כמו כן, ChatGPT גילה קודים מגוונים שהיו שונים מאלה שנוצרו ידנית, מה שמעיד על עושר ורב-גוניות בקידוד המכונה.

תופעת ה"הזיה"

ChatGPT 4-Turbo נתקל לעיתים בקשיים בזיהוי מידע ספציפי בטקסט, ולעיתים ייצר קידוד שגוי, במיוחד בפסקאות ארוכות או מורכבות לוגית. תופעה זו, הידועה כ"הזיה" (hallucination), נובעת משני גורמים עיקריים: ראשית, כל תגובה תלויה בהקשר המצטבר של השיחה, כך שכל שגיאה עשויה להתגבר בהמשך. שנית, הטיות הטמונות בנתוני האימון עלולות לחזק סטריאוטיפים ולגרום למודל לייצר פרשנויות מטעות. מסיבה זו, חיוני שחוקרים יכירו היטב את הנתונים ויתקנו אי-דיוקים.

השלכות למחקר איכותני

קידוד באמצעות ChatGPT מאיץ משמעותית את תהליך הקידוד: בעוד הקידוד הידני ארך שלושה שבועות לשני חוקרים, ChatGPT השלים את התהליך תוך יום אחד. יעילות זו עשויה להגדיל את היקף המחקר האיכותני המפורסם ולפנות זמן לניתוח מעמיק יותר. בתחום המחקר הבריאותי, הדבר יכול לתמוך בניתוח מהיר ורחב יותר של ראיונות עם אוכלוסיות פגיעות ונתוני בריאות ציבורית.

מעבר למהירות, ישנן הבדלים בין הגישות ביכולת לגלות משמעויות. הקידוד הידני מצטיין בחשיפת משמעויות עמוקות ופנימיות, בעוד קידוד ה-AI מצטיין באיתור דפוסים שאינם בולטים לעין אנושית, אך עלול להחמיץ דקויות ופרשנויות עדינות. בנוסף, קידוד מבוסס-AI מכניס הטיות שונות (נתונים, אלגוריתמיות, תרבותיות ולשוניות), ולכן מומלץ לשלב בין יעילות ה-AI לבין המומחיות האנושית בגישה הנקראת "מחקר איכותני מוגבר" (augmented qualitative research). בתחום הבריאות, פרשנות מוטעית של נתונים איכותניים עלולה לפגוע באוכלוסיות פגיעות.

מגבלות וכיוונים עתידיים

המחקר מציג מספר מגבלות. ראשית, מדובר במחקר חקרני עם מדגם קטן של 8 משתתפים בלבד. מחקרים עתידיים יצטרכו להרחיב את גודל המדגם ולכלול סוגי נתונים מגוונים מתחומים שונים. גישה מבטיחה לטיפול במאגרי נתונים גדולים היא שילוב של מודלים גדולים לשפה עם RAG (retrieval-augmented generation) לחילוץ נושאים וקטגוריות ראשוניים, ולאחר מכן סקירה ועידון אנושיים. שנית, המחקר מתמקד בכלי AI בודד. מחקרים עתידיים יוכלו לכלול שני מודלים או יותר המקדדים נתונים באופן עצמאי, ולאחר מכן לאחד ולאמת ידנית את התוצאות לשיפור היציבות והפחתת הטיות. שלישית, המחקר מוגבל לשפה ולהקשר הסינים. מחקרים עתידיים יוכלו להרחיב את המתודולוגיה לגיאוגרפיות ושפות אחרות ולבחון כיצד דקויות לשוניות ותרבותיות משפיעות על ביצועי מודלי ה-AI.

מקור

Yue, Y., Liu, D., Lv, Y., Hao, J., & Cui, P. (2025). A practical guide and assessment on using ChatGPT to conduct grounded theory: Tutorial. Journal of Medical Internet Research, 27, e70122.