פוסטים

תוצאות הסקר השקוף מ"התקופה האפלה" ועוד כמה תובנות על תעשיית הסקרים והתקשורת

מסכמים את מיזם "הסקר השקוף" עם עוד ניתוח לב פתוח לתעשיית הסקרים: חשיפת תוצאות סקר מיוחד שערכנו ב-48 השעות שלפני הבחירות, השוואתו לתוצאות האמת, תובנות על תנועת המצביעים ברגע האחרון – וכל מה שהתקשורת המסורתית מפספסת ומסתירה בנוגע לסקרים

| חגי אלקיים שלם |

הערב שלפני הבחירות היה דרמטי עבורי ועבור השותף שלי במיזם "הסקר השקוף", יונתן לזר-תלם: אחזנו בידינו קובץ נתונים של הסקר השני שערכנו במסגרת הפרויקט – אשר בוצע בימים האחרונים שלפני הבחירות לכנסת (בהם אסור לפרסם תוצאות סקרים באופן פומבי) – ויכול היה, בתיאוריה, לעזור לנו להבין מה קורה עם המצביעים המתלבטים, רגע לפני הרגע האחרון.

יממה וקצת לאחר מכן, עם פרסום תוצאות האמת, הבנו שני דברים עיקריים: סקר של 48 השעות האחרונות מסוגל אמנם להראות הרבה מאוד תנודות, אבל אין לו יכולת להציג את כל מה שקורה וגם לא לנבא בצורה יותר מדויקת את תוצאות הבחירות. כך או אחרת, התוצאות של הסקר מרתקות ואפשר ללמוד מהן המון.

מה עשינו אחרת בסקר השני?

אחרי שסיימנו את ניתוח הנתונים של הסקר השקוף, נערכנו מיד להוצאת הסקר השני: ההיערכות כללה שני שלבים: ראשית, החלטנו לשנות מעט את השאלון בסבב השני (במקום לשאול אנשים עד כמה הם בטוחים בהצבעה שלהם למפלגה שאמרו שיצביעו עבורה, שאלנו מתי הם קיבלו את ההחלטה להצביע למפלגה זו); ושנית, החלטנו, כלקח מהסקר הראשון, לבחור באסטרטגיית ניתוח נתונים מעט שונה כדי להתמודד עם פערי המדגם באוכלוסייה הערבית המבוגרת, באוכלוסיית יוצאי ברית המועצות המבוגרים שאינם דוברים עברית, וכן לתקן פערים אפשריים בדגימת האוכלוסייה החרדית המזרחית לעומת האוכלוסייה החרדית האשכנזית.

עבור המפלגות הערביות והחרדיות, בחרנו באסטרטגיית ניתוח דומה: חישבנו את שתי המפלגות החרדיות ושתי המפלגות הערביות כגוש אחד שלם, חילקנו ממנו 7 מנדטים לאחת המפלגות (יהדות התורה בגוש החרדי, חד"ש-תע"ל בגוש הערבי), ואת היתר "הענקנו" למפלגה השניה (ש"ס בגוש החרדי, חד"ש-תע"ל בגוש הערבי). הרציונל לאסטרטגיית הניתוח הזו התבסס על הדפוסים בתוך האוכלוסייה החרדית: כמו שמכר אמר לנו לגבי ההצבעה ליהדות התורה, "זה ספור". כלומר, מספר הקולות של יהדות התורה הוא נתון ידוע מראש ולא שאלה שיש לפתור, וסביר להניח שיתכנס מסביב ל-7 מנדטים – ולכן, כל קול עודף מעבר לאותם 7 מנדטים הוא כנראה תוצאה של ייצוג יתר לחרדים האשכנזים על פני החרדים המזרחיים. את אותה גישה יישמנו באותו אופן גם בתוך האוכלוסייה הערבית.

עבור האוכלוסייה יוצאת ברית המועצות, החלטנו להכפיל את התמיכה של מפלגת "ישראל ביתנו" בסקר, מתוך הנחה שעל כל משיב שאומר לנו שיתמוך בישראל ביתנו, יש מצביע נוסף שאנחנו לא יכולים לסקור.

בסקר השני נדגמו 617 ישראלים, בדגימת שכבות של החברה הישראלית. המדגם נערך על גבי פאנל משיבים אינטרנטי של חברת iPanel. גודל טעות הדגימה המירבית: 4%. הסקר נערך בשיטות סטטיסטיות מוכרות.

תוצאות הסקר השקוף השני

ניתחנו את נתוני הסקר השני באותו האופן שבו ניתחנו את הסקר הראשון, בתוספת השינויים שפורטו פה לעיל (ראו קופסה), ואלה התוצאות שראינו:

התגובה המיידית שלנו למראה הנתונים התחלקה לארבעה:

  1. תרחיש "המשתה הגדול" לגמרי הצליח בשמאל: "כחול לבן" הצליחה להביא את העבודה ומרצ קרוב מאוד לאחוז החסימה. לפי הניתוחים שהריץ יונתן, הדרך היחידה שגם מפלגת העבודה וגם מרצ עוברות את אחוז החסימה היא אם המצביעים שמתלבטים בין שתי המפלגות יתחלקו כמעט שווה בשווה, ולא "ינהרו" דווקא לאחת מהשתיים.
  2. לעומת זאת, בימין נראה שתרחיש "המשתה הגדול" לא ממש עבד: ומלבד "ישראל ביתנו", שגם לאחר גישת ניתוח מאוד "מפרגנת" עבורם עדיין לא התקרבו לאחוז החסימה, נראה שכל מפלגות הימין צפויות לקבל ייצוג בכנסת הבאה.
  3. אסטרטגיית ניתוח הנתונים שבחרנו עבור המפלגות החרדיות והערביות הביא את הנתונים שלנו להתאמה גבוהה יותר לנתונים ה"מקובלים" – ו"העביר" גם את רע"ם-בל"ד וגם את ש"ס מעל לאחוז החסימה.
  4. אחוז המתלבטים עדיין ענקי: קצת יותר מ-14% מתלבטים, לעומת קצת יותר מ-17% בסקר הראשון. כלומר, גם עכשיו, אחד מכל 7 משתתפים בסקר עדיין לא החליט למי להצביע פחות מ-48 שעות לפני ההגעה לקלפי.

דבר נוסף שהסקר השקוף השני אפשר לנו לבדוק הוא סיפור לאורך זמן: מתי התומכים של כל מפלגה החליטו לתמוך בה. בנינו מעין מפה שמציגה כמה מהמנדטים של כל מפלגה "הגיעו" אליה בכל שלב של מערכת הבחירות:

הנתונים האלה מספרים סיפור מרתק: למשל, על הליכוד שמתחיל את מערכת הבחירות עם כמעט 18 מנדטים, הרבה יותר מכל מפלגה אחרת, על יהדות התורה שאצלה כמעט ואין הפתעות (ואכן "הכל ספור"), ועל מרצ שמתבססת על בסיס יציב של 3 מנדטים ולא ממש מצליחה לצמוח הרבה מעבר לו במהלך תקופת הבחירות. וגם: על כמעט 16 מנדטים שכנראה פשוט חיכו לראות מי המועמד שהוא לא נתניהו הפעם, ונהרו בהמוניהם למפלגת "כחול לבן" מיד אחרי שהתברר שגנץ יוביל את המחנה – וכן על התחזקות מהירה מאוד של "כחול לבן", לעומת התחזקות מאוד איטית של הליכוד.

לא כל הנתונים האלה התבררו כנכונים עם היוודע תוצאות האמת, אבל הם מעבירים סיפורים מרתקים שמעולם לא דווחו לנו בתקשורת – סיפורים שניתן ללמוד עליהם בקלות ולבנות עליהם תילי-תלים של פרשנות. או, בקיצור, פספוס עצום של גופי התקשורת המסורתיים.

הסקר השקוף מול תוצאות האמת

עם חשיפת המדגמים, ובהמשך קבלת תוצאות האמת, יכולנו להשוות את הניבוי שלנו למה שקרה באמת. קודם כל, בואו נראה השוואה של תחזית הסקר השקוף הראשונה, תחזית הסקר השקוף השניה, ממוצע הסקרים של השבוע האחרון, ותוצאות האמת:

בגדול, ניתן לראות כמה מגמות עיקריות בהבדלים בין תוצאות הסקרים לתוצאות האמת:

  1. ייצוג החרדים הוערך בהערכת חסר עצומה: המפלגות החרדיות קיבלו בסקר השקוף השני ובממוצע הסקרים האחרון 11 ו-12 מנדטים בהתאמה, לעומת 16 מנדטים בתוצאות האמת.
  2. בצד השמאלי של המפה, הניבוי של הסקר השקוף השני היה קרוב מאוד לתוצאות האמת: "כחול לבן" התחזקה מעט, בעיקר בגלל מספר המפלגות שלא עברו את אחוז החסימה ושיטת חלוקת העודפים, בעוד שנראה שהמתלבטים בין העבודה למרצ בחרו בעיקר במפלגת העבודה (בניגוד לחלוקה שווה בשווה בנתונים שלנו).
  3. בצד הימני של המפה, נראה שהתחזית פספסה גם את המעבר העצום של 9 מנדטים ממפלגות הימין השונות (בעיקר הימין החדש וזהות) לליכוד, וכמובן, את ישראל ביתנו, שלמרות הכל עברה את אחוז החסימה.
  4. בסך הכל, הסקר השקוף השני ניבא 66 מנדטים לגוש הימין-חרדים, ו-54 מנדטים לגוש המרכז-שמאל-ערבים – הבדל מזערי מתוצאות האמת, עם יחס גושים של 65-55.

איך אנחנו מסכמים את פרויקט הסקר השקוף?

ראשית, בנוגע למודלים ו"טיפול" בנתונים: לא ציפינו להוציא את הסקר המדויק ביותר. ככל שהתקדמנו באיסוף הנתונים ובניתוח שלהם, הבנו – גם מההיכרות הגוברת שלנו עם הנתונים וגם מעצות שקיבלנו מעמיתים בתחום – שיש מגוון שיטות מתוחכמות יותר ופחות "לטפל" בנתונים כדי להתייחס לאוכלוסיות "נעדרות", שאינן מיוצגות כראוי בסקר. חלק מהשיטות האלה מוכיחות את עצמן (למשל, עם הדיוק הגבוה יותר של סוקרים מנוסים יותר בכל הנוגע למספר המנדטים של מפלגת "ישראל ביתנו"), וחלק פחות (אף סוקר לא התקרב לנבא את גודל ההישג של ש"ס). בחרנו בכוונה לנקוט בשיטות צנועות יחסית שדורשות מעט הנחות יסוד (למשל, חילקנו את המתלבטים שווה בשווה בין כל המפלגות שביניהן הם מתלבטים, בניגוד לרוב הסוקרים שבחרו לחלק אותם עם יתרון למפלגה כזו או אחרת), וברור לנו שעם קצת יותר ניסיון בתחום היינו יכולים לדייק מעט יותר ספציפית בנוגע לאוכלוסיות קשות לסקירה.

שנית, בנוגע להחלטות של הרגע האחרון: את הנתונים שאנחנו ראינו לגבי מפלגות "הימין החדש" ו"זהות", שעברו אצלנו את אחוז החסימה בפער משמעותי, ראו גם כל שאר הסוקרים בארץ. חלקם ניבאו למפלגות אלה רק 5-6 מנדטים, אבל כולם ניבאו שיעברו את אחוז החסימה. יש מי שבחרו להסביר את דפוס הנתונים הזה בבעיות דגימה, אבל בעיות הדגימה שעליהן מדברים (דגימת יתר של צעירים, למשל) הן בעיות שלא מאוד תואמות את המציאות. ההסבר הסביר יותר הוא שהשאלה "למי היית מצביע אם הבחירות היו מתקיימות היום" היא שאלה שמלכתחילה לא יכולה לנבא תזוזות של הרגע האחרון בין מפלגות קרובות: הרי הבחירות לא מתקיימות ביום שבו נערך הסקר, וידוע לנו שאנשים משנים את דעתם גם ברגע האחרון ממש, עם החלטה אחת בדלת אתר ההצבעה והחלטה אחרת מאחורי הפרגוד. על הידיעה הזו מתבססת ההשקעה הגדולה של מפלגות בנוכחות בשטח ביום הבחירות עצמו (כדי למשוך מצביעים ממפלגות שכנות), וההצלחה המרשימה של מפלגות שמצליחות להרים מערכי שטח אפקטיביים ביום הבחירות (למשל, יש עתיד ב-2013).

כאשר שאנשים מסוגלים לשנות את דעתם ברגע האחרון – לא מפתיע בכלל שיכולות להיות תנודות אדירות בתוך כל גוש פוליטי, גם בדקה ה-90 ממש. המשימה של כתבים וסוקרים, בהתאם, לא צריכה להיות לסקר את מצב הסקרים הנוכחי – אלא לאסוף נתונים שיאפשרו להעריך איפה יתקיימו תנודות דרמטיות כאלה ברגע האחרון. נתוני הסקר השקוף הראשון כבר הצביעו על כך שהימין החדש בסכנת מחיקה, פשוט בגלל אחוז מצביעי הימין החדש ששוקלים להצביע גם לליכוד. נכון, לא ראינו את אותו האפקט בקרב בוחרי זהות, אבל סיקור שהיה מתמקד בתופעה הזו עדיין היה מספק לנו הבנה טובה יותר של מה שקורה בשטח באמת.

שלישית, בנוגע לסקרים ב"תקופת ההאפלה", בארבעת הימים לפני הבחירות: נראה שהסקרים האלה מסוגלים "לראות" הרבה מהתזוזות שמפתיעות אותנו בסופו של דבר ביום הבחירות – כמו ה"שתייה" של קולות ממפלגת העבודה וממרצ אל תוך "כחול לבן" – אבל הם עדיין מפספסים חלק אחר מהתזוזות, המתרחשות ממש ברגע האחרון (לדוגמא התנודה של כלל הימין אל תוך הליכוד). האם זה טיעון לטובת או לרעת האיסור על פרסום סקרים בימים האחרונים לפני הבחירות? לדעתי האישית – אף אחד משניהם. סקרים יעצבו את קבלת ההחלטות של הבוחרים גם אם הם יפסיקו להתפרסם חודש שלם מראש, פוליטיקאים ימצאו דרך לעשות ספינים על סקרים בכל תצורה שהיא, והדבר העיקרי שישתנה בין תקופות איסור פרסום באורכים שונים הוא מידת ההפתעה שלנו מהתוצאות ביום הבחירות. בסופו של דבר, יש טיעונים טובים לכל הצדדים, ואם זה היה תלוי בי באופן אישי – הייתי מחליט לא להאריך את תקופת איסור הפרסום ולא לצמצם אותה.

רביעית, בנוגע לדיוק של הסקרים: לא משנה איך תסובבו את זה, ברמת הגושים הסקרים היו מדויקים מאוד, הטווח שלהם נע בין 63-57 לגוש הימין לבין 67-53 לגוש הימין, והתוצאות הסופיות נפלו בדיוק באמצע. כל הטענות על "יום הכיפורים של הסוקרים" צריכות לקחת בחשבון את הנתון הזה, ולהבין שהיכולת באמת לנבא איך השמאל או הימין יחלקו את הקולות שלהם תמיד תהיה מוגבלת מאוד.

ולבסוף, בנוגע לתפקיד של סקרים במערכת הבחירות: ראינו בפרויקט הזה כיצד החלטות שרירותיות יותר או פחות של הסוקרים מעצבים בצורה דרמטית את התוצאות, ויכולות לתרום גם לדיוק רב יותר (כמו במקרה של "ישראל ביתנו", למשל), אבל גם לפספוסים גדולים יותר (כמו במקרה של "זהות" ו"הימין החדש"). ראינו גם כמה עובדות מרתקות אפשר ללמוד מהסקרים: על איזו מפלגה מתחילה עם ה"בייס" הכי גדול והכי יציב, על איזה שיקולים מניעים הצבעה למפלגות שונות, על המתלבטים והאופן שבו הם יכולים לנוע, ועוד.

המסקנה? אנחנו צריכים לדרוש מהתקשורת יותר. ניתן לספר סיפורים מעניינים יותר על הסקרים, ניתן לסקר אותם בצורה שקופה יותר ומעמיקה יותר, וניתן לפתח מערכת יחסים בריאה יותר מול האמת שבסקרים והטעויות שלהם. אנחנו מקווים שהצלחנו להראות את הדרך האפשרית בנושא, ושהתקשורת הממוסדת תרים את הכפפה כבר במערכת הבחירות הבאה.

***

חגי אלקיים שלם הוא פסיכולוג פוליטי, יועץ אסטרטגי, עורך סקרים מקצועי ומנחה הפודקאסט "הספינר"; יונתן לזר תלם הוא סטטיסטיקאי מוסמך, עובד כחוקר נתונים בחברת הייטק ויוזם הפרויקט "הסוקר האוטומטי".

עשינו סקר בחירות משלנו שחושף את המניפולציות בתעשיית הסקרים

לראשונה אנו חושפים בפניכם איך תעשיית הסקרים עובדת: לפניכם ניתוח לב פתוח של סקר פוליטי שהוצאנו לפועל במימון הציבור. הסקר השקוף של בחירות 2019 – שלב התוצאות, צעד אחר צעד

| חגי אלקיים שלם |

בשבועות האחרונים הוצאנו לפועל את "הסקר השקוף" – פרויקט ראשון מסוגו שנועד להציג לציבור את מאחורי הקלעים של תעשיית הסקרים בישראל. אתם מוזמנים לקרוא עוד על הרקע לפרויקט בכתבה שפרסמנו בעת ההשקה – אבל עכשיו בואו נדבר על הדבר המעניין באמת: התוצאות.

תגובה ראשונה נפוצה למראה קובץ נתונים גולמי של סקר היא: "מה לעזאזל הולך פה?!". יונתן לזר-תלם, שהוביל איתי את המיזם, ואנכי מכירים מקרוב את הבלאגן שכל סוקר צריך להתמודד איתו. וכפי שאמרנו בתחילת הדרך: את תיקוני הנתונים שעושים הסוקרים ("מניפולציות", בשפה פחות יפה) – הם חייבים לעשות.  אם מדגם הסקר מכיל, לדוגמא, יותר מדי מאוכלוסייה מסוימת או פחות מדי מאוכלוסייה אחרת – זו חובה מקצועית ואתית של הסוקר לבצע תיקונים סטטיסטיים שיוודאו שהתוצאה הסופית של משקפת את המציאות.

ולכן, המטרה העיקרית של "הסקר השקוף" היא פשוט להראות לכם איך כל התיקונים האלה מתבצעים – להציג בצורה שקופה וחסרת תקדים את התהליך של הכנת סקר, ובכך לעזור בהבנה של הנקודות בהן סקרים יכולים לפספס, מה מסביר את ההבדלים (ואת חוסר ההבדלים) בין הסקרים השונים, ומאיפה יכולות לבוא הפתעות בחירות.

היום אנחנו מביאים לכם את תוצאות הסקר! אבל בניגוד לסקרים שאתם רואים בכלי תקשורת אחרים, אנחנו נעשה את זה בשלבים: נתקדם במעלה התיקונים הסטטיסטיים אל עבר התוצאות הסופיות – כדי שתוכלו לראות איך זה באמת עובד.

כל הניתוחים מכל הזוויות:

התיקונים שבחרנו לעשות הם לא בהכרח אלה שסוקרים אחרים עושים. לכל סוקר יש את הסודות המקצועיים שלו והשיטות שלו לבצע את התיקונים (הדברים האלה הם מה שהופך סוקר לטוב בעבודתו). ולכן נציג לכם לאורך הדרך לא רק את התיקונים שבחרנו לעשות – אלא גם את אלה שלא עשינו, ונסביר למה. אנחנו מקווים שכשתסיימו לקרוא, תוכלו לסגל לעצמכם דרך קריאה קצת שונה לסקרים. ואנחנו עוד יותר מקווים שיותר ויותר כלי תקשורת יתחילו להיות שקופים לגבי התיקונים שנעשו לנתונים לפני שהוצגו לציבור.

רוצים לנסות לנתח את התוצאות בעצמכם? לחצו על התמונה לגישה לקובץ הנתונים הגולמי

הפרטים הטכניים ההכרחיים והערה אחת חשובה
  • בסקר נדגמו 1011 ישראלים, בדגימת שכבות של החברה הישראלית. המדגם נערך על גבי פאנל משיבים אינטרנטי של חברת iPanel. גודל טעות הדגימה המירבית: 3.2%. הסקר נערך בשיטות סטטיסטיות מוכרות.
  • כל תכנית ניתוח הנתונים שמוצגת כאן נכתבה מראש. כלומר: לא הוספנו או הורדנו ניתוחים בהתאם לתוצאות שראינו, אלא החלטנו מראש על התיקונים הנדרשים ועל התחזיות השונות שנציג, והתוצאות המוצגות למטה הן התוצאה הישירה של הנוסחאות שכתבנו בהתאם להחלטות אלה, ללא כל התערבות או שיקול דעת נוסף.

סקר מוצג בחדשות 12 (צילום מסך)

שלב ראשון: תיקוני מדגם

אמ;לק

המדגם שלנו שונה מבחינה דמוגרפית מהאוכלוסייה הישראלית, ולפני שמסיקים כל מסקנה מהסקר, חייבים לתקן אותו בהתאם.

כך נראות התוצאות בתום השלב הזה:

השלב הראשון של ניתוח הנתונים הוא תיקון הייצוגיות של הסקר. למה הכוונה? כבר כשהוצאנו את הסקר, ידענו שהוא לא יהיה לגמרי מייצג. כשמבצעים סקר, חשוב להשיג דגימה גדולה יותר של אוכלוסיות שיש בהן שונות גבוהה, ופחות חשוב להשיג דגימה גדולה של אוכלוסיות שיש בהן שונות נמוכה.

כלומר: אם אנחנו יודעים שהאוכלוסייה החרדית בישראל היא בעלת דפוסי הצבעה די עקביים, ושיש מעט מאד אפשרויות רלוונטיות עבור האוכלוסייה הזו, אז אין לנו צורך לדגום 10% משיבים חרדים כדי להצליח לנבא היטב את ההצבעה של האוכלוסייה הזו. לעומת זאת, האוכלוסייה החילונית בישראל מצביעה להרבה מפלגות קטנות, רובן מסתובבות צמוד לאחוז החסימה, ולכן כדי לשפר את הדיוק יש להגדיל את הדגימה של האוכלוסייה החילונית.

בהתאם, כשהוצאנו את הסקר, ביקשנו שהדגימה בציבור היהודי תכלול 50% חילונים (לעומת 44% באוכלוסייה), 30% מסורתיים (לעומת 22% מסורתיים לא כל כך דתיים ו-13% מסורתיים דתיים), 14% דתיים (לעומת 11% באוכלוסייה), ו-6% חרדים (לעומת 10% באוכלוסייה). בהתאם, היינו צריכים לתקן את הנתונים: להגדיל את משקלם היחסי של החרדים, להקטין את משקלם היחסי של החילונים, וכן הלאה.

האם זה התיקון "הנכון" היחיד? חד משמעית – לא. אנחנו עשינו את התיקון בהתאם לאחוזים באוכלוסייה – ובהחלט אפשר לבצע את החישוב גם  לפי האחוזים מבין המצביעים; עוד אפשרויות: ניתן לתקן לפי האחוזים בקרב האוכלוסייה הבוגרת בלבד, מעל גיל 18; אפשר לתקן לפי האחוזים בקרב האוכלוסייה שבאותו טווח הגילאים שמכיל גם הסקר שלנו; ועוד. יש מגוון תיקונים אפשריים, ואנחנו מזמינים כל מי שירצה להתנסות בעצמו בתוצאות הצפויות של הסקר עם תיקונים מעט שונים.

בכל מקרה, אחרי התיקון שערכנו, כך מתפלגים המצביעים – כולל המתלבטים:

כמו שגילינו בעבר, "המתלבטים" היא אחת המפלגות הגדולות בישראל.

מה שברור לנו כבר מהגרף הזה, זה שיש סיכוי סביר שיש לנו בעיית דגימה. למשל, הרשימות הערביות מקבלות בסך הכל פחות מ-5.5% מסך הקולות (בהשוואה ל-10.6% מהקולות בבחירות ב-2015), וישראל ביתנו מקבלת אחוז אפסי מהקולות (0.75%), מה שיכול להעיד על בעיית דגימה בציבור דובר הרוסית (מאד סביר, מכיוון שהסקר נערך בעברית).

מה נעשה עם בעיות הדגימה האלה? יש פה מורכבות לא פשוטה: עם האוכלוסייה הערבית, אנחנו יודעים שיש לנו דגימה משמעותית, אבל יכול להיות שהיא לא מייצגת, ולכן אין לנו מסלול פשוט לתיקון. עם האוכלוסייה דוברת הרוסית, אנחנו בבעיה – לא ברור לנו האם המשיבים שאנחנו יודעים שעלו מברית המועצות – שבהינתן המענה שלהם לסקר אנחנו יודעים שהם דוברי עברית – מייצגים גם את הציבור המשמעותי שדובר רוסית אך אינו דובר גם עברית. כלומר, לא לגמרי ברור לנו שיש פתרון פשוט לתיקון הייצוג, בניגוד למקרה של רמת הדתיות (שם יותר קל לתקן). אנחנו משאירים את השאלה הזו פתוחה לעת עתה, ומזמינים חוקרי נתונים אחרים לנסות לפתור אותה.

שלב שני: אחוז החסימה + ודאות בהצבעה

אמ;לק

יש אנשים שפחות בטוחים שהם יגיעו להצביע – ובשלב הזה אנחנו נותנים להם משקל נמוך יותר בסקר. וכמובן שגם את אחוז החסימה צריך לשקלל.

כך נראות התוצאות בתום השלב הזה:

בשלב הבא של המודל, אנחנו עושים שני דברים: קודם כל, אנחנו מסירים את המתלבטים מהגרף, כי לצערנו מפלגת "המתלבטים" עדיין לא יכולה לקבל מושבים בכנסת. שנית, אנחנו מפעילים את אחוז החסימה: כל מפלגה שמקבלת פחות מ-3.25% מהקולות מוסרת מסך הקולות, והמנדטים הנותרים מחושבים ללא הקולות שהלכו למפלגה הזו.

למה גשר ושס אף פעם לא עוברות?

בקצרה: גם בפילוח הנתונים הכי "מפרגן" שעשינו בסקר – אחרי ש"חיזקנו" את ש"ס וגשר באמצעות מצביעים מתלבטים – אנחנו עדיין מוצאים שרוב הסיכויים ששתי המפלגות לא יעברו את אחוז החסימה. באחוזים: לגשר יש 30% סיכוי לעבור, ולש"ס 22.1% בלבד.

זה לא אומר שהן בהכרח לא יעברו את אחוז החסימה: תמיד יכול להיות שהמדגם שלנו פספס בדיוק בקהלים הרלוונטיים של המפלגות האלה, או שזו טעות מקרית. אבל לפי הנתונים שיש לנו, אנחנו לא מוצאים שום הצדקה סבירה "להעביר" את ש"ס ואת גשר. זו דוגמה להחלטה שסוקרים צריכים לקבל, וראינו כבר לא מעט סוקרים שמוכנים "להעביר" מפלגות בלי לחלוק איתנו את ההצדקה שלהם להחלטה הזו.

בנוסף, אנחנו מתייחסים גם לנושא של ודאות בהצבעה. כלומר: אנחנו משקללים את העובדה שמצביעים של מפלגות שונות עלולים להצביע באחוזים שונים. כדי לנסות לאמוד את הסיכוי שאדם מסוים יצביע, כללנו בסקר שאלה רלוונטית: "האם אתה מתכנן להצביע בבחירות הקרובות לכנסת?" כאשר אפשרויות הבחירה הוצגו על טווח  (אצביע בוודאות / די בטוח שאצביע / כנראה שאצביע / כנראה שלא אצביע / די בטוח שלא אצביע / בטוח שלא אצביע).

אפשר להתווכח רבות על האופן שבו מחשבים את הסיכוי שאדם יצביע – אבל אנחנו בחרנו בגישה שמניחה מעט מאד הנחות, ושהיא במידה רבה שרירותית: מי שעונה "די בטוח שאצביע" ו"בטוח שאצביע" נחשב כמי שיצביע בוודאות, מי שעונה "כנראה שאצביע" נחשב כמי שיש לו סיכוי של 75% להצביע, מי שעונה "כנראה שלא אצביע" מקבל משקל קצת גבוה של 50%, והיתר מסוננים מהמדגם.

איך נראית מפת המנדטים אחרי החישוב הזה?

(מפלגות שקיבלו מעל 1% מהקולות אך לא עברו את אחוז החסימה: רע"ם-בל"ד עם 1.34% מהקולות; גשר עם 2.31% מהקולות; ש"ס עם 2.88% מהקולות).

שלב שלישי: שקלול המתלבטים

אמ;לק

הגיע הזמן להחליט מה עושים עם כ-17% מתלבטים – אז אנחנו מחלקים אותם בין כל המפלגות שהם שוקלים לתמוך בהן.

כך נראות התוצאות בתום השלב הזה:

מי שחסרים בתחזית הזו, כמובן, הם המתלבטים. איך נכריע למי כל אחד מהמתלבטים הולך להצביע?

יש מגוון שיטות לפלח את המתלבטים. אנחנו בחרנו בשיטה הצנועה ביותר, שדורשת מאיתנו את מינימום ההנחות הנדרשות: שאלנו את המשיבים מי המפלגות שהם מתלבטים ביניהן, וחילקנו את קולותיהם של המתלבטים שווה בשווה בין כל המפלגות שהם מתלבטים ביניהן. כלומר: אם אחד המשיבים ציין שהוא מתלבט בין הליכוד לכחול-לבן, כל אחת מהמפלגות קיבלה חצי קול נוסף.

ככה נראות התוצאות אחרי השלב הזה:

(מפלגות שקיבלו מעל 1% מהקולות אך לא עברו את אחוז החסימה: רע"ם-בל"ד עם 1.68% מהקולות; גשר עם 2.91% מהקולות; ש"ס עם 2.77% מהקולות)

האם יש דרכים נוספות לפלח את קולות המתלבטים? כמובן שכן. ניתן, למשל, לחלק את המתלבטים לקבוצות דמוגרפיות שונות, ואז להתאים את ההצבעה הצפויה לכל קבוצה דמוגרפית. ניתן גם להיעזר בנתוני עבר – למשל, להניח שאנשים שמתלבטים בין מרצ למפלגת העבודה יתפלגו באופן שמוטה יותר לטובת מפלגת העבודה. אבל בחרנו בכוונה באפשרות שדורשת מאיתנו הכי פחות הנחות: אנחנו לא רוצים לעצב את הנתונים באמצעות ההנחות שלנו, אלא להציג אותם בצורה ניטרלית ככל הניתן.

שלב רביעי: התאמה לבחירות 2015

אמ;לק

החלטנו לבדוק מה קורה אם מנסים לנבא את ההצבעה בבחירות האלה, על בסיס התפלגות המצביעים בבחירות 2015. מסתבר שיש שינויים בתוך הגושים, אבל לא ממש רואים שינויים בין הגושים.

כך נראות התוצאות בתום השלב הזה:

לבסוף, בחרנו לנסות תחזית אחת אחרונה: בסקר שאלנו את המשיבים לאיזו מפלגה הם הצביעו בבחירות הקודמות. התוצאות היו מאד משונות: למשל, רק 9.9% מהמשיבים בסקר ציינו שהצביעו ב-2015 לרשימת "המחנה הציוני", למרות שבפועל הרשימה זכתה ל-18.67% מקולות הבוחרים, בעוד ש-7.72% מהמשיבים בסקר ציינו שהצביעו לרשימת "הבית היהודי", למרות שהרשימה זכתה רק ל-6.74% תמיכה בפועל.

המספרים האלה מאד מוזרים אך יש להם גם הסבר די פשוט: קודם כל, יש הרבה אנשים שלא זוכרים כיצד הם הצביעו בפעם הקודמת; ושנית, מאד נפוץ שאנשים "מתקנים" את הזכרונות שלהם בהתאם לכמה שהם היו מרוצים (או, יותר מדויק, לא מרוצים) מהבחירה שלהם. וכמובן, יש אנשים שפשוט מוסרים מידע לא נכון כדי להימנע מאי הנעימות הזו.

אבל למרות זאת, בחרנו לנסות לערוך תיקון אחרון לתוצאות הסקר, ולבחון איך התוצאות היו נראות במצב שבו אנחנו מתאימים את המדגם שלנו לתוצאות האמת של בחירות 2015. המשמעות היא מתן משקל יתר לבוחרים של די הרבה מפלגות: יהדות התורה, הליכוד, המחנה הציוני, כחלון, ועוד; ומתן משקל חסר למצביעים של מפלגות אחרות, כמו מרצ, הבית היהודי, ויש עתיד.

כך נראות התוצאות לאחר התיקון הזה:

(מפלגות שקיבלו מעל 1% מהקולות אך לא עברו את אחוז החסימה: רע"מ-בל"ד עם 1.75% מהקולות; ישראל ביתנו עם 1.52% מהקולות; וגשר עם 2.69% מהקולות)

נראה שהשינויים העיקריים שנוצרו פה הם שינויים בתוך הגושים, ולא שינויים דרמטיים בין הגושים – מה שמלמד אותנו בעיקר שאנשים אולי מדווחים לא נכון על המפלגה שהצביעו עבורה, אבל הדיווח כנראה נשאר בגבולות אותו הגוש.

זו התחזית האחרונה שאנחנו מציגים, אבל חשוב להבהיר שמבחינתנו, מדובר במידה רבה ב"תרחיש אלטרנטיבי". התרחיש איתו אנחנו מרגישים יותר בנוח הוא זה שהוצג בשלב הקודם – לאחר פילוח המתלבטים. בסופו של דבר, אנחנו סומכים יותר על "תיקון" הנתונים בהתאם לנתונים דמוגרפיים, מאשר על הדיווח העצמי של אנשים לגבי ההצבעה שלהם בבחירות הקודמות (מסיבות שהסברנו קודם). בחרנו לכלול את התוצאות הללו בכל זאת, ולו רק כדי להדגים דרך נוספת בה ניתן לשקלל את הנתונים, וממנה אנחנו יכולים ללמוד עוד על היכולת של סוקרים להשפיע על התוצאות שהם מפרסמים.

בונוס 1: מדד המאוכזבים

אמ;לק

לאיזו מפלגה אחוז המאוכזבים הגבוה ביותר מבין בוחרי הבחירות הקודמות ב-2015?

כך נראות התוצאות של הניתוח הזה:

אם כבר בדקנו מה קורה לאנשים בהתאם להצבעה שלהם ב-2015, החלטנו לייצר גם את "מדד המאוכזבים": אחוז האנשים שמדווחים שהצביעו למפלגה מסוימת ב-2015 ואפילו לא שוקלים לתמוך בה הפעם.

ישראל ביתנו וכולנו מככבות עם יותר ממחצית מהבוחרים שלהן שאפילו לא שוקלים לבחור בהן שוב:

המחנה הציוני יוצאת דופן פה מכיוון שמדובר במפלגה שלא מתמודדת בבחירות הנוכחיות (חיבור של "העבודה" ו"התנועה", שסביר שחלק גדול מהתומכים בה יעדיפו להצביע ל"כחול לבן"). משם והלאה אנחנו כבר רואים צניחה מהירה יחסית במספר המאוכזבים של כל מפלגה. חשוב לציין, כמובן, שבבחירות האלה יש הרבה מפלגות חדשות שלציבור לא הייתה עדיין את ההזדמנות להתאכזב מהן.

בונוס 2: תחזיות בהתאם לסדרי עדיפויות שונים

אמ;לק

מה קורה אם רק האנשים שבוחרים לפי נושאי ביטחון היו מצביעים? ומה אם רק האנשים שבוחרים לפי נושאי טוהר המידות היו מצביעים? ארבע מודלים שונים לכנסת.

שאלנו את המשיבים בסקר לגבי הנושאים שמשפיעים עליהם ביותר כאשר הם מצביעים. 44.6% מהמשיבים ציינו נושאי ביטחון בתור השיקול המרכזי, 19.7% ציינו נושאים כלכליים (מיסים, תעסוקה), 13.8% בחרו בנושאים חברתיים (רווחה, חינוך), ו-9.8% ציינו את טוהר המידות בתור השיקול המרכזי שלהם בהצבעה.

החלטנו לראות איך הייתה נראית הכנסת אם רק מי שציינו כל אחת מארבעת הנושאים האלה בתור השיקול המרכזי שלהם בבחירות היו בוחרים אותה. להלן ארבעת הכנסות הפוטנציאליות שמצאנו:

בונוס 3: ממשלת החלומות

אמ;לק

מי הן המפלגות הנוספות שהבוחרים היו רוצים לראות בממשלה, לצד המפלגה בה הם בוחרים.

ביקשנו מהמשיבים של הסקר לבחור 4 מפלגות שהם היו רוצים לראות בממשלה – במטרה להבין איזה ממשלות מרכיבים בראש מצביעי כל אחת מהמפלגות. נתחיל במדד הכללי: בקרב כלל המשיבים, המפלגות שהכי רצויות בממשלה הן הליכוד (50.05% מהמשיבים), כולנו (46.85% מהמשיבים), כחול לבן (46.51% מהמשיבים), והימין החדש (40.09% מהמשיבים).

עם הנתונים הללו, בעבור מצביעי כל מפלגה, ירדנו במורד הרשימה עד שהגענו לממשלה של 61 חברי כנסת.

כך נראות הממשלות שמרכיבים תומכי המפלגות השונות:

  • כחול לבן: כחול לבן, העבודה, כולנו, מרצ, והליכוד (83 מנדטים).
  • הליכוד: הליכוד, הימין החדש, כולנו, איחוד מפלגות הימין, זהות, יהדות התורה (67 מנדטים).
  • העבודה: העבודה, כחול לבן, מרצ, כולנו, חד"ש-תע"ל, הליכוד (90 מנדטים).
  • יהדות התורה: יהדות התורה, הליכוד, איחוד מפלגות הימין, הימין החדש, כולנו, מפלגת העבודה (67 מנדטים).
  • מרצ: מרצ, העבודה, כחול לבן, חד"ש-תע"ל, כולנו, זהות (67 מנדטים).
  • הימין החדש: הליכוד, הימין החדש, איחוד מפלגות הימין, כולנו, זהות, כחול לבן (90 מנדטים).
  • זהות: זהות, הליכוד, הימין החדש, איחוד מפלגות הימין, כולנו, כחול לבן (90 מנדטים).
  • חד"ש-תע"ל: חד"ש-תע"ל, מרצ, כחול לבן, העבודה, כולנו, זהות (67 מנדטים).
  • איחוד מפלגות הימין: איחוד מפלגות הימין, הליכוד, הימין החדש, יהדות התורה, כולנו, זהות (67 מנדטים).
  • כולנו: כולנו, כחול לבן, הליכוד (68 מנדטים).

נשאיר לכל אחד מכם להסיק את המסקנות שלו, אבל נראה שהרבה מאד מהממשלות המורכבות בשאלה הזו יוצרות אבסורדים מאד משונים, מהר מאד.

בונוס 4: שאלה מוטה בנושא פתרון שתי המדינות

אמ;לק

כיצד עורכי סקר יכולים להשפיע על התוצאות, עוד לפני שלב ניתוח הנתונים, באמצעות ניסוח מוטה של שאלות.

השאלה האחרונה בסקר הייתה שאלה מוטה בכוונה המטרה הייתה להדגים כיצד עורכי סקר יכולים להשפיע על התוצאות, עוד לפני שלב ניתוח הנתונים.

הצענו לתומכי קמפיין מימון ההמונים של "הסקר השקוף" לבחור נושא לגביו נכתוב שתי שאלות – כאשר כל אחת מהן נועדה ליצור הטייה אצל המשיבים (בעד או נגד הסוגיה המסוימת). התומכים בחרו בנושא פתרון שתי המדינות.

בהתאם, הכנו שני נוסחים לשאלה. בכל אחד מהנוסחים הצגנו שני היגדים, שאחד הוא, בקווים כלליים, "בעד" פתרון שתי המדינות, והשני "נגד". כל נוסח הוצג לחצי מהמשתתפים בסקר, באופן אקראי.

הנוסח שמוטה בעד פתרון שתי המדינות נוסח כך:

עם איזו מהעמדות הבאות אתה מסכים יותר?

  1. מדינת ישראל צריכה לנהל משא ומתן מול הפלסטינים ולחתור לפתרון מדיני ברוח שתי מדינות לשני עמים.
  2. מדינת ישראל לא צריכה לנהל משא ומתן וצריכה לפעול כדי להמשיך את המצב הקיים מול הפלסטינים.

הנוסח שמוטה נגד פתרון שתי המדינות נוסח כך:

עם איזו מהעמדות הבאות אתה מסכים יותר?

  1. כיום אין ברירה, ומדינת ישראל חייבת לעשות הכל, כבר בעתיד הקרוב, כדי לסגת מהשטחים ולתמוך בהקמת מדינה פלסטינית במסגרת הסכם.
  2. כיום אין פרטנר בצד הפלסטיני, והקמת מדינה פלסטינית היא לא אפשרות ריאלית עבור מדינת ישראל, ולכן יש להמשיך את המצב הקיים מול הפלסטינים.

ולהלן התוצאות:

כפי שניתן לראות, כמעט 20% מהציבור עברו מתמיכה בפתרון שתי המדינות, להתנגדות לפתרון שתי המדינות, בהתאם לתיקוני ניסוח קטנים יחסית. זו דוגמה ברורה לאופן שבו מי שמנסחים את הסקרים יכולים להשפיע על התוצאות באמצעות נוסחים מוטים, ומשם לייצר כותרות ענק בהתאם.

בונוס 5 – אחרון ומיוחד: שקיפות

אמ;לק

שאלה שנבחרה בידי תומכי שקוף – עד כמה חשובה השקיפות והמלחמה בשחיתות לבוחרים בבואם להחליט למי להצביע.

כך נראות התוצאות של הניתוח הזה:

הגיע הזמן לשאלה שנבחרה בידי תומכי "שקוף"! שאלנו את המשיבים בסקר עד כמה העמדות של מפלגה בנושאי שקיפות ומלחמה בשחיתות משפיעות על הסיכוי שהם יצביעו למפלגה כזו.

להלן התוצאות:

ניתן לראות שרוב המשיבים טוענים שנושא השקיפות מאד משפיע על ההצבעה שלהם. האם זה באמת המצב? את זה נראה במבחן התוצאה.

אז מה למדנו?

אנחנו מרגישים שיצאנו מפרויקט "הסקר השקוף" עם כמה תובנות עיקריות.

קודם כל, הדגמנו כמה שיקול דעת קיים בתהליך. החל מההחלטה לגבי התיקונים במדגם ועד להחלטה כיצד לפלח את קולות המתלבטים. אנחנו בחרנו בגישות צנועות יחסית, שלא דורשות מאיתנו להניח הנחות מתקדמות, אך ברור לנו שניתן היה לבחור בגישות פחות צנועות שיכולות לייצר נתונים מאוד שונים. כאשר אחוז המתלבטים כל כך גבוה, וכאשר יש כל כך הרבה מפלגות שסובבות את אחוז החסימה, גם התיקונים הקטנים ביותר יכולים להיות בעלי השפעות מרחיקות לכת.

שנית, הצלחנו להדגים כמה עושר קיים בנתוני סקרים מעבר לגרף המנדטים הפשוט שאנחנו רואים. הדגמנו כאן רק כמה דוגמאות פשוטות: איך נראות הבחירות של בוחרים בעלי סדר עדיפויות שונות? מצביעי איזו מפלגה ב-2015 הכי מאוכזבים הפעם? ואיזה ממשלה היו רוצים לראות המצביעים של כל מפלגה? אבל יש גם אפשרויות נוספות – למשל, אפשר להעמיק בפילוח המתלבטים, ולגלות את הפוטנציאל המקסימלי של כל מפלגה, לאתר את המקורות האפשריים להפתעת בחירות (כמו שעשיתי בפרק 33 של "הספינר"), ועוד הרבה דברים אחרים.

וכל זה מוביל אותנו למסקנה הגדולה: למתודולוגיה, לתהליך עריכת הסקר, החל משלב ניסוח הנתונים ועד לנוסחאות הסיכום, יש חלק קריטי בתהליך. סוקר לא ישר יכול להיות בעל כוח עצום: בין אם זה באמצעות ניסוח מוטה של שאלות או פילוח פחות ניטרלי של המתלבטים, סוקר יכול לייצר תוצאות שמתאימות ללקוח, לנראטיב התקשורתי, או לכל מטרה אחרת.

אנחנו צריכים יותר שקיפות בתהליך הסקירה. אנחנו צריכים לדעת מה הנתונים שמאחורי הקלעים, ואיזה עיבוד הם עוברים. ואנחנו יכולים לדרוש מהתקשורת לדווח על סקרים בצורה מעמיקה יותר ומקיפה יותר – בידיעה ברורה שבתוך ים הנתונים שנמצא בכל סקר ניתן למצוא מגוון סיפורים מעניינים לספר, גם מעבר לגרף המנדטים הפשוט.

להלן קובץ הנתונים המלא של הסקר השקוף. אנחנו מזמינים אתכם לנסות בעצמכם לנתח את הנתונים ולראות לאיזו מסקנות אתם מגיעים, ואפילו להשתתף בתחרות "הראשון לזהות" (ב"מקצה החובבים" או ב"מקצה הסטטיסטיקאים") ולהגיש את התחזיות שלכם. ואחרי הבחירות, נשמח לראות אתכם באירועי סיכום הפרויקט שלנו: אירוע "הפתעת הבחירות: מסיבת המדגמים" שיתקיים בירושלים בסוף יום הבחירות, ואירוע "יום הכיפורים של הסוקרים"  שיתקיים במרכז ב-14.04.

***

חגי אלקיים שלם הוא פסיכולוג פוליטי, יועץ אסטרטגי, עורך סקרים מקצועי ומנחה הפודקאסט "הספינר"; יונתן לזר-תלם הוא סטטיסטיקאי מוסמך, עובד כחוקר נתונים בחברת הייטק ויוזם הפרויקט "הסוקר האוטומטי".