Posts Tagged ‘מבחני A/B’

מבחנים רבי-משתנים והכרויות באינטרנט

Monday, April 6th, 2009

אני מכיר מישהי שהייתה בעלת שרות הכרויות עוד לפני שהאינטרנט הפך לפופולארי. השירות היה אישי מאד. תמיד היו לה סיפורים מדהימים (אנונימיים כמובן) שאחד מהם נחרץ בזיכרוני במיוחד.

קרה פעם שלקוחה כועסת התקשרה וצעקה עליה. היא חזרה בדיוק מדייט שהמכרה שלי ארגנה עבורה. היא זעמה שסידרו אותה עם מעשן למרות שהיא סימנה בשאלון לא מעשנים בלבד. ידידתי סיפרה לה בעדינות שהיא רק בן אדם ובני אדם טועים. כלום לא עזר לפייס את האישה הצועקת בצד השני של הקו.

האם מדיה חברתית היא תחליף לשמועות?

תנחשו מה? האישה הזועמת הזו בסופו של דבר התחתנה עם המעשן. כמובן שלא היה לה הנימוס להודיע לידידתי, אבל לידידתי קשרים טובים והיא שמעה את הרכילות בחרושת השמועות (הצורה בה הפיצו בשכונה ידיעות בעידן עוד טרם נוצרה המדיה החברתית).

זה רק מוכיח שחייבים ליישם מבחנים רבי-משתנים באופן דחוף בתחום ההיכרויות המקוונות. כיום, לא מעשנת המסמנת שאינה מוכנה לסבול מעשן לא תצא עם מעשן. מכיוון שאי אפשר לסמן באופן מקוון כימיה אישית ועוד נתונים חשובים אחרים הם אינם זוכים לתשומת לב כמו תכונות פחות חשובות שאותם קל יותר להגדיר – ומלאכת השידוכים הופכת קשה יותר.

פירוש הדבר הוא ביצוע אופטימיזציה לוקאלית אבל צריך לקחת בחשבון שיתכן ומפסידים את הפתרון האופטימאלי. יכול להיות שהמעשן הוא בעל תכונות טובות יותר מהאחרים מכל הבחינות פרט לעישון. אבל בעידן האינטרנט, לא תינתן לו ההזדמנות כי יש תכונות שניתן לבדוק רק אול-ליין.

תרשים של אופטימיזציה מקומית ואופטימיזציה גלובאלית
אם אינך מבצע מבחנים רבי-משתנים יתכן שלא תמצא את הפתרון האופטימאלי

מבחנים רבי-משתנים בתחום ההיכרויות

הפתרון הברור הוא לבחון את כל הבחורים בו זמנית עבור כל התכונות החשובות. למרבה הצער אין זה בר ביצוע בתחום ההיכרויות ולכן צריך טקטיקה אחרת – זה נושא לכתבה אחרת בסוג אחר של בלוג.

בחינת אתרי אינטרנט והוצאת מרכיבים שליליים

לפעמים מרכיב שלילי בעמוד עובד היטב בשילוב עם גורמים אחרים. לכן צריך להיזהר מהוצאת מרכיבים שחושבים שהם שליליים. למשל, לאחרונה קראתי על מקרה בו הוצאת שדה הקופון הגדילה המרות בצורה דרמטית.

שדה של קופון הנחה עלול להוריד המרות
שדה הנחה יכול להקטין המרות אבל אין פירוש הדבר שחייבים להוציא אותו.

החשיבה אחורי הוצאת שדה ההנחות היא שלהרבה אנשים אין קוד הנחה וזה גורם להם להרגיש שסידרו אותם ולכן הם לא יבצעו הזמנה. במקום להוציא את שדה קופון אפשר לבחון את האופציות הבאות להוספת טקסט ליד חלון הקופון:

  • לאחר הזמנתך הראשונה אנו נשלח אליך קוד קופון
  • תירשם לידיעון המקוון שלנו ותקבל קוד קופון

אם עושים מבחני AB צריך לקחת בחשבון שיתכן שעושים אופטימיזציה לפסגה לוקאלית. את התוצאות לא צריך לקחת כמובנות מעליהן. צריך לחקור היטב מהן הסיבות ולפי זה להכין את המבחן.

בדיקות “גוגל אדוורדס” – טעויות שמהן כדאי להימנע

Monday, December 8th, 2008

כאשר בודקים אלו מודעות מצליחות יותר אתם בוודאי לא מנתחים את בדיקה ברמת מילת מפתח בנפרד. משמעות הדבר שייתכן תגיעו למסקנות שגויות. לאחרונה אנו השווינו שתי מודעות כפי שניתן לראות בתרשים למטה. (שיניתי חלק מן הפרטים כדי לשמור על פרטיות הלקוח.)

חייבים לנתח תוצאות מבחני A/B של גוגל אדוורדס כדי להימנע ממסקנות שגויות

למודעה העליונה היה שיעור המרה של 1.1% לעומת המודעה תחתונה שלה שיעור המרה של 1.8% .אמנם כאשר מנתחים את המודעות ברמת מילת מפתח אנו מגלים שלמילת המפתח מס’ 2:

  • שיעור המרה גבוה בהרבה במודעה השניה
    • על מנת לשפר את האמינות של הבדיקה אנו מפרסמים שתי מודעות מסוג A ומוודים שיש להן אותו שיעור קליקים (click through rate – CTR) לפני שעוצרים את הבדיקה. זה גורם למספר הגבוה של מבקרים עבור המודעה העליונה. אילו המודעות היו שוות למודעה מצד העליונה היה צריך להיות מספר כפול של מבקרים.
  • שיעור המרה גבוה יותר מאשר לכל יתר מילות המפתח
  • שיעור המרה גבוה יותר מאשר לאותה מילת מפתח במודעה א’.

Tמצב זה עלול לבלבל את התוצאות. אם מנטרלים את מילת המפתח מס’ 2 נמצא ששתי המודעות דומות או אפילו שמודעה א’ טובה יותר.

מודעות גוגל שונות בשביל מילות מפתח שונות

תסתכל על מילה מס’ 4 ותראה שההפך הוא נכון – מודעה א’ היא טובה יותר. לכן מילת מפתח מס’ 4 צריכה מודעה א’. אם לא היית עושה את הניתוח הזה לפי מילת מפתח אזי היית מגיע למסקנות שגויות והיית חושב שדווקא מודעה ב’ היא הטובה ביותר לקבוצה זו.

התוצאות שאתה חייב לזכור הן:

  • למילת מפתח אחת מודעה אחת היא הטובה ביותר ובשביל מילת מפתח אחרת מודעה אחרת היא הטובה ביותר.
  • מילות מפתח מס’ 2 ומס’ 4 צריכות להיות בקבוצת מודעות אחרת כדי שניתן לבצע אופטימיזציה של המודעה ברמת מילת מפתח.
  • צריכים לסנן החוצה את אותן מילות מפתח שתוצאותיהן מנוגדות לנטייה הכללית לפני שמנתחים בדיקות A/B. בעולם מושלם צריך מילת מפתח של “התאמה מושלמת” לכל קבוצת מודעות – למרבה הצער אין זה ישים.
  • עליך לסנן החוצה מילות מפתח בעלות תוצאות חורגות מהנטייה הכללית.
  • עליך לבדוק כל מילת מפתח חשובה בנפרד.

יתכן שתשאל כיצד זה קרה ששתי מילות המפתח השונות הללו הגיעו לאותה קבוצת מודעות מלכתחילה. בעולם עם אילוצי זמן אין זה יעיל לשייך כל מילת מפתח לקבוצה משלה. וגם אם היתה לכל מילת מפתח קבוצה משלה, היית צריך לעשות את כל הניתוח הנ”ל מכיוון שאנשים משתמשים במילות תואר שונות לכל מילת מפתח ב”צירוף מילים” או “בהתאמה רחבה”. זאת הסיבה מדוע הניתוח הנ”ל מבוסס על מילות המפתח בהן משתמשים המחפשים במציאות ולא במילות מפתח של “התאמת צירוף מילים” בקבוצת המודעות הזו.

לכן חשוב להשוות מודעות ברמת מילות המפתח.

ישנן עוד תובנות רבות שניתן להסיק מן הניתוח הנ”ל אך נשאיר את זה לפוסט אחר.