Date: Wed, 22 May 2013 09:34:28 +0200
Quote:
- marketing2null.de
Positionssensitives A/B Split Testing Tool – UPDATE
http://www.marketing2null.de/2007/12/13/positionssensitives-ab-split-testing-tool-update/
Text:
Nach einem knappen Tag gibt es schon News zu unserem A/B Split Testing Tool. Von einigen Leuten kam der Einwand, das Tool sei etwas limitiert, da die durchschnittliche Positionierung zweier Anzeigen oft eng beieinander liegt. Bisher war es nur möglich natürliche Zahlen bzw Integer-Werte für die Position einzugeben. Wenn nun eine Anzeige durchschnittlich auf Position 3,3 geschaltet wurde und die andere auf Position 3,7, dann machen Rundungsfehler den Nutzen der Berücksichtigung der Positionierung kaputt. Da der Einwand völlig korrekt ist, haben wir das das Tool nun erweitert und es werden nun auch Kommazahlen akzeptiert, was präzisere Ergebnisse erlauben sollte.
Markus Burkert hat Zweifel geäußert, ob das Tool tatsächlich bessere Ergebnisse liefert als herkömmliche Tools.
Ich bin mir nicht ganz sicher, ob das der bessere Ansatz ist. Ausgegangen wird doch davon, dass für beide Anzeigen das selbe geboten wird, richtig?
Das Ergebnis des genannten Beispieles sagt nun, dass Anzeige A eine höhere CTR hätte, wenn Sie eine bessere Position hätte. Wenn eine bessere Position mit dieser Anzeige aber nicht zu erreichen ist (etwa weil der QualityScore niedriger ist, als bei Anteige B) ist das doch hinfällig.
Für alle anderen zur Wiederholung: Wir gehen davon aus, dass wir eine Anzeige haben, die schon sehr lange gelaufen ist. Wir schreiben nun eine weitere Anzeige in der gleichen Anzeigengruppe und fahren zur selben Zeit die Gebote hoch. Ich wähle diese Rahmenbedingungen, um die auftretenden Effekte klar hervorzuheben. Wir warten eine Woche und analysieren die Daten.
Was ist passiert? Als Ergebnis der Gebotserhöhung wurden beide Anzeigen während der letzten Woche auf einer hohen Position geschaltet. Auf dieser höheren Position ist die zu erwartende Klickrate deutlich größer, was auf den Listeneffekt zurückzuführen ist. Die erste Anzeige ist jedoch einen Großteil ihrer Lebensdauer auf einer niedrigen Position geschaltet worden. Ihre durchschnittliche Klickrate wird maßgeblich von den alten Gegebenheiten determiniert (Schaltung auf einer niedrigen Position), die neue Performance wird von den Durchschnitten verwischt. Die Klickrate der neuen Anzeige hingegen wird zu 100% von der hohen Positionierung beeinflusst. Wenn man nun die beiden Anzeigen vergleichen möchte, muss man unbedingt gleiche Verhältnisse schaffen. Man muss sich die Frage stellen, wie beide Anzeigen performt hätten, wenn sie auf der gleichen Position geschaltet worden wären. Um die Anzeigen überhaupt vergleichbar zu machen, muss man folglich den Listeneffekt “herausrechnen”. Genau das macht unser Split Tester.
Was ist nun, wenn zwei Anzeigen über die gleiche Dauer parallel geschaltet worden sind? Markus bringt einen interessanten Einwand ins Spiel. Er meint, es könnte doch passieren, dass eine der beiden Anzeigen von Google als qualitativ schlechter eingestuft wird und deshalb auf einer niedrigeren Position geschaltet wird. Sagen wir, wir haben das Keyword “Digitalkamera” und zwei alternative Anzeigen, eine gute und eine schlechte. Würde Google einen Quality Score für Anzeigen vergeben, der auch die Positionierung der Anzeigen beeinflusst, so könnte es sein, dass die beiden Anzeigen, die durch das gleiche Keyword ausgelöst werden, auf unterschiedlichen Positionen geschaltet werden. Die bessere Anzeige würde auf einer hohen Position, die schlechtere auf einer niedrigeren Position geschaltet.
Unsere Daten deuten darauf hin, dass die Position der Anzeigen maßgeblich vom Quality Score der Keywords determiniert wird. Alternative Anzeigen innerhalb einer Ad Group werden durchschnittlich auf der gleichen Position geschaltet – auch dann, wenn sich die Klickrate der Anzeigen (signifikant) unterscheidet.
Hier ein winziger Auszug aus einem Report einer unserer Kampagnen:
Wenn man bspw. Ad Group E betrachtet, so sieht man, dass die zweite Anzeige eine signifikant niedrigere Klickrate (und damit aus G’s Perspektive “Qualität”) vorweist. Dennoch ist die Positionierung identisch. Andere Kampagnen liefern ähnliche Daten.
Doch selbst wenn man davon ausgeht, dass Google die Qualität von Anzeigen berücksichtigt und sie dann auf unterschiedlichen Positionen schaltet, wäre ein herkömmlicher Split Tester nicht korrekt. Er würde dann einerseits den schlechteren Anzeigentext abstrafen (das ist das Ziel) und zudem den Listeneffekt der schlechter platzierten Anzeige einfließen lassen (nicht gewollt). Ein positionssensitiver Split Tester würde den Listeneffekt eliminieren. Wenn er seine Aufgabe richtig erfüllt, sollte er dann dennoch die niedriger platzierte Anzeige schlechter einstufen, da anzunehmen ist, dass diese Anzeige von Google aufgrund einer niedrigen CTR schwächer gerankt wurde. In solch einem Fall wäre ein Split Test aber ohnehin nicht erforderlich, da man die Anzeige mit der niedrigeren Positionierung einfach löschen könnte.
Klar sollte aber auch sein, dass unser Split Tester seine Entscheidungen auf aggregierten Daten (unterschiedliche Branchen, Matchtypen, etc.) ableitet. Unterschiede im Verhalten der Klickrate mit Veränderung der Positionierung können Keyword spezifisch sein, werden aber nicht berücksichtigt.
Via FeedShow.com