Wieso es vollkommen egal ist, ob die CTR ein Rankingfaktor ist! Und warum sie es trotzdem ist!

Fragst Du Dich auch, ob die CTR ein Rankingfaktor für Google ist oder nicht? Ganz ehrlich? Ich kann diese Frage schon fast nicht mehr hören. Die einen sagen ja, das sieht man und merkt man doch, die anderen sagen nein, dafür gibt es keinen Beweis. Natürlich ist es schwer etwas im SEO eindeutig nachzuweisen, aber müssen wir das überhaupt? Klar ist, dass Google es immer wieder dementiert. Unterschiedliche Sprecher des Unternehmens sagten wiederholt und an mehreren Stellen:

Die CTR ist kein Rankingfaktor.

Google

Dafür sei der Wert viel zu störanfällig und enthalte zu viel Rauschen. Doch immer wenn es ein überspezifisches Dementi seitens Google gibt, muss man als SEO wirklich gut aufpassen. Dann heißt es: Genau hinhören und über das Gesagt nachdenken:

Google sagt damit ja nur, dass die CTR, also das Verhältnis von Impressionen zu Klicks innerhalb einer Suchergebnisseite kein direkter Rankingfaktor ist. Mehr sagt Google dazu nicht. Und das heißt noch lange nicht, dass Klicks auf der Suchergebnisseite das Ranking nicht beeinflussen!

Denn nur weil die CTR kein direkter Rankingfaktor ist, heißt das noch nicht, dass die Interaktion mit den SERPs keinen Einfluß auf das Ranking haben kann.

Aber schauen wir uns mal die Hinweislage dazu an. Hier lohnt sich ein Blick in Forschungspapiere und Patente von Google:

1. Patent-Update: Long-, Short-, Medium und Last Clicks + SERP-Archiv

Kürzlich wurde ein neues Fortsetzungspatent von Google diskutiert, das detailliert beschreibt, wie die Klickraten der Nutzer und andere Informationen bezüglich des Nutzerverhaltens verfolgt und zur Veränderung der Rankings in den Suchergebnissen verwendet werden können. Wie ich weiter unten in diesem Artikel beschrieben habe, ist dieses Patent zwar nicht das Erste, das Hinweise auf die Verwendung der Click-Through-Rate als implizites Nutzerverhalten enthält, aber ein besonderes Interessantes. Denn dieses Patent wurde bereits dreimal mit Hilfe von Fortsetzungspatenten aktualisiert und wird von mal zu mal spannender!

Allgemeiner Hinweis zu Patenten

Fortsetzungspatente bieten die Möglichkeit, Ansprüche aus einem Patent zu aktualisieren und Änderungen in den Methoden eines Patentes abzubilden.

Aus der Existenz eines Patentes alleine kann man nicht darauf schließen, dass die beschriebene Technik auch tatsächlich eingesetzt wird. Bei einem Fortsetzungspatent ist das zwar aus meiner Sicht sehr wahrscheinlich, denn wieso sollte man sonst eine Technik immer wieder aktualisieren, erweitern und verfeinern, wenn diese in der Praxis gar keine Anwendung findet? 

Ein befreundeter Patentanwalt hat mir allerdings erzählt, dass die Anzahl an Patenteinreichungen in Forschungsabteilungen häufig eine Art Leistungskennzahl ist und Aktualisierungspatente der einfachste Weg sind, diese Zahl nach oben zu treiben. Ich möchte mir allerdings ungerne vorstellen, dass das bei Google ebenfalls so gehandhabt wird…

Aber schauen wir das Patent einfach an, um das es geht:

US8661029B1: Modifying search result ranking based on implicit user feedback

In der ersten Version des Patentes aus dem Jahre 2006 wird bereits beschrieben, wie man aus dem Verhältnis von Long Clicks zu Short Clicks auf die Relevanz eines Suchergebnisses hinsichtlich einer bestimmten Suchanfrage schließen kann. Ziel ist eine verbesserte Bedürfnisbefriedigung, damit die Nutzer schneller finden, was sie suchen und die Suchmaschine daher häufiger verwenden und Google mehr Anzeigen verkaufen kann.

Long Click + Short Click

Ein Long Click, also ein langer Klick tritt demnach auf, wenn ein Benutzer eine Suche durchführt, auf ein Ergebnis klickt und relativ lange auf dieser Website bleibt. Er kehrt also nicht sofort zur Suchergebnisseite zurück, um auf ein anderes Ergebnis zu klicken oder seine Abfrage zu verfeinern. Im Allgemeinen sind lange Klicks für Google offenbar ein Indikator für Zufriedenheit und die Erreichung des Ziels der Suche.

Im Gegensatz dazu bezeichnet ein kurzer Klick (Short Click) das genaue Gegenteil eines langen Klicks. Ein kurzer Klick entsteht, wenn ein Benutzer eine Suche durchführt, auf ein Ergebnis klickt und relativ schnell zur Suchergebnisseite zurückkehrt, um anschließend auf ein anderes Ergebnis zu klicken. Die absolute Zeit alleine ist also noch nicht entscheidend, denn der Nutzer hätte ja auch in sehr kurzer Zeit bereits die gewünschte Information finden können. Im Allgemeinen sind kurze Klicks für Google offenbar ein Ausdruck von Unzufriedenheit und Misserfolg.

Im Originaltext heißt es:

One aspect of the subject matter described in this specification can be embodied in a computer-implemented method that includes determining a measure of relevance for a document result within a context of a search query for which the document result is returned, the determining being based on a first number in relation to a second number, the first number corresponding to longer views of the document result, and the second number corresponding to at least shorter views of the document result; and outputting the measure of relevance to a ranking engine for ranking of search results, including the document result, for a new search corresponding to the search query. The first number can include a number of the longer views of the document result, the second number can include a total number of views of the document result, and the determining can include dividing the number of longer views by the total number of views.

The method can further include tracking individual selections of the document result within the context of the search query for which the document result is returned; weighting document views resulting from the selections based on viewing length information to produce weighted views of the document result; and combining the weighted views of the document result to determine the first number. The second number can include a total number of views of the document result, the determining can include dividing the first number by the second number, and the measure of relevance can be independent of relevance for other document results returned in response to the search query.

Es ist also doch etwas komplizierter als nur die Betrachtungszeit von Dokumenten heranzuziehen. Das Patent legt zudem nahe, dass die Kategorien der Suchanfragen, für die diese Dokumente gefunden werden, ebenfalls eine Rolle bei der Auswirkung der Betrachtungszeit und der Klickraten der Benutzer spielen können:

The weighting can include weighting the document views based on the viewing length information in conjunction with a viewing length differentiator. The viewing length differentiator can include a factor governed by a determined category of the search query, and the weighting can include weighting the document views based on the determined category of the search query. The viewing length differentiator can include a factor governed by a determined type of a user generating the individual selections, and the weighting can include weighting the document views based on the determined type of the user.

Das bedeutet also, dass bei unterschiedlichen Arten von Suchanfragen, beispielsweise offene vs. geschlossene Fragen. die zu erwartende Dauer eines üblichen Aufenthalts sehr stark variiert und demnach die Klassifikation der Suchanfragen berücksichtigt werden muss!

Last Click

Außerdem steht darin, dass die vorher besuchten Webseiten die Aussagekraft von sogenannten Last Clicks beeinflussen. Mit Last Click wird der Klick auf die Seite bezeichnet, mit der die betreffende Suchsession beendet wird. Hierbei kann man davon ausgehen, dass der Nutzer auf der betreffenden Seite zu seinem Ziel kam. Jedoch kann es beispielsweise auch der Fall sein, wenn er mehrere Suchergebnisse zuvor besucht hat, dass die Session an der Stelle endet, weil es keine neuen Informationen mehr gab.

Hier zu heißt es im Original:

FIG. 4D shows an example process of discontinuous weighting. The individual selections of the document result can be classified 4210 into viewing time categories, and weights can be assigned 4220 to the individual selections based on results of the classifying. For example, a short click can be considered indicative of a poor page and thus given a low weight (e.g., −0.1 per click), a medium click can be considered indicative of a potentially good page and thus given a slightly higher weight (e.g., 0.5 per click), a long click can be considered indicative of a good page and thus given a much higher weight (e.g., 1.0 per click), and a last click (where the user doesn’t return to the main page) can be considered as likely indicative of a good page and thus given a fairly high weight (e.g., 0.9). Note that the click weighting can also be adjusted based on previous click information. For example, if another click preceded the last click, the last click can be considered as less indicative of a good page and given only a moderate weight (e.g., 0.3 per click).

Medium Click

In einer weiteren Patentfortsetzung kam noch die Kategorie des Medium-Klicks zwischen Short- und Long-Click hinzu und der Long Click wurde noch etwas näher beschrieben.

Hier zu heißt es im Original:

6. The system of claim 5, wherein the viewing time categories further comprise a category for a medium click and a category for a last click.
7. The system of claim 6, wherein the operations further comprise:
determining respective time frames to classify selections as short, medium and long clicks, based on a viewing length differentiator, the viewing length differentiator including a factor governed by a determined category of the search query, a factor governed by a determined type of a user generating the individual selections, or a combination of them.

Außerdem wird eine Abwertung von Nutzern vorgenommen, die immer stupide auf das Ergebnis auf Platz 1 klicken:

16. The one or more non-transitory computer-readable storage media of claim 13, wherein the operations further comprise:
assigning lower weights to click fractions based on users who almost always select the highest ranked result lower weights than click fractions based on users who more often select results lower in the ranking first in the weighted-click fractions.

Trainingsdaten für CTR-Vorhersagen

In der neuesten Version des Patentes, die am 12. März 2019 erteilt und Ende 2017 eingereicht wurde,
kam schließlich der, für mich, entscheidende Hinweis in Sachen CTR hinzu:

Es werden alle angezeigten URLs, die NICHT geklickt wurden, inkl. deren Title und Snipptes gespeichert und ausgewertet.

Im Patent wird genauer auf die Daten eingegangen, die aus den Logs gespeichert werden:

15. The one or more non-transitory computer-readable storage media of claim 13, wherein the log data also includes for each of multiple presentations of search results by the search engine:
whether a document result was presented to the respective user but was not selected, respective positions of one or more selections in a search results presentation user interface, information retrieval scores of selected documents, information retrieval scores of all documents shown before a selected document, and titles and snippets shown to a user before the user selected a document.

Darin steckt aus meiner Sicht die eigentlich Erkenntnis: Denn nun werden alle angezeigten URLs, die NICHT geklickt wurden, inkl. deren Title und Snipptes gespeichert und ausgewertet. Wozu macht man das, wenn man die Daten hinterher nicht auswerten will?

Klar, Google könnte dies auch nur machen, um Veränderungen von Rankingalgorithmen zu evaluieren. Im folgenden Video wird die Perspektive der Google Ranking Ingenieure dazu gut illustriert. Das Video stammt von der SMX West 2016, auf der Google Engineer Paul Haahr darüber sprach, wie Google aus der Sicht eines Ingenieurs funktioniert. Die Folien sind leider nicht über SlideShare zugänglich, den Vortrag findet man jedoch über YouTube:

Die Darstellung, dass Google nach Änderungen in den Klickmustern in Live-Traffic-Experimenten sucht, ist jedoch mit Vorsicht zu genießen, denn er sagt auch, dass es schwieriger sein könnte, als man erwarten würde, was nicht weiter verwunderlich ist, wenn man sich die zuvor erwähnten Forschungsarbeiten durchliest. Es ist hervorzuheben, dass Paul die Klickmuster als eine der Metriken bezeichnet, die zur Bestimmung der Erfolgsraten der A/B-Versionen verwendet werden.

Nach Haahrs eigenen Worten wäre eine naive Interpretation des Algorithmus B, der P₂ vor P₁ stellt und zu keinem Klick führt schlecht und es gibt eine Reihe von Faktoren, warum es in diesem Fall keinen Klick gegeben haben könnte. In der von Danny Sullivan mit Paul Haahr und Gary Illyes von der gleichen Konferenz moderierten F&A wurde wiederholt, wie schwierig es ist, die Ergebnisse aus Live-Experimenten zu interpretieren. Dort hieß es: Es gibt so viele Experimente, die wir durchgeführt haben, die sehr irreführende Live-Metriken haben, und wir müssen uns wirklich mit ihnen beschäftigen.

Haahr nannte auch ein Beispiel für ein langjähriges Google-Experiment, bei dem sie #2 und #4 vertauscht haben, basierend auf 0,2% der Suchmaschinenbenutzer als Datensatz. Aus der Analyse ging hervor, dass im B-Test, bei dem #4 an Stelle von #2 stand, mehr Benutzer auf #1 klickten. Haahr, auch während der Q&A, zeigte, dass #10 typischerweise mehr Klicks erhält als die Positionen #8 und #9 zusammen (aber immer noch schlechter als #7).

Seit 2016 sind jedoch drei Jahre vergangen und wir wissen auch, dass Google sich immer weiter von menschengemachten Rankingalgorithmen entfernt und immer stärker Machine Learning und KI für seine Suchalgorithmen einsetzt.

Ich vermute daher, dass Google mittlerweile mit den gespeicherten Daten aus Suchanfrage, Nutzerprofil, Land und Sprache und den geklickten und nicht geklickten Snippets und URLs eine KI trainiert, die dann CTR-Vorhersagen machen kann.

Diese könnte bei neuen URLs oder neuen Suchanfragen, für die es noch keine Nutzerdaten gibt vorhersagen, wie gut diese geklickt werden und damit für die initiale Bewertung und damit das Ranking herangezogen werden.

UND: Man könnte die vorhergesagte CTR einer URL/Snippet-Kombination mit der tatsächlichen CTR Vergleichen und darauf hin die Rankingposition eines Ergebnisses verändern (Was Google übrigens nachweislich bei der Berechnung des Quality Scores in den Google Ads tut).

Learning to Rank with Selection Bias in Personal Search

Ein interessantes Forschungspapier von Google geht noch detaillierter auf die Auswirkung der CTR auf das Ranking ein. In Learning to Rank with Selection Bias in Personal Search“ steht:

Click-through data has proven to be a critical resource for improving search ranking quality.

Allerdings bezieht sich das Paper auf die personalisierte Suche. Darin wird außerdem erwähnt, dass es zahlreiche Verzerrungseffekte in Sachen CTR gibt:

Though a large amount of click data can be easily collected by search engines, various biases make it difficult to fully leverage this type of data.

US10229166B1: Modifying search result ranking based on implicit user feedback and a model of presentation bias

Um diese Einflüsse besser zu verstehen, sollte man sich das Patent: “Modifying search result ranking based on implicit user feedback and a model of presentation bias”, ansehen, das nur 4 Monate nach dem oben erwähnten Patent von den selben Autoren eingereicht wurde!

Darin wird beschrieben, wie die Suchmaschine, unabhängig von der Darstellung der jeweiligen SERP, aussagekräftige Click Through Daten erheben könnte. In den Abbildungen ist das selbe System wie im vorausgehenden Patent illustriert, also besteht hier zweifelsfrei ein Zusammenhang.

Dabei wird eindeutig beschrieben, dass das Verhältnis aus der Anzahl der Suchanfragen und der Anzahl von Suchanfragen mit Klicks auf eine bestimmte URL gebildet wird. Also der CTR.

Zusätzlich zur CTR, wird der jeweilige Query-Typ, also die Klassifikation der Suchanfrage und der Nutzer-Typ für die Gewichtung verwendet werden. Die Autoren nennen hierfür folgendes Beispiel: Bei einer “navigational” Suche wie “BMW” und einer “informational” Suche nach “George Washington’s Birthday’” sind die Click Through Rates grundsätzlich verschieden:

Note that such categories may also be broken down into Sub-categories as well. Such as informational quick and informational-slow! (…) The query categories can be identified by analyzing the IR scores or the historical implicit feedback provided by the click fractions.

Anhand der CTR lässt sich also den Query-Type, sprich die Keyword-Klassifikation erkennen und damit letztlich die Rankingfaktoren bestimmen, die für die Ergebnissortierung am besten geeignet sind.

Fazit: Ist die CTR jetzt ein Rankingfaktor, oder nicht?

Wenn ich ehrlich bin, sollte es Dir eigentlich vollkommen egal sein, ob die CTR ein Rankingfaktor ist, denn unwiderlegbar steht fest, dass eine verbesserte CTR deinen Traffic erhöht und geht es nicht letztlich darum mehr Besucher zu bekommen? Durch eine bessere CTR, auch an der selben Position in den SERPs bekommst Du in jedem Falle mehr Klicks, also solltest Du die CTR versuchen zu optimieren, auch wenn Du nicht an einen Einfluß auf das Ranking glaubst!

Also nochmal: Aus der Existenz eines Patentes alleine kann man natürlich nicht darauf schließen, das die jeweilige Technik auch wirklich eingesetzt wird! 

Nach allen Papern liegt aus meiner Sicht die Vermutung nahe, dass Google die CTR und auch das Verhältnis von Long und Short Clicks einsetzt. Ob nur zur Klassifizierung von Suchergebnissen oder Evaluierung von Rankingveränderungen, oder auch zur unmittelbaren Veränderungen der Reihenfolge lässt sich ohne weitere Aussagen von Google aus meiner Sicht nicht klären. Spannend ist allemal, dass nun auch noch Medium Clicks und der Last Click verwendet werden, der aus meiner Sicht am ehesten für die Befriedigung des Suchbedürfnisses gewertet werden kann.

Meine Experimente und alle Kundenprojekte der letzten Jahre haben mir jedoch gezeigt, dass sich die Verbesserte CTR, sei es durch externe Effekte oder durch Optimierung des Snippets IMMER durch eine Verbesserung im Ranking ausgewirkt haben. Allerdings habe ich dabei auch STETS darauf geachtet, den Nutzer wirklich zufrieden zu stellen, also ich kann nicht darüber sagen, ob es auch funktioniert, wenn man nur an der CTR dreht und die Seite aber eigentlich scheiße ist.

Es ist doch vollkommen egal, ob sich dein Ranking dadurch verbessert. Wenn deine CTR sich verbessert, bekommst Du mehr Traffic! Und das ist es doch, worum es im SEO geht?!

Übrigens lassen die Papers darauf schließen, dass man mit Rich Snippets und Co. sein Ranking nicht verbessern kann. Denn auch wenn die CTR effektiv steigt, wird der Effekt der Bewertungssterne zum Beispiel aus den Daten wieder herausgerechnet. Da es sich um einen Representation Bias handelt. Das wird explizit so auch bei den Google Ads angesprochen. Dass eben Anzeigenerweiterungen KEINEN Einfluß auf den Qualitätsfaktor haben, OBWOHL die CTR messbar steigt!

Weitere Research Papers zum Thema Click Through Data:

1. Super spannend finde ich auch das Paper Optimizing Search Engines using Clickthrough Data von Thorsten Joachims von der Cornell University, Department of Computer Science aus dem Jahr 2002. Joachims hat viele einflussreiche Forschungsarbeiten zur Suchmaschinen-Technologie verfasst und sich sehr intensiv mit der Nutzung der CTR für Suchmaschinenalgorithmen beschäftigt. Seine Forschungsarbeit stellt das Konzept vor, CTR-Daten als Indikatoren für die Relevanz von Suchergebnislinks zu nutzen, um Websites besser bewerten zu können. Dass dieses Paper bereits aus dem Jahr 2002 stammt, zeigt, wie alt die Forschung zur CTR ist. Die Untersuchung der CTR auf relevante Informationen ist ein ausgereiftes Forschungsgebiet. Es ist sehr spannend zu sehen, dass die Arbeit auch die Einschränkungen im Algorithmus erkennt. Diese Art der Algorithmen beschränken sich also darauf, herauszufinden, welche der Top-10-Links am relevantesten sind. Aber so erfährt man nichts über die Websites auf der zweiten, dritten oder vierten Seite der Suchmaschinen-Ergebnisseiten (SERPs).
2. Die zweite Forschungsarbeit von einem Forscher der Stanford University aus dem Jahr 2005 trägt den Titel Accurately Interpreting Clickthrough Data as Implicit Feedback. Dies ist ein wichtiges Forschungspapier, weil es erstmals zeigte, dass CTR-Daten vielleicht nicht so zuverlässig sind wie ursprünglich gedacht, man also nicht unmittelbar und direkt daraus die Relevanz einer Seite ableiten kann.
3. Das dritte Paper, ebenfalls aus dem Jahr 2005, trägt den Titel: Evaluating the Robustness of Learning from Implicit Feedback. Von Filip Radlinski und Thorsten Joachims von der Cornell.
   Das Ziel ihrer Forschung war es, nun zu verstehen, wann CTR-Daten nützlich sind und wann CTR-Daten verzerrt und weniger nützlich sind. So hat das Papier das Problem und die Lösung zusammengefasst:
   “…this data tends to be noisy and biased… In this paper, we consider a method for learning from implicit feedback and use modeling to understand when it is effective.”
   Diese Arbeit ist besonders interessant, weil die Forscher versuchen das Benutzerverhalten zu modellieren und diese Daten anstelle des tatsächlichen Benutzerverhaltens zu verwenden. Dabei setzen die beiden auf sogenanntes Reinforment Learning, einer Form des maschinellen Lernens. Das Paper ist wirklich cool, denn es zeigt, wie eine Suchmaschine maschinelles Lernen dazu verwenden kann, das Nutzerverhalten zu verstehen und dann den Algorithmus ohne tatsächliche CTR-Daten, aber mit simulierter CTR, zu trainieren! Besonders geil ist das, weil das auch bedeutet, dass eine Suchmaschine theoretisch das Nutzerverhalten auf Websites modellieren kann, ohne dass diese sich auf der ersten Seite der SERPs befinden muss.
4. Die vierte Forschungsarbeit, die man zu dem Thema kennen sollte, ist: Learning Diverse Rankings with Multi-Armed Bandits. Diese Forschungsarbeit verwendet nicht den Begriff Nutzerintention, sondern spricht von der Benutzerzufriedenheit. Es geht also klar um die Zielerreichung. Dieses Paper konzentriert sich auf die Bedeutung von Ergebnissen, die die meisten Benutzer zufriedenstellen. Und die meisten Benutzer zufriedenzustellen bedeutet zu verstehen, welche Klicks die geringste Zahl von Nutzern wieder zurück in die Suchmaschine bringen, auch bekannt als Bounce.
   Quelle: CTR as a Ranking Factor: 4 Research Papers You Need to Read von Roger Montti
5. Das fünfte Google-Papier mit dem Titel Incorporating Clicks, Attention, and Satisfaction into a Search Engine Result Page Evaluation Model hat Menge neuer Spekulation und Unterstützung für die CTR als Ranking-Faktor ausgelöst. Das Dokument beschreibt zwei erste Herausforderungen, denen sich diese Hypothese gegenübersieht, und zwar die Einführung neuer SERP-Funktionen durch Google selbst und das normale Nutzerverhalten:
   First, the presence of such elements on a search engine result page (SERP) may lead to the absence of clicks, which is, however, not related to dissatisfaction, so-called ‚good abandonments‘.
   Dabei handelt es sich um Direct Answers und andere spezielle Inhaltsergebnisblöcke, die zu einer „Zero-Click“-Suche führen.
   Second, the non-linear layout and visual difference of SERP items may lead to non-trivial patterns of user attention, which is not captured by existing evaluation metrics.
   Dies liegt daran, dass wir als Benutzer die Suchergebnisse nicht immer linear, also von oben nach unten durchgehen und häufig eben auch mehrere Registerkarten öffnen, was bedeutet, dass das Verhalten unregelmäßig und unvorhersehbar ist.
   Das Papier umreißt vier Kernthemen, die relevant bei der Betrachtung sind: Benutzerverhalten, Klick-Modelle, Mausbewegung und Gutes Verlassen (zufriedene Nutzer, die die Suche beenden).
   Was auch sehr spannend ist: In der Studie wird erwähnt, dass 42% der Quality-Rater von Google nur auf das SERP-Ergebnis klickten, um zu bestätigen, dass die ursprünglich auf dem SERP präsentierten Informationen (zusammengefasst durch Metainformationen) bereits korrekt waren. Das bedeutet, dass zusätzliche Klicks auf Ergebnisse nicht mit einem „schlechten“ Satz von Anfangsergebnissen korrelieren und außerdem Quality-Rater nicht mit dem Verhalten echter Nutzer gleichgesetzt werden können. Übrigens werden klassische Metriken aus der Web-Analyse nicht verwendet! Insbesondere wird bei der Beurteilung der Zufriedenheit nicht auf Verweildauer, Bounce-Rate oder durchschnittliche Time on Site eingegangen.

Experimente, die versuchen zu beweisen, dass Klicks einen Einfluß auf das Ranking haben

Wer auf der Mozcon 2015 war, konnte Rand Fishkins Experiment beiwohnen, in dem er die Auswirkungen von Klicks auf das Ranking mit dem Live-Publikum testete – und es funktionierte!

Er brachte das gesamte Publikum, das aus etwa 1.500 Menschen bestand, dazu, bei einem Keyword auf die Position 1 zu klicken und direkt wieder zur Suchseite zurückzukehren (negatives Signal). Anschließend klickte das Publikum auf die Seite auf Position 4 und sollte ein wenig mit der Seite interagieren (positive Signale).

Und siehe da: Innerhalb von etwa 30 Minuten tauschten die beiden Websites ihre Positionen. Das blieb für etwa 2 Tage so. Diesen Test wiederholte er übrigens noch mehrmals über Twitter und auch bei SearchLove in London 2015.

Besonders spannend fand ich die unmittelbare Reaktion, weil das Unternehmen, das auf Platz 1 rankte, niemand Geringeres war als Amazon, also die so ziemlich stärkste Rankingkonkurrenz überhaupt.

Ich habe selbst in zahlreichen Seminaren immer wieder die Teilnehmer gebeten, ohne WLAN, also mit ihren Smartphones über die mobilen Daten, vergleichbare Aktionen durchzuführen, und es hat IMMER Veränderungen gegeben. Mal mehr und mal weniger stark, mal mehr und mal weniger lang. Aber ich kann aus meiner Beobachtung nur bestätigen, dass es so ist. Und auch, wenn man sich die Forschung zu Suchmaschinen-Technologien ansieht, scheint es mehr als offensichtlich.

Leider lassen sich eigene Experimente immer nur sehr schlecht verifizieren, denn man kann sich hier nicht auf die in Google Analytics und Google Search Console angezeigten Daten verlassen. Diese sind nototisch unvollständig. Es gibt zahlreiche Beispiele online von Personen, die berichten, dass nicht alle ihre Klicks erscheinen. Siehe z.B. das folgende Beispiel: https://moz.com/blog/google-search-console-webmaster-tools-reliability. Scrollen Sie nach unten zu GSC Abschnitt 5: Search Analytics; beachten Sie, dass in diesem Experiment Null Klicks aufgezeichnet wurden. Das Fazit: „Es ist offensichtlich, dass man sich bei leicht gesuchten Begriffen nicht auf GSC verlassen kann, unabhängig von den Umständen des Benutzers.“ In weiteren Benutzerberichten wurden nur 2 von 470 Klicks aufgezeichnet. Die Erklärung scheint hier zu sein. Blättern Sie nach unten zum Abschnitt Datenunterschiede. Offensichtlich aus Datenschutzgründen beschließt Google, bei einigen Anfragen keine Daten anzuzeigen:

Zum Schutz der Benutzerdaten zeigt Search Analytics nicht alle Daten an. So können wir beispielsweise einige Anfragen, die sehr selten gestellt werden oder persönliche oder sensible Informationen enthalten, nicht verfolgen. Sehr seltene Abfragen (sogenannte anonyme Abfragen) werden in diesen Ergebnissen nicht angezeigt, um die Privatsphäre des Benutzers zu schützen, der die Abfrage stellt.

Die gute Nachricht ist, dass selbst wenn Google sich dafür entscheidet, diese Klicks nicht in Analytics/GSC anzuzeigen, die Klicks immer noch an Google Search übermittelt werden und dennoch eine CTR-Steigerung und den damit verbundenen SEO-Nutzen registrieren werden.

Grundlagen: Analyse von Nutzerdaten

Die Implementierung von Feedback-Mechanismen ist ein zentraler Wettbewerbsvorteil jeder Web 2.0 Firma.^[1] Es wird vermutet, dass sich die Suchmaschinen genau ansehen, welche Seiten in den Ergebnissen zu einer Abfrage angeklickt werden,^[2] denn hier bietet sich den Entwicklern ein exzellenter Mechanismus für die Optimierung der Suchergebnisqualität. Als Beispiel könnte eine signifikant höhere Klickrate eines Suchergebnisses dessen Position verbessern.^[3]

Die Bewertung der Information Retrieval Performance z. B. im Rahmen der Text Retrieval Conference (TREC) konzentriert sich auf Relevanzbeurteilungen, die für reale Abfragen in Suchmaschinenprotokollen gesammelt werden. Dabei müssen die Juroren für jede Anfrage zunächst die Absicht ableiten, bevor sie beurteilen können, wie relevant ein Dokument für diese Absicht ist. Radlinski et al. (2010) haben für diese Beurteilung einen Ansatz zur Identifizierung der populären Bedeutungen von Suchanfragen mit Hilfe von Web-Suchprotokollen und Benutzer-Klickverhalten (auch Click-Through-Daten) nachgewiesen.

Durch die Kombination von Klickdaten und Neuformulierungen derselben Suchanfrage konnten die Forscher die wahrscheinlichsten Absichten für eine Anfrage identifizieren.^[4] Laut der Autoren ist die Kombination von Query Logs mit Klickdaten wichtig, da Klicks und Neuformulierungen verschiedene Arten von Informationen erfassen. Gerade die Neuformulierung einer Suchanfrage liefert oft alternative Formulierungen der Intention des Benutzers, z. B. wenn der Benutzer nicht ausreichend zufriedenstellende Ergebnisse erhalten hat, diese nicht bemerkt hat oder sich mehr Ergebnisse wünscht. Klicks dagegen zeigen an, dass dem Nutzer scheinbar [sic] passende Dokumente präsentiert wurden.^[5]

Diverse Studien haben diese Click-Through-Daten verwendet, um Navigationsabfragen zu identifizieren und Roy et al., 2012 konnten sogar zeigen, dass die Verwendung von CTR-Daten eine Alternative zur Standard-Evaluierung durch manuelle, also durch Menschen vorgenommene Einordnungen darstellen kann. Laut Lewandowski et al. (2012) eignet sich die Auswertung der Click-Through-Daten besonders zur Identifizierung von Navigationsabfragen, bei denen eine messbare Häufung der Klicks bei einem einzigen Suchergebnis feststellbar ist.

„In addition, clickthrough investigations can be seen as a means of identifying navigational queries. The usefulness of clickthrough data to determine the relevance of search engine results was discussed by Joachims (2002) and confirmed in several other studies (Chao, Guo, & Wand, 2009; Dou, Song, Yuan, & Wen, 2008; Macdonald & Ounis, 2009). Whereas for informational queries it can be seen from the clickthrough data which results are relevant, for the navigational queries, a clear aggregation of the clicks on just one result should be observable. However, the position of a result does influence the number of clicks it will get (Craswell, Zoeter, Taylor, & Ramsey, 2008; Höchstötter & Lewandowski, 2009).”^[6]

Die Bestimmung des User Intents aus den Protokollen von Web-Suchmaschinen ist aufgrund der spärlichen Datenmenge, die für einen einzelnen Suchvorgang zur Verfügung steht, jedoch eine Herausforderung für die Suchmaschinenentwickler.^[7] Eine neuere Arbeit von Jiang et al., 2016 konnte mittels experimenteller Ergebnisse zeigen, dass die Erkennung der Nutzerintention auch ohne Einbeziehen der Klickdaten möglich ist.

Literaturverzeichnis

• [1] Vgl. Cao, X. et al., 2012. „Spatial Keyword Querying“ in „Conceptual Modeling – 31st International Conference, ER 2012 Florence, Italy, October 15-18, 2012 Proceedings“. Berlin Heidelberg, 2012. Springer-Verlag, S. 16-29.
• [2] Vgl. ebenda.
• [3] Vgl. ebenda.
• Radlinski, F., Szummer, M. & Craswell, N., 2010. „Inferring query intent from reformulations and clicks“ in „Proceedings of the 19th international conference on World wide web“. New York, NY, USA, 2010. ACM, S. 1171-1172.
• [4] Vgl. Radlinski, F., Szummer, M. & Craswell, N., 2010. „Inferring query intent from reformulations and clicks“ in „Proceedings of the 19th international conference on World wide web“. New York, NY, USA, 2010. ACM, S. 1171-1172.
• R. Saha Roy, R. et al., 2015. „Discovering and understanding word level user intent in Web search queries“. „Web Semantics: Science, Services and Agents on the World Wide Web“, January. S. 22- 38.
• Lewandowski, , Drechsler, & von Mach, S., 2012. „Deriving query intents from web search engine queries“. „Journal of the American Society for Information Science and Technology “, S. 1773-1788.
• [5] Vgl. Radlinski, F., Szummer, M. & Craswell, N., 2010. „Inferring query intent from reformulations and clicks“ in „Proceedings of the 19th international conference on World wide web“. New York, NY, USA, 2010. ACM, S. 1171-1172.
• [6] Vgl. Lewandowski, D., 2016. „Die Suchergebnisseite als Dauerwerbesendung?“. „INFORMATIK 2016. Lecture Notes in Informatics (LNI)“, S. 183-193.
• [7] Vgl. Jansen, B.J., Booth, D.L. & Spink, A., 2007. „ Determining the user intent of web search engine queries“ in „Proceedings of the 16th international conference on World Wide Web“. New York, NY, USA, 2007. ACM, S. 1149-1150.
• Jiang, D., Leung, W.T. & Ng, W.S.H., 2016. „Query Intent Mining with Multiple Dimensions of Web Search Data“. „World Wide Web: Internet and Web Information Systems“, 19(3), S. 475-497.