Die Krux mit den CrUX-Ergebnissen

Die Chrome User Experience (CrUX)-Daten von Google sind eine wertvolle und einzigartige öffentliche Ressource, wenn Sie die SEO-Performance Ihrer Website verbessern oder Ihre UX mit Wettbewerbern vergleichen möchten. Real-User-Monitoring (RUM)-Tools hingegen bieten einen detaillierten Einblick in die Nutzerbasis Ihrer Website, ermöglichen die Analyse individueller Customer Journeys und zeigen so konkrete UX-Optimierungspotenziale oder Hinweise auf technische Probleme auf. Da beide Tools eine wichtige Rolle bei der Pflege einer erfolgreichen Website zu spielen scheinen, werden sie häufig nebeneinander eingesetzt. Vergleicht man jedoch die UX-Kennzahlen, die von beiden erfasst werden, wird man feststellen, dass sich CrUX- und RUM-Messungen häufig widersprechen. Bedeutet dies, dass eine der beiden Kennzahlen fehlerhaft ist? Überraschenderweise lautet die Antwort: Nein. In diesem Beitrag werden wir ausführlich erklären, warum CrUX und RUM oft widersprüchliche Leistungsmessungen melden und warum Sie beide trotzdem im Auge behalten sollten.

RUM - Ein ganzheitliches UX-Tracking-Setup

Real-User Monitoring (RUM) Tools wie mPulse, Data Dog oder Dynatrace sammeln detaillierte Informationen über das Nutzererlebnis, die direkt im Browser gemessen werden.

Der Fokus liegt dabei auf mehreren Timern, die z.B. ausdrücken, wie lange es dauerte, bis der Nutzer den ersten Inhalt sah (First Contentful Paint) oder bis die Seite auf die erste Nutzerinteraktion reagierte (First Input Delay).

Den hohen Kosten für die Integration solcher Tools in Ihre Website steht der Vorteil gegenüber, dass detaillierte Informationen über jeden einzelnen Seitenaufruf erfasst werden (z. B. Browser, Seitentyp, Timestamp, Land). Dies ermöglicht eine umfassende und tiefgehende Analyse der Leistung Ihrer Website, einschließlich der Untersuchung der User Journeys und der Identifizierung konkreter Optimierungsmöglichkeiten oder technischer Probleme.

CrUX - Ein Zero-Effort UX & SEO Indikator

Der Chrome User Experience (CrUX)-Bericht basiert auf den Daten von Googles eigenem RUM-Tool, das in Googles Chrome-Browser integriert ist: Um CrUX zu nutzen, müssen Sie also nichts einrichten, warten oder bezahlen. Google misst die Leistung Ihrer Website automatisch und stellt die Ergebnisse über verschiedene Kanäle wie die CrUX-API oder das Dashboard bereit (siehe Abbildung 1) [1].

Abbildung 1: Screenshot des CrUX Dashboards auf Data Studio für den Ursprung "https://www.google.com"

Im Vergleich zu Ihren eigenen RUM-Daten enthalten die CrUX-Daten jedoch nur Chrome-basierte Nutzererfahrungen, liefern weniger Metriken und sind weit weniger granular. Zum Beispiel werden die Daten über mindestens 28 Tage aggregiert und es werden nur sehr begrenzte nutzerbezogene Informationen bereitgestellt, die wertvolle Einblicke wie den besuchten Seitentyp (z. B. Kasse vs. Produktdetailseite), das Betriebssystem, die Browserversion und vieles mehr ausschließen.

Dennoch spielen sie eine wichtige Rolle für die Optimierung der SEO-Leistung Ihrer Website: Google nutzt die CrUX-Daten selbst für das Ranking der Google-Suchergebnisse [2]. Das macht den CrUX-Datensatz zu einem der wichtigsten Indikatoren für den Erfolg Ihrer Google-Suchmaschinenoptimierung (SEO).

Darüber hinaus bietet CrUX für Websites, die nicht über ein eigenes RUM verfügen, schnelle und umsetzbare UX-Daten und ermöglicht ein Benchmarking Ihrer UX-Leistung mit Wettbewerbern.

Warum die Leistung von CrUX nicht mit RUM reproduziert werden kann

In den vorangegangenen Abschnitten haben wir dargelegt, wie sich RUM und CrUX unterscheiden und wie sie sich gegenseitig ergänzen können, wenn es darum geht, eine erfolgreiche Website zu betreiben.

Wenn Sie jedoch sowohl CrUX als auch RUM verwenden, werden Sie höchstwahrscheinlich auf das Problem stoßen, dass beide Datenquellen widersprüchliche Kennzahlen melden - selbst wenn Sie nur Chrome-Ergebnisse vergleichen und dieselbe Aggregation verwenden (z. B. 75. Perzentil des ersten Contentful Paint der letzten 28 Tage).

Aber keine Angst! Das bedeutet nicht, dass einer der beiden Werte falsch ist. Sie sind nur nicht vergleichbar, weil Google eine benutzerdefinierte Tracking-Logik verwendet, die mit Ihrem RUM-Tracking nicht vollständig nachvollzogen werden kann.

Googles CrUX-Tracking wendet nicht reproduzierbare Filter an

Werfen wir einen Blick auf den Google CrUX-Tracking-Trichter in Abbildung 2, um zu verstehen, auf welche Nutzergruppe sich die CrUX-Leistungszahlen tatsächlich beziehen.

 

Abbildung 2: Die CrUX-Daten von Google können mit keinem Real-User-Monitoring-Tool (RUM) auf dem Markt repliziert werden, da sie die Leistung für eine Untergruppe von Nutzern widerspiegeln, die nur Google identifizieren kann.

Filter 1: Nur Chrome-Erfahrungen (ausgenommen WebViews)

Wir haben bereits festgestellt, dass CrUX-Daten nur Informationen von Chrome-Nutzern enthalten. Wie von Google bestätigt, bedeutet das auch, dass Chrome-basierter WebView-Verkehr nicht enthalten ist (App-Verkehr von Android-Geräten) [3]. RUM-Daten hingegen decken normalerweise alle Browser ab, einschließlich WebViews.

Da Ihr RUM wahrscheinlich die Informationen darüber verfolgt, welcher Browser verwendet wurde, könnte dieser Unterschied in der Verfolgungsmethodik tatsächlich durch eine entsprechende Filterung Ihrer RUM-Daten gelöst werden. Aber wie wir bereits erwähnt haben, führt das aufgrund der folgenden Filter, die in Googles Nutzer-Tracking-Funnel angewendet werden, nicht zu den gleichen Ergebnissen.

Filter 2: Nur eingeloggte Nutzer

Im Gegensatz zu RUM-Daten werden CrUX-Daten nur für Chrome-Nutzer gesammelt, die mit ihrem Google-Konto in ihrem Browser angemeldet sind. Dies ist zwingend erforderlich, da das Datentracking von CrUX nur mit dem Einverständnis des Nutzers möglich ist, wie es in den Google-Kontoeinstellungen angegeben ist [1]. Aufgrund des Datenschutzes sind diese Informationen ausschließlich Google zugänglich: Mit anderen Worten: Der Log-in-Status eines Nutzers ist für eigene RUM-Lösungen nicht zugänglich.

Damit sind wir bereits an einem Punkt angelangt, an dem eine Vergleichbarkeit zwischen Ihren ganzheitlichen RUM-Daten und CrUX-Daten konzeptionell unmöglich ist.

Filter 3: Nur Nutzer mit aktiver Browserverlaufssynchronisation und ohne Passphrase

Eine weitere Voraussetzung für Googles CrUX-Tracking ist ein Opt-In des Nutzers für die Synchronisierung des Browserverlaufs, das über die persönlichen Google-Kontoeinstellungen [1][4] konfiguriert wird. Nur wenn der Nutzer diese Synchronisierung eingerichtet und auf die Festlegung einer Passphrase verzichtet hat, darf Google seine Daten auslesen [5].

Filter 4: Nur Nutzer mit aktiviertem Nutzungsstatistik-Reporting

Schließlich wird der eingeloggte Chrome-Nutzer mit aktiver Synchronisierung des Browserverlaufs ohne Passphrase nur dann in die CrUX-Daten von Google aufgenommen, wenn er die standardmäßig aktivierten Nutzungsstatistiken nicht deaktiviert hat [1][6].

Nebeneffekt: Durch Filter werden CrUX-Daten verzerrt

Die meisten Filter von Google sind nicht nur nicht reproduzierbar. Sie führen auch dazu, dass die CrUX-Ergebnisse nicht repräsentativ für die Zielgruppe Ihrer Website sind, da die gemeldete Teilmenge stark verzerrt ist (nur Chrome-Nutzer mit bestimmten Browser- und Datenschutzeinstellungen).

Und es gibt noch mehr ...

Wir haben festgestellt, dass die Google CrUX-Daten bei mehreren Gelegenheiten mehrere Tage lang nicht auf dem neuesten Stand waren, ohne dass die Verzögerung an den verschiedenen Stellen (z. B. in der CrUX-API) angezeigt wurde [7]. Auch wenn wir nicht davon ausgehen, dass dies ein ständiges Problem ist, könnte dies dennoch zu vorübergehend veralteten Ergebnissen führen und sollte hier der Vollständigkeit und Transparenz halber erwähnt werden.

Optimierungs-Sweetspots: CrUX für SEO, RUM für Gesamt-UX

Bisher haben wir festgestellt, dass Google in seinem User Tracking zahlreiche Filter einsetzt, die von Ihrem RUM-Tool aufgrund fehlender Informationen nicht nachgebildet werden können. Das bedeutet jedoch nicht, dass Ihr RUM wertlos ist. In der Tat, wenn man all die erwähnten Einschränkungen berücksichtigt, denen die CrUX-Daten von Google unterworfen sind, ergeben sich mehrere Vorteile Ihrer RUM-Daten:

• Sie basieren auf einer viel größeren Grundlage, da sie nicht so viele Nutzer ausschließen wie CrUX.
• Sie sind nicht so verzerrt wie die CrUX-Daten, da sie sich auf eine homogenere Nutzergruppe konzentrieren (CrUX berücksichtigt nur Chrome-Nutzer mit bestimmten persönlichen Einstellungen).
• Die Daten werden auf einer viel detaillierteren Ebene bereitgestellt und ermöglichen so eine genauere Bewertung und Optimierung Ihrer Leistung (z. B. nach Seitentyp oder Datum).

Letztendlich ist es sehr wichtig, sich zu überlegen, wann man den CrUX-Datensatz gegenüber den RUM-Daten verwendet: Während CrUX ein wertvoller Indikator für Ihre SEO-Leistung ist, ist die Verwendung Ihrer RUM-Daten für alle weiteren UX-Optimierungen am vorteilhaftesten.

Schlussfolgerung: Sie können Ihre RUM-Ergebnisse nicht mit CrUX-Daten validieren

Googles CrUX-Bericht zeigt nur die Nutzererfahrungsergebnisse für eine Untergruppe Ihrer Nutzer, nämlich diejenigen, die:

- Chrome verwenden (außer WebViews),

- mit ihrem Google-Konto eingeloggt sind,

- Google aktiv erlaubt haben, ihren Browserverlauf zu synchronisieren,

- Google nicht verbieten, die synchronisierten Daten zu lesen,

- und die Nutzungsstatistik-Berichterstattung nicht deaktiviert haben.

Ihre RUM-Daten basieren auf einer viel größeren Zielgruppe, da die Nachverfolgung nicht so eingeschränkt ist wie bei Googles CrUX-Tracking. Gleichzeitig hat Ihr RUM-Tracking keinen Zugriff auf die persönlichen Google-Kontoeinstellungen Ihrer Nutzer (z. B. wenn der Nutzer die Synchronisierung seines Browserverlaufs aktiviert hat). Sie sind also nicht in der Lage, die gleiche Untergruppe von Nutzern zu filtern, um genau die gleichen Ergebnisse wie Google zu erhalten.

Daraus ergeben sich letztlich zwei Schlussfolgerungen. Erstens sind widersprüchliche Leistungsergebnisse allein kein Indikator dafür, dass CrUX oder RUM falsch sind: Sie melden einfach Leistungsmessungen, die von Natur aus unvergleichbar sind. Zweitens, und das ist noch wichtiger, sind sowohl CrUX als auch RUM von unschätzbarem Wert für die Optimierung der SEO- und UX-Performance - vorausgesetzt, die genannten Unterschiede und Einschränkungen werden bei der Interpretation der Ergebnisse berücksichtigt.

 

Quellen

[1] Chrome User Experience Report, Tools for Google Developers, 2022
[2] Addy Osmani, Ilya Grigorik. Speed is now a landing page factor for Google Search and Ads, Google Developers Blog (Web Updates), 2018
[3] Does CRuX report send data from WebView on Android devices?, Google Groups Discussion (Chrome UX Report), 2021
[4] Turn sync on and off in Chrome, Google Chrome Help Center, 2022
[5] Get your bookmarks, passwords and more on all of your devices, Google Chrome Help Center, 2022
[6] Usage statistics and crash reports, Google Chrome Privacy Whitepaper, 2021
[7] Stalled data since October 1st, Google Groups Discussion (Chrome UX Report), 2021