Google BERT
Was ist Google BERT?
Google BERT ist ein Sprachmodell von Google, das die Bedeutung eines Wortes aus dem Zusammenhang der Wörter davor und danach erschließt. Der Name steht für Bidirectional Encoder Representations from Transformers. Google setzt BERT seit Oktober 2019 in der Suche ein, um Suchanfragen und Textpassagen besser zu verstehen, vor allem lange Anfragen in natürlicher Sprache.
Kurzprofil des Begriffs
| Merkmal | Angabe |
|---|---|
| Wortart | Eigenname, Akronym, meist ohne Artikel oder mit „das“ (Modell) gebraucht |
| Ausgeschrieben | Bidirectional Encoder Representations from Transformers |
| Aussprache | bɜːrt |
| Entwickler | Google AI Language, Forschungsarbeit von Jacob Devlin, Ming-Wei Chang, Kenton Lee und Kristina Toutanova |
| Veröffentlicht | Oktober 2018 als Forschungsarbeit, November 2018 als Open Source |
| In der Google-Suche | seit 25. Oktober 2019 für US-Englisch, seit Dezember 2019 in mehr als 70 Sprachen, darunter Deutsch |
| Modellgrößen | BERT-Base mit 110 Millionen, BERT-Large mit 340 Millionen Parametern |
| Verwandte Begriffe | RankBrain, MUM, Transformer, Natural Language Processing, semantische Suche |
Wie funktioniert Google BERT?
Google BERT liest jedes Wort gleichzeitig mit seinem linken und seinem rechten Kontext und leitet daraus ab, was das Wort in genau diesem Satz bedeutet. Frühere Sprachmodelle verarbeiteten Text meist in einer Richtung, von links nach rechts. Das „B“ in BERT steht für diese bidirektionale Lesart, die auf der Transformer-Architektur von 2017 aufbaut.
Gelernt hat BERT das in zwei Phasen:
- Vortraining: Das Modell las die englische Wikipedia mit rund 2,5 Milliarden Wörtern und eine Sammlung von Büchern mit rund 800 Millionen Wörtern. Dabei wurden 15 Prozent der Wörter verdeckt, und BERT musste sie aus dem umgebenden Text erraten. Eine zweite Übung bestand darin, zu erkennen, ob zwei Sätze im Original aufeinander folgen.
- Feinabstimmung: Danach wird das vortrainierte Modell mit wenig zusätzlichem Training auf eine konkrete Aufgabe zugeschnitten, etwa auf das Beantworten von Fragen oder das Einordnen von Texten.
Das Ergebnis ist ein Modell, das Wörter nicht als feste Einträge kennt, sondern je nach Satz unterschiedlich darstellt. Technisch erzeugt BERT für jedes Wort ein Embedding, also einen Zahlenvektor, der seine Bedeutung im Kontext abbildet. Das Wort „Bank“ bekommt neben „Geld abheben“ einen anderen Vektor als neben „im Park sitzen“.
Was hat sich durch BERT in der Google-Suche verändert?
Mit BERT versteht Google kleine Wörter wie „für“, „nach“ oder „ohne“, die den Sinn einer Suchanfrage drehen. Google kündigte den Einsatz am 25. Oktober 2019 an und nannte ihn den größten Sprung der vergangenen fünf Jahre. Zum Start betraf BERT etwa jede zehnte Suchanfrage auf Englisch in den USA. Ein Jahr später gab Google an, BERT bei fast jeder englischsprachigen Anfrage zu nutzen.
Google erklärte die Wirkung an eigenen Beispielen:
- „2019 brazil traveler to usa need a visa“: Vor BERT übersah die Suche das Wort „to“ und zeigte Ergebnisse für US-Bürger, die nach Brasilien reisen. Mit BERT erkannte sie, dass ein Reisender aus Brasilien ein Visum für die USA sucht.
- „can you get medicine for someone pharmacy“: Mit BERT erfasste die Suche, dass es um das Abholen eines Medikaments für eine andere Person geht, und nicht allgemein um Rezepte.
Zusätzlich setzte Google BERT ab 2019 für Featured Snippets ein, in allen rund zwei Dutzend Ländern, in denen es sie damals gab. Am stärksten profitierten lange, gesprochen wirkende Anfragen, also genau die Longtail-Keywords, bei denen jedes einzelne Wort zählt. Die Suchintention solcher Anfragen ergibt sich oft erst aus ihren Präpositionen.
Nutzt Google BERT heute noch?
Ja, Google führt BERT in seinem offiziellen Leitfaden zu den Ranking-Systemen der Google-Suche weiterhin als aktives System. Google beschreibt BERT dort als KI-System, das versteht, wie Kombinationen von Wörtern unterschiedliche Bedeutungen und Absichten ausdrücken. Im Kartellverfahren der US-Regierung gegen Google wurde 2023 bekannt, dass Google den Einsatz von BERT im Ranking intern DeepRank nennt.
BERT arbeitet dabei nicht allein. RankBrain kam bereits 2015 hinzu, das Multitask Unified Model (MUM) folgte 2021, und die Antworten in den AI Overviews formulieren heute Modelle der Gemini-Familie. Zusammen bilden diese Systeme das Fundament der semantischen Suche.
Außerhalb von Google ist BERT eines der einflussreichsten Sprachmodelle überhaupt. Auf seiner Architektur beruhen zahlreiche Ableger wie RoBERTa von Meta, DistilBERT von Hugging Face und Sentence-BERT, das Sätze für Vergleiche nach Bedeutung kodiert. Für die deutsche Sprache veröffentlichte das Berliner Unternehmen deepset 2019 ein eigenes BERT-Modell.
Was ist der Unterschied zwischen BERT und GPT?
BERT ist auf das Verstehen von Sprache ausgelegt, GPT auf das Erzeugen. Beide Modellfamilien beruhen auf der Transformer-Architektur, nutzen aber unterschiedliche Hälften davon.
| Merkmal | BERT | GPT |
|---|---|---|
| Entwickler | OpenAI | |
| Architektur | Encoder | Decoder |
| Leserichtung | beidseitig, linker und rechter Kontext zugleich | von links nach rechts, Wort für Wort |
| Stärke | Verstehen, Einordnen, Abgleichen von Texten | Formulieren neuer Texte |
| Typischer Einsatz | Suchanfragen und Passagen in der Suche verstehen | Antworten in Chat- und KI-Systemen schreiben |
| Größe | bis 340 Millionen Parameter (2018) | GPT-3 mit 175 Milliarden Parametern (2020) |
Moderne Large Language Models wie GPT oder Gemini sind um ein Vielfaches größer als BERT. Für das schnelle Verstehen und Abgleichen von Millionen Suchanfragen bleiben kompakte Encoder-Modelle wie BERT trotzdem im Einsatz.
Kann man für Google BERT optimieren?
Nein, für BERT gibt es keine eigene Optimierung. Danny Sullivan, damals Search Liaison bei Google, stellte im Oktober 2019 klar, dass es bei BERT nichts zu optimieren gebe und die Grundsätze unverändert blieben: Google will hilfreiche Inhalte belohnen. BERT verschiebt aber, welche Texte davon profitieren. Daraus folgen 4 Konsequenzen:
- Natürlich formulieren: Ein Text, der eine Frage in normaler Sprache beantwortet, passt zu einem Modell, das normale Sprache versteht. Aneinandergereihte Suchbegriffe wie „zahnarzt münchen günstig schnell“ helfen nicht, sie sind eher ein Fall von Keyword-Stuffing.
- Präzise auf die Frage antworten: Wenn kleine Wörter den Sinn bestimmen, gewinnt die Seite, die genau die gestellte Frage beantwortet und nicht eine verwandte.
- Lange Anfragen ernst nehmen: Gerade spezifische Fragen mit mehreren Bedingungen kann Google seit BERT besser zuordnen. Ein Abschnitt, der eine solche Frage vollständig klärt, hat dort echte Chancen.
- Begriffe eindeutig verwenden: Wer ein Thema durchgehend gleich benennt und den Kontext mitliefert, macht es einem Sprachmodell leicht, die richtige Bedeutung zu wählen.
Dieselben Regeln gelten für KI-Systeme, die Antworten aus Webseiten zusammensetzen. Wie wir Inhalte für beide Seiten aufbereiten, für die klassische Suche und für KI-Antworten, beschreibt unsere SEO-Betreuung. Den Teil, der sich speziell an KI-Systeme richtet, vertieft die Seite zu GEO und KI-Sichtbarkeit.
Häufige Fragen zu Google BERT
Ist Google BERT ein Google-Update?
Google kündigte BERT im Oktober 2019 als Änderung der Suche an, deshalb ist oft vom BERT-Update die Rede. BERT ist aber kein Core Update, sondern ein dauerhaft laufendes System zum Verständnis von Sprache.
Gilt BERT auch für deutsche Suchanfragen?
Ja. Google hat BERT im Dezember 2019 auf mehr als 70 Sprachen ausgeweitet, darunter Deutsch.
Was ist der Unterschied zwischen BERT und RankBrain?
RankBrain setzt Wörter einer Suchanfrage mit Konzepten in Beziehung und half ab 2015 vor allem bei unbekannten Anfragen. BERT versteht seit 2019, wie die Wörter innerhalb eines Satzes zusammenhängen. Beide Systeme laufen parallel.
