Die Suchanfrage „Как починить кран?“ kann als erster Treffer einen Artikel über die Behebung eines undichten Mischers liefern. Dabei kommt in der Anfrage und im Text kein einziges gemeinsames Wort vor. Der Grund liegt darin, dass Sprachmodelle nicht mit Buchstaben arbeiten, sondern mit Vektoren, die Bedeutung kodieren. Solche Vektoren nennt man Embeddings. Sie bilden die Grundlage für Suche, Empfehlungen und Chatbots für Dokumente.

Vom Text zu den Zahlen

Ein Computer arbeitet nur mit Zahlen, daher wird der Text zunächst in Tokens zerlegt. Ein Token ist ein Wort oder ein Teil eines Wortes. Jedem Token wird eine Nummer im Wörterbuch zugewiesen. Zum Beispiel könnte dem Wort „кошка“ die Nummer 18342 entsprechen, dem Wort „кот“ die Nummer 51907.

Die Nummer spiegelt keine Bedeutung wider. In der numerischen Reihenfolge stehen „кошка“ und „кот“ weit voneinander entfernt, und der Nachbar von „кошки“ könnte „кошелёк“ sein. Solche Nummern zu addieren oder zu vergleichen, ergibt keinen Sinn.

Eine Alternative ist die One-Hot-Darstellung. Jedem Wort entspricht eine Zeichenkette aus Nullen in der Länge des gesamten Wörterbuchs, mit einer Eins an der Stelle dieses Wortes. Der Nachteil liegt auf der Hand: Zwei beliebige Wörter sind gleich weit voneinander entfernt. „Кошка“ ähnelt „кота“ genauso wenig wie „холодильник“.

Nötig ist eine Darstellung, die kurz und dicht ist und Wörter mit ähnlicher Bedeutung nahe beieinander anordnet. Genau eine solche Darstellung ist das Embedding. Der Begriff stammt vom englischen embedding, was wörtlich „Einbettung“ bedeutet. Die Wörter werden sozusagen in den Raum eingebettet.

Bedeutungsraum

Stellen wir uns eine Karte vor, auf der jedes Wort Koordinaten hat. Eine Achse zeigt, wie lebendig ein Objekt ist. Die andere zeigt, wie groß es ist. Maus, Katze, Hund und Elefant liegen rechts, je nach Größe. Teekanne und Lastwagen liegen links.

In diesem System wird „Katze“ durch zwei Zahlen beschrieben: 0,9 und 0,2. Man kann sie als Punkt oder als Pfeil vom Koordinatenursprung darstellen. Ein Pfeil heißt Vektor, deshalb werden Embeddings auch Vektoren genannt.

Zwei Achsen reichen nicht aus. „Tiger“ und „Katze“ liegen auf einer solchen Karte fast übereinander. Eine dritte Achse („Haustier“ oder „wild“) trennt sie. Jede neue Achse fügt eine Zahl und einen Unterschied hinzu, den das Modell berücksichtigen kann.

Reale Modelle verwenden Hunderte und Tausende von Achsen. Die Dimension von Embeddings beträgt 768, 1024 oder mehr als 3000 Zahlen. Einen solchen Raum kann man nicht zeichnen, doch die Mathematik darin stimmt mit der einer flachen Karte überein.

Wichtig ist, dass die Achsen in einem realen Modell keine Namen wie „lebendig“ oder „groß“ tragen. Das Modell entscheidet selbst, wie es den Sinn auf die Zahlen verteilt. Eine Eigenschaft ist meist gleichzeitig über viele Achsen verteilt. Entscheidend ist die Lage des Punktes insgesamt, nicht eine einzelne Zahl.

Wie man Ähnlichkeit misst

Der Abstand zwischen Punkten spiegelt die inhaltliche Nähe häufig nicht wider. Die Länge eines Vektors hängt von Faktoren ab, die nichts mit der Bedeutung des Wortes zu tun haben, etwa von der Häufigkeit des Wortes in den Trainingsdaten. Ein Vektor kann länger werden, während seine Richtung unverändert bleibt.

Deshalb misst man Ähnlichkeit anhand des Winkels zwischen den Vektoren, genauer gesagt anhand des Kosinus dieses Winkels:

• Die Vektoren zeigen in dieselbe Richtung: Der Kosinus ist 1.
• Die Vektoren stehen senkrecht aufeinander: Der Kosinus ist 0, es gibt keine gemeinsame Bedeutung.
• Die Vektoren zeigen in entgegengesetzte Richtungen: Der Kosinus ist −1.

Die Kosinus-Ähnlichkeit berechnet man so: Man multipliziert die entsprechenden Koordinaten der Vektoren, addiert die Ergebnisse und teilt durch das Produkt der Längen der Vektoren.

Für die Wörter „Katze" und „Kätzchen" wird der Wert hoch sein, für „Katze" und „Hund" niedriger, für „Katze" und „Kühlschrank" niedrig.

Ein nicht offensichtliches Detail: In realen Modellen ergeben auch nicht miteinander zusammenhängende Texte häufig nicht den Wert 0, sondern beispielsweise 0,3. Deshalb bewertet man nicht den absoluten Wert, sondern den relativen: Welches Paar liegt näher beieinander und welches weiter entfernt.

Das Wichtigste: Ein Embedding ist ein Punkt im Bedeutungsraum. Die Ähnlichkeit ist der Winkel zwischen zwei Punkten, von der Mitte aus betrachtet.

Wie das Modell Punkte setzt

Niemand legt die Koordinaten der Wörter von Hand fest. Die Methode stützt sich auf die Idee des Linguisten John Rupert Firth aus dem Jahr 1957: Ein Wort lässt sich anhand seines Umfelds verstehen.

Betrachten wir Sätze mit einer Lücke. In die Lücke passen „Tee“, „Kaffee“ und „Kakao“. Wörter mit ähnlichem Umfeld haben meist eine ähnliche Bedeutung, daher sollten ihre Punkte nah beieinander liegen.

Im Jahr 2013 entwickelte das Unternehmen Google das Modell Word2Vec, das Embeddings weithin bekannt machte. Der Lernprozess verläuft folgendermaßen:

1. Jedem Wort wird ein zufälliger Punkt zugewiesen.
2. Das Modell durchläuft einen großen Textkorpus und lernt vorherzusagen, welche Wörter nebeneinander stehen.
3. Jeder Fehler verschiebt die Punkte leicht: Nachbarn rücken näher zusammen, zufällige Paare entfernen sich voneinander.
4. Nach Milliarden solcher Verschiebungen verwandelt sich die zufällige Wolke in eine strukturierte Karte.

Im Ergebnis gruppieren sich Getränke mit Getränken, Tiere mit Tieren, Städte mit Städten. Das Modell hat keine Definition des Begriffs „Getränk“ erhalten. Es hat diese Gruppe aus der Art erschlossen, wie Menschen Texte schreiben.

Darüber hinaus zeigte sich eine Eigenschaft, die selbst die Autoren der Methode überraschte: Richtungen im Raum beginnen, Beziehungen zwischen Wörtern zu entsprechen. Nimmt man den Vektor „König“, subtrahiert „Mann“ und addiert „Frau“, so ist das nächstliegende Wort – abgesehen von den Ausgangswörtern – „Königin“. Ähnlich funktionieren die Paare „Land“ und „Hauptstadt“. In modernen Modellen wird diese Arithmetik weniger genau ausgeführt, das Prinzip bleibt jedoch erhalten.

Die Embedding-Tabelle

Der erste Schritt jedes Sprachmodells ist die Embedding-Tabelle. Sie enthält eine Zeile für jedes Token des Vokabulars. Das Modell erhält die Nummer eines Tokens und ruft die entsprechende Zeile ab. So wird ein Wort in einen Vektor verwandelt.

Zum Beispiel umfasst das Vokabular von Llama 3 mit 8 Milliarden Parametern 128 Tausend Token, und jedes Embedding besteht aus 4096 Zahlen. Eine einzige Tabelle enthält mehr als eine halbe Milliarde Zahlen, und alle werden im Laufe des Trainings bestimmt.

Die Tabelle hat eine Einschränkung. Das Wort „Schlüssel“ hat eine einzige Zeile, also einen einzigen Punkt, für alle Bedeutungen: „Türschlüssel“, „Violinschlüssel“, „Quellschlüssel“.

Die Schichten des Modells helfen dabei, die Mehrdeutigkeit aufzulösen. Jede Schicht ergänzt den Wortvektor um Informationen aus den benachbarten Wörtern. „Schlüssel“ neben „Tür“ verschiebt sich in Richtung Schlösser, neben „Geige“ in Richtung Noten, neben „Wasser“ in Richtung Quellen. Solche Vektoren nennt man kontextuelle Embeddings.

In der letzten Phase berechnet das Modell auf Grundlage des letzten Vektors die Wahrscheinlichkeiten des nächsten Wortes. Somit beginnt jede Antwort eines neuronalen Netzes mit Vektoren und endet mit ihnen.

Vom Wort zum Text

Für die Suche reicht ein einzelnes Wort nicht aus: Man muss Phrasen und Dokumente miteinander vergleichen. Das Modell liefert für jedes Token einen Vektor, daher muss man einen einzigen Vektor für den gesamten Text erhalten. Es gibt zwei grundlegende Verfahren:

• Mittelwertbildung (Mean Pooling): Berechnet wird der Durchschnittswert der Vektoren aller Tokens.
• Spezial-Token: Am Anfang des Textes wird ein spezielles Token hinzugefügt, und das Modell lernt, die Bedeutung der gesamten Phrase in diesem Token zu bündeln.

Dieser Prozess wird als Pooling bezeichnet.

Ein gewöhnliches Sprachmodell wird nicht darauf trainiert, Vektoren für die Suche zu erzeugen. Dafür verwendet man eigene Embedding-Modelle, die auf Millionen von Paaren nachtrainiert werden. Eine Frage und die richtige Antwort werden einander angenähert, zufällige Paare voneinander entfernt. Diese Methode nennt man kontrastives Lernen.

Nach einem solchen Training liegen die Phrasen „wie repariert man einen Wasserhahn“ und „Beseitigung eines Undichtigkeitsproblems am Mischer“ nahe beieinander. So erklärt sich das Suchergebnis vom Anfang des Artikels.

Anwendungsbereiche

Semantische Suche. Dokumente werden im Voraus in Vektoren umgewandelt und in einer Datenbank gespeichert. Auch die Anfrage wird in einen Vektor umgewandelt, danach findet das System die nächstgelegenen Vektoren. Solche Speicher nennt man Vektordatenbanken.

Dokumenten-Chatbots (RAG). Dokumente werden in Fragmente unterteilt, die in Vektoren umgewandelt werden. Bei einer Frage findet das System die nächstgelegenen Fragmente und übergibt sie an ein Sprachmodell. Das Modell formuliert die Antwort auf Grundlage des gefundenen Textes und nicht nur auf Grundlage der Daten, die beim Training gewonnen wurden.

Empfehlungen und Gruppierung. Systeme ermitteln ähnliche Produkte und Filme und gruppieren Tausende von Bewertungen ohne manuelle Kennzeichnung nach Themen. In allen Fällen wird dieselbe Operation ausgeführt: die Suche nach den nächstgelegenen Vektoren.

Mehrsprachige Modelle. In solchen Modellen liegen die Wörter „кошка“, cat und Katze fast an demselben Punkt des Raums. Die Bedeutung ist dieselbe, die Sprachen sind verschieden.

Multimodale Modelle. Modelle wie CLIP platzieren Texte und Bilder in einem gemeinsamen Raum. Ein Foto einer Katze liegt dabei nahe am Text „Foto einer Katze“. Auf diesem Prinzip beruht die Bildersuche anhand einer Beschreibung.

Praktische Überprüfung

Die Überprüfung wurde mit dem Modell BGE-M3 durchgeführt. Es arbeitet gut mit Russisch und wurde lokal über Ollama ausgeführt. Das Skript führt drei Schritte aus: Es sendet die Sätze an das Modell, erhält die Vektoren und berechnet die Kosinus-Ähnlichkeit jedes Paares.

Der Satzsatz umfasste zwei Sätze über einen Wasserhahn, zwei über Katzen und einen über das Wetter. Jeder Satz wurde durch 1024 Zahlen dargestellt.

Ergebnisse:

• Die Paare „кран“ und „смеситель“ zeigten eine hohe Ähnlichkeit, obwohl sie keine gemeinsamen Wörter haben.
• „Кошка на подоконнике“ und „котёнок у окна“ zeigten ebenfalls eine hohe Ähnlichkeit.
• Der Satz über das Wetter wies zu allen übrigen Sätzen eine geringe Ähnlichkeit auf.

Die Suche nach der Anfrage „как починить кран?“ lieferte den Text über die Undichtigkeit der Mischbatterie an erster Stelle und den Text über das Wetter an letzter. Somit wurde die semantische Suche in weniger als dreißig Zeilen Code umgesetzt.

Einschränkungen von Embeddings

Logik wird schlecht erkannt. Embeddings erfassen das Thema gut, unterscheiden aber inhaltliche Gegensätze schlecht. Die Sätze „Ich mag Katzen“ und „Ich mag keine Katzen“ liegen sehr nah beieinander, da sich die Wörter fast decken und das Thema dasselbe ist. Für die Suche ist dieses Verhalten akzeptabel, für das Verstehen von Bedeutung dagegen nicht.

Modelle übernehmen Stereotype. Embeddings werden auf Texten von Menschen trainiert, die deren Stereotype enthalten. In einer Arbeit aus dem Jahr 2016 antwortete Word2Vec auf die Analogie „Mann verhält sich zu Programmierer wie Frau zu …“ mit „Hausfrau“.

Vektoren verschiedener Modelle sind nicht kompatibel. Jedes Modell hat seine eigene Landkarte des Raums. Beim Wechsel des Modells muss die gesamte Vektordatenbank neu berechnet werden.

Fazit

Ein Embedding ist eine Adresse der Bedeutung im mehrdimensionalen Raum. Die Ähnlichkeit zweier Objekte wird durch den Winkel zwischen ihren Adressen bestimmt. Alle Sprachmodelle beginnen mit einer Embedding-Tabelle, die Token in Vektoren überführt, während nachfolgende Schichten diese Vektoren unter Berücksichtigung des Kontexts verfeinern.