Ein Embedding ist eine numerische Vektorrepräsentation von Text, Bildern oder anderen Daten, bei der inhaltlich ähnliche Objekte im zugrunde liegenden Vektorraum nahe beieinanderliegen.
Maschinelle Lernverfahren können mit Wörtern oder Bildern als solchen nicht direkt rechnen – sie benötigen Zahlen. Ein Embedding übersetzt Inhalte wie Wörter, Sätze oder Bilder in eine Liste von Zahlen, einen Vektor, und zwar so, dass bedeutungsähnliche Inhalte ähnliche Vektoren erhalten und damit im Vektorraum nahe beieinanderliegen.
Ein Embedding-Modell, meist ein neuronales Netz, wird darauf trainiert, Eingaben auf Vektoren fester Länge abzubilden. Dabei lernt das Modell aus großen Datenmengen, welche Inhalte in ähnlichen Zusammenhängen vorkommen, und ordnet ihnen entsprechend ähnliche Vektoren zu. Die Nähe zweier Vektoren im Vektorraum lässt sich mathematisch messen, etwa über den Winkel oder Abstand zwischen ihnen, und zeigt damit an, wie ähnlich sich die ursprünglichen Inhalte inhaltlich sind.
Die Wörter „König“ und „Königin“ erhalten als Embeddings Vektoren, die im Vektorraum nahe beieinanderliegen, weil sie in ähnlichen sprachlichen Zusammenhängen auftreten – deutlich näher beieinander als etwa „König“ und „Fahrrad“.
Embeddings werden eingesetzt, um semantische Ähnlichkeit zwischen Texten, Bildern oder anderen Inhalten rechnerisch nutzbar zu machen, etwa für semantische Suche, Empfehlungssysteme, Klassifikation oder das Auffinden relevanter Textabschnitte bei Retrieval-Augmented Generation.
Ein Embedding bildet nur die Ähnlichkeit ab, die das zugrunde liegende Modell anhand seiner Trainingsdaten gelernt hat – es ist kein objektives, allgemeingültiges Maß für Bedeutung und kann Verzerrungen aus den Trainingsdaten übernehmen. Zudem sind Embeddings für sich genommen nicht direkt von Menschen lesbar: Die einzelnen Zahlenwerte eines Vektors lassen sich nicht unmittelbar inhaltlich interpretieren, nur ihr Verhältnis zu anderen Vektoren ist aussagekräftig.
Nicht zu verwechseln mit Retrieval-Augmented Generation: Diese nutzt Embeddings, um passende Textabschnitte zu finden, ist aber selbst ein umfassenderes Verfahren zur Antwortgenerierung, nicht die Vektorrepräsentation an sich. Ebenfalls abzugrenzen ist Neuronales Netz: Dieses ist die technische Architektur, mit der Embeddings häufig erzeugt werden, nicht das Ergebnis selbst.