Auch genannt: Transformer-Architektur, Transformer-Modell
Ein Transformer ist eine neuronale Netzarchitektur, die mithilfe sogenannter Attention-Mechanismen Beziehungen zwischen allen Elementen einer Eingabesequenz gleichzeitig erfasst, statt sie wie ältere Architekturen Schritt für Schritt nacheinander zu verarbeiten.
Ein Text besteht aus Wörtern, deren Bedeutung oft erst im Zusammenspiel mit anderen, teils weit entfernten Wörtern im selben Satz klar wird. Ältere neuronale Architekturen verarbeiteten solche Sequenzen Wort für Wort nacheinander, wodurch Zusammenhänge über größere Entfernungen hinweg leicht verloren gingen. Der Attention-Mechanismus eines Transformers berechnet dagegen für jedes Wort gleichzeitig, wie stark es von jedem anderen Wort im Satz abhängt – unabhängig davon, wie weit die beiden Wörter im Satz auseinanderliegen.
Zunächst wird jedes Element der Eingabe, etwa ein Wort oder Wortbestandteil, in einen numerischen Vektor umgewandelt (Embedding). Eine Abfolge von Attention-Schichten berechnet anschließend für jedes Element, wie relevant jedes andere Element der Sequenz für dessen eigene Bedeutung ist, und gewichtet die Information entsprechend. Darauf folgende Schichten verarbeiten diese gewichteten Informationen weiter; durch das Stapeln mehrerer solcher Schichten entstehen zunehmend abstraktere Repräsentationen des gesamten Inputs. Viele Transformer-Modelle bestehen zusätzlich aus einem Encoder, der die Eingabe in eine kontextuelle Repräsentation übersetzt, und einem Decoder, der daraus die eigentliche Ausgabe erzeugt.
Bei der maschinellen Übersetzung eines Satzes muss ein Modell oft klären, auf welches vorher genannte Wort sich ein Pronomen wie „es“ bezieht. Der Attention-Mechanismus eines Transformers kann dem Pronomen gezielt besonders viel Gewicht auf das passende, möglicherweise weit entfernte Bezugswort geben und so die Übersetzung korrekt auflösen.
Die Transformer-Architektur wird eingesetzt, um Large Language Models und Chatbots zu trainieren, maschinelle Übersetzung umzusetzen sowie zunehmend auch Aufgaben in der Bild- und Spracherkennung zu lösen, die ursprünglich mit anderen Architekturen bearbeitet wurden.
Der Rechenaufwand des Attention-Mechanismus wächst mit der Länge der Eingabesequenz überproportional an, weshalb sehr lange Eingaben entsprechend mehr Rechenleistung und Speicher benötigen. Häufig wird zudem übersehen, dass der Transformer selbst nur die zugrunde liegende Architektur beschreibt – Probleme wie Halluzinationen oder Verzerrungen (Bias) in den Ausgaben eines darauf aufbauenden Modells hängen vor allem von den verwendeten Trainingsdaten und dem Training selbst ab, nicht von der Architektur allein.
Nicht zu verwechseln mit Neuronales Netz: Neuronales Netz ist der allgemeine Oberbegriff für vom Gehirn inspirierte Rechenmodelle, während der Transformer eine bestimmte, auf Attention basierende Architekturfamilie innerhalb dieser Kategorie ist. Ebenfalls abzugrenzen ist Large Language Model: Ein Large Language Model ist ein konkretes, meist auf der Transformer-Architektur beruhendes Sprachmodell, während der Transformer selbst die zugrunde liegende Bauweise bezeichnet, die auch für andere Aufgaben jenseits von Sprache genutzt wird.