Inferenz bezeichnet die Laufzeitphase eines bereits trainierten KI-Modells, in der es auf Basis neuer, bisher unbekannter Eingaben Vorhersagen, Klassifikationen oder Antworten erzeugt.
Das Training eines KI-Modells und seine spätere Nutzung sind zwei unterschiedliche Phasen. Beim Training lernt das Modell aus großen Datenmengen; bei der Inferenz wendet es dieses bereits gelernte Wissen an, um zu einer neuen, konkreten Eingabe eine Ausgabe zu berechnen – etwa eine Antwort auf eine Frage oder die Einordnung eines Bildes.
Bei der Inferenz durchläuft eine neue Eingabe das bereits trainierte und in seinen Parametern feststehende Modell. Anders als beim Training werden die Parameter dabei nicht mehr angepasst, sondern lediglich verwendet, um aus der Eingabe eine Ausgabe zu berechnen. Da Inferenz häufig in Echtzeit erfolgen muss – etwa bei einer Chat-Antwort oder einer Bilderkennung –, ist sie in der Regel deutlich schneller und ressourcenschonender als das ursprüngliche Training, kann aber je nach Modellgröße dennoch erhebliche Rechenleistung benötigen.
Ein Sprachmodell hat sein Training bereits vor Monaten abgeschlossen. Wenn eine Nutzerin heute eine Frage eingibt, führt das Modell eine Inferenz durch: Es berechnet aus der Eingabe und seinen zuvor gelernten Parametern die passende Antwort, ohne dabei selbst weiter zu lernen.
Inferenz findet überall dort statt, wo ein bereits trainiertes Modell im laufenden Betrieb genutzt wird: bei Chatbots und Sprachassistenten, bei der Bild- und Spracherkennung, bei automatisierten Empfehlungen sowie bei Vorhersagen in Produktions- oder Analysesystemen.
Inferenz bedeutet nicht, dass ein Modell dabei weiterlernt oder sich verbessert – dafür wäre erneutes Training oder Fine-Tuning notwendig. Ein häufiges Missverständnis ist außerdem, Inferenzgeschwindigkeit allein an der Modellgröße festzumachen: Auch Hardware, Optimierungen und die Art der Anfrage beeinflussen, wie schnell eine Antwort berechnet wird.
Nicht zu verwechseln mit Trainingsdaten beziehungsweise dem Training selbst: Dabei werden die Modellparameter erst gelernt, während bei der Inferenz ein bereits fertiges Modell lediglich angewendet wird. Ebenfalls abzugrenzen ist Fine-Tuning: Es verändert die Modellparameter gezielt weiter, während Inferenz die reine Anwendung eines unveränderten, fertigen Modells beschreibt.