Fine-Tuning bezeichnet das weitere Training eines bereits vortrainierten KI-Modells mit spezialisierten, meist deutlich kleineren Trainingsdaten, um es auf eine konkrete Aufgabe oder Domäne zuzuschneiden.
Auch genannt: Feinabstimmung
Ein großes KI-Modell wird zunächst mit riesigen, allgemeinen Datenmengen trainiert und erlernt dabei breites Sprach- oder Musterverständnis. Beim Fine-Tuning wird dieses bereits trainierte Modell anschließend gezielt mit einem kleineren, spezialisierten Datensatz weiter trainiert, damit es sich besonders gut für eine bestimmte Aufgabe oder ein bestimmtes Fachgebiet eignet.
Ausgangspunkt ist ein vortrainiertes Modell, dessen bereits gelernte Parameter nicht verworfen, sondern als Startpunkt genutzt werden. Beim Fine-Tuning werden diese Parameter mit zusätzlichen Trainingsdaten aus einem engeren Anwendungsbereich weiter angepasst, wodurch das Modell seine allgemeinen Fähigkeiten beibehält, aber in der Zielaufgabe präziser wird. Weil nur eine vergleichsweise kleine Datenmenge und deutlich weniger Rechenleistung nötig sind als beim ursprünglichen Training, ist Fine-Tuning meist erheblich günstiger und schneller als ein Modell komplett neu zu trainieren.
Ein allgemein trainiertes Sprachmodell wird per Fine-Tuning mit medizinischen Fachtexten weiter trainiert, damit es in einer medizinischen Fachanwendung präzisere und fachsprachlich korrektere Antworten liefert als das ursprüngliche, breit trainierte Basismodell.
Fine-Tuning wird eingesetzt, um vortrainierte Modelle an branchenspezifische Sprache, einen bestimmten Tonfall, spezielle Aufgabenformate oder firmeneigene Datenbestände anzupassen, ohne ein Modell von Grund auf neu trainieren zu müssen.
Fine-Tuning ersetzt nicht das ursprüngliche, aufwändige Training des Basismodells, sondern setzt darauf auf. Ein häufiges Missverständnis ist, Fine-Tuning mit dem bloßen Formulieren guter Eingaben zu verwechseln: Anders als beim Prompting werden beim Fine-Tuning tatsächlich die internen Modellparameter verändert. Zudem kann zu intensives oder unpassend zusammengestelltes Fine-Tuning dazu führen, dass ein Modell seine ursprüngliche Allgemeinfähigkeit teilweise verliert.
Nicht zu verwechseln mit Trainingsdaten: Diese sind der Rohstoff, mit dem trainiert wird, während Fine-Tuning der konkrete Trainingsschritt auf einem bereits vortrainierten Modell ist. Ebenfalls abzugrenzen ist Prompt: Ein Prompt steuert die Ausgabe eines fertigen Modells zur Laufzeit, ohne dessen Parameter zu verändern – Fine-Tuning verändert das Modell selbst.