Auch genannt: Reinforcement Learning
Bestärkendes Lernen ist ein Lernverfahren der künstlichen Intelligenz, bei dem ein Agent durch Ausprobieren und eine Rückmeldung in Form von Belohnung oder Bestrafung lernt, in einer Umgebung möglichst gute Entscheidungen zu treffen.
Statt wie beim überwachten Lernen aus vorgegebenen Beispielen zu lernen, probiert ein Agent beim bestärkenden Lernen eigenständig verschiedene Handlungen in einer Umgebung aus. Für erwünschtes Verhalten erhält er eine positive Belohnung, für unerwünschtes Verhalten eine negative – ähnlich wie beim Training mit einem Tier über Leckerlis. Mit der Zeit passt der Agent sein Verhalten so an, dass er möglichst viel Belohnung sammelt.
Ein Agent befindet sich in einer Umgebung mit einem bestimmten Zustand, wählt eine Handlung aus und erhält danach einen neuen Zustand sowie einen Belohnungswert zurück. Über viele solcher Wiederholungen hinweg lernt der Agent eine Strategie, die festlegt, welche Handlung in welchem Zustand die höchste erwartete Gesamtbelohnung verspricht. Dabei muss der Agent fortlaufend zwischen dem Ausprobieren neuer, unbekannter Handlungen und dem Nutzen bereits als gut erkannter Handlungen abwägen, da beides für erfolgreiches Lernen notwendig ist.
Ein Programm lernt ein Brettspiel, indem es gegen sich selbst Millionen von Partien spielt. Für einen Gewinnzug erhält es eine positive Belohnung, für einen Fehlzug eine negative; über sehr viele Partien hinweg entwickelt es so eigenständig eine Spielstrategie, ohne dass ihm menschliche Expertinnen und Experten einzelne Spielzüge vorgeben mussten.
Bestärkendes Lernen wird eingesetzt, um Spiele zu meistern, Roboter zur Bewegungssteuerung zu trainieren, Empfehlungs- und Steuerungssysteme fortlaufend zu optimieren und große Sprachmodelle nach einem ersten Training mit menschlichem Feedback weiter zu verfeinern.
Bestärkendes Lernen benötigt in der Regel sehr viele Wiederholungen und eine klar definierte Belohnungsfunktion; eine schlecht gewählte Belohnung kann dazu führen, dass der Agent unerwünschte Abkürzungen lernt, die zwar die Belohnung maximieren, aber nicht dem eigentlichen Ziel entsprechen. Häufig wird außerdem übersehen, dass es sich um ein eigenständiges Lernparadigma handelt und nicht lediglich um eine Variante des überwachten Lernens mit anderen Trainingsdaten.
Nicht zu verwechseln mit Maschinelles Lernen: Maschinelles Lernen ist der übergeordnete Oberbegriff für alle Lernverfahren, bestärkendes Lernen ist eines von mehreren Teilgebieten darin, neben überwachtem und unüberwachtem Lernen. Ebenfalls abzugrenzen ist Trainingsdaten: Klassische Trainingsdaten bestehen aus fest vorgegebenen Beispielen, während ein bestärkend lernender Agent seine „Daten“ selbst durch Interaktion mit der Umgebung erzeugt.