Viele Unternehmen nutzen Empfehlungssysteme, die Kund*innen zu ihren individuellen Vorlieben passende Produkte anzeigen. Meistens verwenden sie dafür Modelle für maschinelles Lernen (ML). Diese sagen auf Grundlage von Daten aus früheren Erfahrungen vorher, wofür sich Nutzer*innen entscheiden könnten. Für schnell wechselnde Verbraucherpräferenzen sind diese Vorhersagen daher nicht geeignet. Hier bietet sich Reinforcement Learning an.
Bislang wurde Reinforcement Learning („bestärkendes Lernen“) hauptsächlich in Forschungslaboren eingesetzt, aber nun findet es seinen Weg auch immer häufiger in Produkte und Dienste wie Azure Cognitive Services. Die Dienste können von Entwickler*innen in Apps und Webseiten oder in autonome Systeme eingebunden werden, um beispielsweise Signale aus der Umwelt, menschliche Sprache und Stimmungen, Bilder oder unstrukturierte Informationen zu erkennen. Datenwissenschaftler*innen und ML-Expert*innen können die Preview von Reinforcement Learning bereits über Azure Machine Learning (Azure ML) nutzen.
Neuer Ansatz für maschinelles Lernen
Reinforcement Learning basiert auf einem völlig anderen Ansatz als Supervised Learning („überwachtes Lernen“), einer Technik, die noch wesentlich häufiger im maschinellen Lernen eingesetzt wird. Beim Supervised Learning werden Modelle dazu trainiert, Vorhersagen anhand von Trainingsbeispielen zu treffen, mit denen sie gefüttert werden.
Wer beispielsweise eine Sprache lernen möchte und dafür Texte, Grammatik und Vokabular studiert, verfolgt den Ansatz des Supervised Learning. Reinforcement Learning würde stattdessen bedeuten, in das Land zu reisen und die Sprache vor Ort zu lernen. Machen Studierende dabei Fehler, ernten sie direkt fragende Blicke. Bestellen sie aber zum Beispiel fehlerfrei und in zeitgemäßem Französisch ein Gebäck, erhalten sie als Belohnung auch ein Croissant.
Ein KI-Bot, der sich durch Reinforcement Learning Wissen aneignet, lernt von der Interaktion mit seinem Umfeld. Dieses kann sich entweder in der realen Welt oder auch in einer simulierten Umgebung befinden, in welcher verschiedene Optionen unbedenklich erforscht werden können. Der KI-Bot handelt und wartet ab, ob die auf einem Belohnungssystem basierte Aktion zu einem positiven oder negativen Ergebnis führt. Sobald das Feedback vorhanden ist, erfährt der Bot, ob die Entscheidung richtig oder falsch war, und aktualisiert sein Verhalten entsprechend. Im Wesentlichen entspricht Reinforcement Learning dem Lernverhalten von Menschen im Laufe ihrer Entwicklung, aber auch von vielen Tieren in der Natur.
Personalisierte Angebote über Reinforcement Learning
Einer der ersten Cognitive Services, der Reinforcement Learning nutzt, ist das Personalisierungsmodul. Im Gegensatz zu reinen Empfehlungsmodulen, die nur wenige Optionen aus einem großen Katalog bereitstellen, präsentiert dieser Dienst das beste Ergebnis immer dann, wenn Benutzer*innen mit der Anwendung interagieren.
Anheuser-Busch InBev aus Belgien ist die umsatzstärkste Brauereigruppe der Welt. Sie setzt in ihrem Technologiezentrum Z-Tech auf das Personalisierungsmodul, um Lebensmittelläden in Mexiko individualisierte Empfehlungen auf einem Online-Marktplatz zur Verfügung zu stellen. Andere Kunden und Partner von Microsoft nutzen Reinforcement Learning, um Abweichungen in der Produktion zu erkennen oder Roboter zu entwickeln, die sich an unvorhersehbare Bedingungen in der realen Welt anpassen. Das erfolgt anhand von Modellen, die in Echtzeit von Hinweisen aus ihrer Umgebung, dem Feedback von Expert*innen oder aus dem Verhalten von Kund*innen lernen.
Metrics Advisor: Intelligente Kennzahlen
Ebenfalls zu den Microsoft Cognitive Services gehört Metrics Advisor, der als Public Preview verfügbar ist. Der Dienst extrahiert Kennzahlen (Metriken) aus unterschiedlichen Datenquellen, etwa um Anomalien im Geschäftsbetrieb zu erkennen und Maßnahmen vorzuschlagen. Auch der Metrics Advisor arbeitet mit Methoden des Reinforcement Learning, um mit der Zeit Abweichungen von Geschäftsprozessen leichter erkennen zu können.
Reinforcement Learning im Einsatz
Auch die Kommunikations- und Kollaborationslösung Microsoft Teams setzt auf Reinforcement Learning, um in Echtzeit den optimalen Datenfluss in Videokonferenzen zu ermitteln. Damit gleicht Teams Übertragungsverzögerungen im Millisekunden-Bereich aus und bietet so bessere Verbindungs- und Videoqualität. Im Hintergrund der Cloud-Lösung Teams analysiert Azure den Betrieb und erkennt lernbasiert, wann virtuelle Maschinen neu gestartet oder angepasst werden müssen, um eine Übertragungsqualität auf hohem Niveau bieten zu können.
Details zu den neuen Microsoft-Services, zu weiteren Anwendungsbeispielen und zu Reinforcement Learning findet ihr auch in dem Beitrag „With reinforcement learning, Microsoft brings a new class of AI solutions to customers“ meiner Kollegin Jennifer Langston auf dem Microsoft-Blog.
Zudem gibt es bei unserer Forschungsabteilung Microsoft Research einen eigenen Bereich zu Reinforcement Learning mit zahlreichen Informationen: https://www.microsoft.com/en-us/research/theme/reinforcement-learning-group/
Ein Beitrag von Pina Meisel
Communications Manager AI & Innovation
