Reinforcement Learning: Eine neue Qualität von KI-Lösungen

Ein Roboterarm greift nach weißen Beuteln. Die Beutel sind nummeriert

Viele Unternehmen nutzen Empfehlungssysteme, die Kund*innen zu ihren individuellen Vorlieben passende Produkte anzeigen. Meistens verwenden sie dafür Modelle für maschinelles Lernen (ML). Diese sagen auf Grundlage von Daten aus früheren Erfahrungen vorher, wofür sich Nutzer*innen entscheiden könnten. Für schnell wechselnde Verbraucherpräferenzen sind diese Vorhersagen daher nicht geeignet. Hier bietet sich Reinforcement Learning an.

Bislang wurde Reinforcement Learning („bestärkendes Lernen“) hauptsächlich in Forschungslaboren eingesetzt, aber nun findet es seinen Weg auch immer häufiger in Produkte und Dienste wie Azure Cognitive Services. Die Dienste können von Entwickler*innen in Apps und Webseiten oder in autonome Systeme eingebunden werden, um beispielsweise Signale aus der Umwelt, menschliche Sprache und Stimmungen, Bilder oder unstrukturierte Informationen zu erkennen. Datenwissenschaftler*innen und ML-Expert*innen können die Preview von Reinforcement Learning bereits über Azure Machine Learning (Azure ML) nutzen.

Neuer Ansatz für maschinelles Lernen

Reinforcement Learning basiert auf einem völlig anderen Ansatz als Supervised Learning („überwachtes Lernen“), einer Technik, die noch wesentlich häufiger im maschinellen Lernen eingesetzt wird. Beim Supervised Learning werden Modelle dazu trainiert, Vorhersagen anhand von Trainingsbeispielen zu treffen, mit denen sie gefüttert werden.

Wer beispielsweise eine Sprache lernen möchte und dafür Texte, Grammatik und Vokabular studiert, verfolgt den Ansatz des Supervised Learning. Reinforcement Learning würde stattdessen bedeuten, in das Land zu reisen und die Sprache vor Ort zu lernen. Machen Studierende dabei Fehler, ernten sie direkt fragende Blicke. Bestellen sie aber zum Beispiel fehlerfrei und in zeitgemäßem Französisch ein Gebäck, erhalten sie als Belohnung auch ein Croissant.

Ein KI-Bot, der sich durch Reinforcement Learning Wissen aneignet, lernt von der Interaktion mit seinem Umfeld. Dieses kann sich entweder in der realen Welt oder auch in einer simulierten Umgebung befinden, in welcher verschiedene Optionen unbedenklich erforscht werden können. Der KI-Bot handelt und wartet ab, ob die auf einem Belohnungssystem basierte Aktion zu einem positiven oder negativen Ergebnis führt. Sobald das Feedback vorhanden ist, erfährt der Bot, ob die Entscheidung richtig oder falsch war, und aktualisiert sein Verhalten entsprechend. Im Wesentlichen entspricht Reinforcement Learning dem Lernverhalten von Menschen im Laufe ihrer Entwicklung, aber auch von vielen Tieren in der Natur.

Personalisierte Angebote über Reinforcement Learning

Einer der ersten Cognitive Services, der Reinforcement Learning nutzt, ist das Personalisierungsmodul. Im Gegensatz zu reinen Empfehlungsmodulen, die nur wenige Optionen aus einem großen Katalog bereitstellen, präsentiert dieser Dienst das beste Ergebnis immer dann, wenn Benutzer*innen mit der Anwendung interagieren.

Anheuser-Busch InBev aus Belgien ist die umsatzstärkste Brauereigruppe der Welt. Sie setzt in ihrem Technologiezentrum Z-Tech auf das Personalisierungsmodul, um Lebensmittelläden in Mexiko individualisierte Empfehlungen auf einem Online-Marktplatz zur Verfügung zu stellen. Andere Kunden und Partner von Microsoft nutzen Reinforcement Learning, um Abweichungen in der Produktion zu erkennen oder Roboter zu entwickeln, die sich an unvorhersehbare Bedingungen in der realen Welt anpassen. Das erfolgt anhand von Modellen, die in Echtzeit von Hinweisen aus ihrer Umgebung, dem Feedback von Expert*innen oder aus dem Verhalten von Kund*innen lernen.

Metrics Advisor: Intelligente Kennzahlen

Ebenfalls zu den Microsoft Cognitive Services gehört Metrics Advisor, der als Public Preview verfügbar ist. Der Dienst extrahiert Kennzahlen (Metriken) aus unterschiedlichen Datenquellen, etwa um Anomalien im Geschäftsbetrieb zu erkennen und Maßnahmen vorzuschlagen. Auch der Metrics Advisor arbeitet mit Methoden des Reinforcement Learning, um mit der Zeit Abweichungen von Geschäftsprozessen leichter erkennen zu können.

Reinforcement Learning im Einsatz

Auch die Kommunikations- und Kollaborationslösung Microsoft Teams setzt auf Reinforcement Learning, um in Echtzeit den optimalen Datenfluss in Videokonferenzen zu ermitteln. Damit gleicht Teams Übertragungsverzögerungen im Millisekunden-Bereich aus und bietet so bessere Verbindungs- und Videoqualität. Im Hintergrund der Cloud-Lösung Teams analysiert Azure den Betrieb und erkennt lernbasiert, wann virtuelle Maschinen neu gestartet oder angepasst werden müssen, um eine Übertragungsqualität auf hohem Niveau bieten zu können.

Details zu den neuen Microsoft-Services, zu weiteren Anwendungsbeispielen und zu Reinforcement Learning findet ihr auch in dem Beitrag „With reinforcement learning, Microsoft brings a new class of AI solutions to customers“ meiner Kollegin Jennifer Langston auf dem Microsoft-Blog.

Zudem gibt es bei unserer Forschungsabteilung Microsoft Research einen eigenen Bereich zu Reinforcement Learning mit zahlreichen Informationen: https://www.microsoft.com/en-us/research/theme/reinforcement-learning-group/


Ein Beitrag von Pina Meisel
Communications Manager AI & Innovation

Pina Meisel als Portrait-Bild

Tags: , , , , ,

Weitere Infos zu diesem Thema

22. Januar 2021
SAP und Microsoft erweitern Partnerschaft und integrieren lösungsübergreifend Microsoft Teams

Die SAP SE und Microsoft planen, Microsoft Teams mit der intelligenten Suite von Lösungen von SAP zu integrieren. Zudem arbeiten beide Unternehmen daran, die bestehende strategische Partnerschaft zur beschleunigten Einführung von SAP S/4HANA auf Microsoft Azure umfassend auszuweiten. Diese Kooperation beruht auf einer gemeinsamen Verpflichtung der Unternehmen, den Umstieg in die Cloud für Kunden zu vereinfachen und zu verbessern.

20. Januar 2021
Commerzbank und Microsoft vertiefen strategische Partnerschaft

Microsoft agiert als wichtiger strategischer Partner für die digitale Transformation der Bank. In den kommenden fünf Jahren möchte die Commerzbank mit der Unterstützung von Microsoft den Weg in die Public Cloud weiter ebnen und einen signifikanten Teil ihrer Anwendungen in die Cloud-Computing-Plattform Microsoft Azure auslagern.

19. Januar 2021
BettFest 2021: Unterstützung für Lernende – überall, jederzeit

Das vergangene Jahr war geprägt von beispiellosen Veränderungen, komplexen Herausforderungen und Neuorientierung im Lehren und Lernen. Auf der virtuellen Bildungskonferenz BettFest 2021 erwartet uns vom 20.-22. Januar 2021 ein spannender Austausch zur Zukunft der Bildung.

19. Januar 2021
Im Daten-Dschungel: Wie können wir Zusammenarbeit in einer hybriden Arbeitswelt besser gestalten?

Eine veränderte Arbeitswelt erfordert neue Tools, um die Zusammenarbeit zu organisieren und zu optimieren – doch wie evaluieren Unternehmen, ob die technische Ausstattung den Anforderungen der täglichen Arbeit entspricht? Der Productivity Score, MyAnalytics und Workplace Analytics sind drei Lösungen, mit denen Unternehmen Antworten auf diese Fragen finden können. Wozu sie dienen und wie wir dabei die Daten der Beschäftigten schützen, erklären wir in diesem Beitrag aus unserer Reihe „Im Daten-Dschungel“.