Das Geheimnis skalierbarer KI: MLOps

Beitrag von Subaandh VELLAKINAR KRISHNAKUMAR, ML/Data Engineer bei DiliTrust

Die Rolle von KI in Unternehmen nimmt stetig zu. Eine aktuelle Umfrage zeigt, dass 35% der Unternehmen bereits KI einsetzen und 42% damit experimentieren. In diesem Kontext sind MLOPS – Machine Learning Operations – heute bei der Entwicklung und Skalierung von KI Projekten entscheidend. Wie genau funktionieren MLOps und welche Vorteile bringen sie?

Machine Learning Operations (MLOps) sind eine Reihe von Prozessen, die darauf abzielen, Machine Learning-Modelle in der Produktion zu verfolgen, bereitzustellen und zu überwachen. Durch die Integration dieser Prozesse unterstützen MLOps Unternehmen bei der Entwicklung skalierbarer KI-Lösungen und stellen sicher, dass die Modelle relevant bleiben und über einen längeren Zeitraum hinweg gute Ergebnisse erzielen.

Zu den Grundprinzipien von MLOps gehören:

• Verfolgung von Experimenten: Dokumentation von Experimenten, um die Ergebnisse zu reproduzieren und zu verstehen, was für die iterative Verbesserung von Modellen unerlässlich ist.
• Überwachung: Beobachtung der Modellleistung und der Datenqualität, um Probleme rechtzeitig zu erkennen und zu beheben. 
• Versionierung: Verwaltung verschiedener Versionen von Modellen, Datensätzen und Code, um die Reproduzierbarkeit zu gewährleisten und eine klare Entwicklungsgeschichte zu erhalten.
• Automatisierung: Rationalisierung sich wiederholender Aufgaben, wie z. B. Modelltraining und -bereitstellung, um die Effizienz zu steigern und das Potenzial für menschliche Fehler zu verringern.
• Reproduzierbarkeit: Sicherstellen, dass Experimente und Modelle konsistent reproduziert werden können, um die Zusammenarbeit und Transparenz zwischen den Teammitgliedern zu fördern.

Warum MLOps für skalierbare KI in Unternehmen unerlässlich ist:

• Skalierbarkeit: MLOps ermöglicht die nahtlose Skalierung von KI-Projekten, sodass Unternehmen größere Datenmengen und komplexere Modelle ohne Leistungseinbußen verarbeiten können.
• Effizienz: Durch die Automatisierung von Routineaufgaben gibt MLOps Data Scientists und Ingenieuren die Möglichkeit, sich auf Innovation und Weiterentwicklung zu konzentrieren, anstatt sich mit Wartungsaufgaben aufzuhalten.
• Verlässlichkeit: Kontinuierliche Überwachung und Versionskontrolle stellen sicher, dass die Modelle korrekt und relevant bleiben, auch wenn sich die Daten im Laufe der Zeit weiterentwickeln.
• Zusammenarbeit: Standardisierte Prozesse und Dokumentationen erleichtern die Zusammenarbeit zwischen verschiedenen Teams, darunter Datenwissenschaftler, Ingenieure und Geschäftsinteressenten.

Die Implementierung von MLOps-Praktiken ist für jedes Unternehmen, das das Potenzial von KI voll ausschöpfen möchte, unerlässlich. Durch das Verständnis und die Einführung von MLOps können Unternehmen sicherstellen, dass ihre Machine Learning-Initiativen effizient und skalierbar sind und mit ihren strategischen Zielen übereinstimmen.

MLOps stellen eine wesentliche Verbesserung der Prozesse dar, die bei der Entwicklung von KI genutzt werden. In diesem Artikel gehen wir auf die Herausforderungen ein, mit denen wir bei DiliTrust konfrontiert waren, und wie MLOps geholfen haben, diese Probleme anzugehen: ein praktisches Beispiel einer erfolgreichen Implementierung, das die Rolle von MLOps für skalierbare KI einmal mehr unterstreicht.

Machine Learning-Modelle müssen einen Zyklus durchlaufen, der Schritte wie Datenaufbereitung, Modelltraining, Tests, Bereitstellung und Überwachung umfasst.

Unser Machine Learning-Team setzt sich aus verschiedenen Experten zusammen: Forscher, Data Scientists, Dateningenieure und Datenanalysten. Dies erfordert eine ständige Zusammenarbeit zwischen zahlreichen Stakeholdern. Um ein Modell bereitzustellen, ist es daher notwendig, den Prozess zu standardisieren und die meisten Schritte zu automatisieren.

Die Entwicklung von Machine Learning ist ein iterativer Prozess mit großem Forschungsaufwand. Daher ist die Standardisierung dieses Prozesses mit MLOps von großer Bedeutung. MLOps sind für Machine Learning, was DevOps für die Softwareentwicklung sind: Letztere standardisieren die Ausführung, Überwachung und Verbesserung der Qualität von SaaS-Produkten.

Unternehmen, die KI-Lösungen entwickeln sollten zur Verbesserung von Machine Learning-Modellen auf MLOps umsteigen. MLOps ermöglicht die nahtlose Integration der oben genannten Prozesse mit dem Ziel, den ML-Zyklus kontinuierlich zu verbessern.

Dies ist der erste Schritt beim Trainieren jedes Machine Learning-Modells. Die Daten, mit denen das Modell trainiert wird, können einen erheblichen Einfluss auf die Leistung des Modells haben.

„Daten sind das neue Erdöl. Wie Erdöl sind Daten wertvoll, aber wenn sie nicht raffiniert sind, können sie nicht wirklich genutzt werden.“ – Clive Humby

Ein treffender Vergleich, denn die Datenvorbereitung umfasst viele Schritte: Dateneingabe, Datenbereinigung, Datenumwandlung und Datenanalyse. Die Automatisierung dieser Schritte stellt eine große Vereinfachung dar.

Daten spielen eine wichtige Rolle für das Verhalten eines Modells in der Produktion. Daher ist die Automatisierung der Datenpipeline unser vorrangiges Ziel. Unsere Datenpipelines verarbeiten täglich Tausende von Kundendokumenten, was uns hilft, eine saubere Datenbank für das Anlernen zu erhalten.

➡️  Das könnte Sie auch interessieren: Wie bildet DiliTrust seine KI aus?

Das Training von Modellen ist ein unkomplizierter Prozess, wenn es eine einzige Pipeline gibt, die mehrere Aufgaben erfüllt. DiliTrust verfügt über Machine-Learning-Modelle, die auf verschiedene Geschäftsanforderungen zugeschnitten sind. Zum Beispiel extrahiert das Modul Contract Lifecycle Management (CLM) verschiedene Arten von Informationen (Klauseln, Entitäten, Dokumententyp usw.) aus jedem Vertrag. Dies führt zu mehreren Pipelines, die mehrere Aufgaben ausführen, was die Komplexität des Systems erhöht. Daher ist die Nachverfolgung der für das Modelltraining verwendeten Parameter unerlässlich.

Zu den wichtigsten Parametern gehören Modellkonfiguration (Epochen, Modelltyp, Pipeline) sowie Code- und Datensatzversionen.

Die Entwicklung eines Modells ist ein iterativer Prozess, und Data Scientists können viel Zeit mit Tests verbringen. Reproduzierbarkeit und Interpretation der Ergebnisse würde ein großes Chaos verursachen. Die Verfolgung der Modellkonfiguration, der Pipeline und der Ergebnisse würde einen großen Teil der produktiven Zeit des Data Scientists in Anspruch nehmen. Glücklicherweise lösen MLOps dieses Problem, da wir die Ergebnisse jedes Experimentdurchlaufs zentralisieren und so eine bessere Zugänglichkeit ermöglichen.

Die Bereitstellung ist ein Prozess, bei dem das ML-Modell, das auf Produktionsdaten trainiert wurde, den Nutzern über die API zur Verfügung gestellt wird. Die Automatisierung der Modellbereitstellung ist entscheidend, da manuelle Bereitstellungen fehleranfällig sind. Version der Modelle, Hyperparameter, Trainings- und Testdaten und ML-Artefakte müssen stimmen.

Die Automatisierung der CI/CD-Pipeline gewährleistet eine zuverlässige Bereitstellung. Sie startet die automatisierte Modell-Trainings-Pipeline und führt mehrere Tests durch, bevor das ML-Modell und die zugehörigen Artefakte bereitgestellt werden.

Es kann vorkommen, dass das bereitgestellte Modell nicht jedes Mal die erwartete Leistung erbringt. Daher ist die Implementierung eines Rollback-Mechanismus ebenso wichtig wie eine automatisierte Bereitstellung.

Bei Produktionsmodellen besteht die Gefahr, dass sie sich aufgrund sich ändernder Daten verschlechtern. Die Überwachung von Versuchs- und Produktionsmodellen ist entscheidend für eine kontinuierliche Verbesserung. Jede Woche trainiert das Team für maschinelles Lernen verschiedene Modelle, die dann in der Produktion eingesetzt werden. Daher ist es wichtig, jedes Modell im Auge zu behalten.

Produktionsmodelle sind mit mehreren unternehmensspezifischen Metriken verbunden, die sich im Laufe der Zeit entwickeln. Die Überwachung der sich ändernden Metriken und ihrer Leistung hilft, die Erwartungen der Kunden zu erfüllen.

In der Anfangsphase arbeiteten bei DiliTrust nur einige wenige Personen gleichzeitig an einem Modell, aber als das Team wuchs, wurde die Zusammenarbeit zwischen den verschiedenen Beteiligten immer komplexer. Hier helfen MLOps mit zentraler Speicherung und vereinfachen den Zugriff und die Weiterentwicklung.

Außerdem ist, wie bereits erwähnt, für die Modellverfolgung und das Benchmarking zwischen verschiedenen Teams eine zentrale Speicherung erforderlich.

➡️  Lesen Sie auch: KI, Ethik & Compliance: Insights von DiliTrusts Head of Legal und DPO

Als Bonus finden Sie hier einige Kennzahlen, die für die Durchführung von MLOps relevant sind.

• Häufigkeit des Einsatzes
  MLOps automatisieren die Datenpipelines und ersetzen die manuelle Bereitstellung durch CI/CD-Pipelines. Dies dürfte die Zeit für die Bereitstellung eines neuen Modells in der Produktion reduzieren.
• Modell Trainingsdauer
  Die ML-Modellschulung umfasst die Datenvorbereitung, die Durchführung von Experimenten und die Ableitung von Ergebnissen. Durch die Nachverfolgung und Reproduzierbarkeit von Experimenten verbringen Data Scientists weniger Zeit mit der Modellschulung, da die meisten manuellen Schritte entfallen.
• Rollback-Zeit
  Die Überwachung der Performance des ML-Modells hilft, eine mögliche Leistungsverschlechterung zu erkennen. In diesem Fall bietet die Versionierung die Flexibilität, zur vorherigen Version zurückzukehren.
• Modell Qualität
  Die Modellqualität kann durch den Vergleich der Metriken zwischen dem aktuellen Produktionsmodell und neu trainierten Modellen gemessen werden. Dadurch wird sichergestellt, dass die neue Version keine Modelldrift verursacht.

Mithilfe von Machine Learning können Unternehmen Lösungen für Probleme entwickeln, die früher nicht möglich waren. Das spart Zeit und verbessert die Effizienz. So werden Daten für die Entscheidungsfindung genutzt, um die Kundenerfahrung zu verbessern. MLOps sind also unverzichtbar, da eine schnellere Modellbereitstellung den Unternehmen hilft, in einem schnell wachsenden Markt einen Wettbewerbsvorsprung zu behalten.

Möchten Sie das Potenzial unserer fortschrittlichen KI-Lösungen erkunden? Machen Sie den nächsten Schritt in Richtung Innovation und vereinbaren Sie noch heute einen Termin für eine persönliche Demo. Entdecken Sie, wie die KI von DiliTrust Ihre Geschäftsabläufe verändern und Ihren Erfolg im digitalen Zeitalter fördern kann.