Loading content
Konzept und Praxis, trainierte Machine-Learning-Modelle zuverlässig in Produktionsumgebungen bereitzustellen, zu betreiben und zu versionieren.
Model Deployment beschreibt den Prozess, trainierte ML-Modelle in produktive Umgebungen zu überführen, bereitzustellen und zu betreiben. Es umfasst Verpackung, Serving, Skalierung, Monitoring und Versionierung, um Vorhersagen zuverlässig und reproduzierbar bereitzustellen. Es adressiert zudem Sicherheits- und Integrationsanforderungen.
95. Perzentil der Antwortzeit für Inferenzanfragen; wichtig für Benutzererfahrung.
Qualitätsmaß der Vorhersagen auf produktiven Daten oder Proxy-Sets.
Anteil fehlerhafter oder abgewiesener Anfragen am Gesamtraffic.
Registrierung, Versionierung und Bereitstellung eines Modells als REST-Endpunkt mit MLflow.
TensorFlow SavedModel im TensorFlow Serving deployen und skalen.
Containerisierte Modelle in Kubernetes mit Seldon Core orchestrieren und versionsbasiertes Routing nutzen.
Modell verpacken und Abhängigkeiten fixieren; Artefakt registrieren.
Deployment-Artefakte (Container, Manifeste) erstellen und CI/CD-Pipeline anlegen.
Serving-Endpunkt bereitstellen, Tests ausführen, Monitoring konfigurieren und Rollout planen.