Skalierung von Forecasting Modellen.

Die Entwicklung komplexer Machine Learning Modelle findet häufig in einer Sandbox, sprich, einer abgeschlossenen Entwicklungsumgebung statt. Nach dem erfolgreichen Test der Modelle werden diese anschließend in die vorhandene IT-Landschaft implementiert, um dort in regelmäßigen Zyklen ausgeführt zu werden. Unser Kunde, ein internationales Logistikunternehmen, stand vor der Herausforderung, dass seine entwickelten Modelle zur Prognose des Nachfrageaufkommens für mehr als 10.000 Entitäten geschätzt werden mussten und somit eine tägliche Prognose nicht möglich erschien.

Um die tägliche Rechenlast bewältigen zu können, haben wir für den Kunden zunächst ein eigenes R-Package entwickelt, das die nötigen Funktionen und Modelle beinhaltete. Dieses wird zentral verwaltet und gewartet. Im Anschluss daran haben wir einen automatisierten Prozess programmiert, der mittels Parallelisierung die 10.000+ Modelle gleichzeitig auf einer Multicore-Serverumgebung ausführt. Hierbei wurden mehrere Modelle gleichzeitig trainiert und lieferten Prognosen für die Nachfrage pro Kunde für den nächsten Geschäftstag ab. Aufgrund der performanten Infrastruktur des Kunden konnten hier bis zu 20 Modelle parallel trainiert werden.