Erkennung von ungewöhnlichen Daten.
Anomalieerkennung in Retail Daten.
Zur Sicherstellung einer optimalen Datenqualität haben wir für unseren Retail Kunden ein Modell entwickelt, das ungewöhnliche Datenpunkte in Sales Daten automatisch erkennt und korrigiert.
Herausforderung.
Optimal aufbereitete Daten stellen die Grundlage für alle Analytics-, Reporting- und Data Science Fragestellungen dar. Häufig müssen Daten vor der eigentlichen Auswertung aufwändig aufbereitet und bereinigt werden. Unser Kunde, ein internationales Retail Unternehmen, stand vor der Herausforderung, täglich eine vollautomatische Verifizierung und Bereinigung der Sales Daten angeschlossener Filialen durchführen zu müssen, um darauf aufbauende Reportingsysteme fehlerfrei bereitstellen zu können.
Ansatz.
Basierend auf den Sales Zeitreihen der lezten zwei Jahre (ca. 500mio Datenpunkte) entwickelten wir, gemeinsam mit dem Kunden, ein statistisches Modell, das pro Produkt-Filial-Kombination die tatsächliche mit der empirisch beobachteten Verteilung der jeweiligen KPI abgleicht und so auffällige Datenpunkte vollautomatisch erkennen kann. Weiterhin ist das Modell in der Lage, Anomalien in den Daten auf die durch das Modell erwarteten Werte zu glätten, um die jeweilige Beobachtung nicht vollständig löschen zu müssen. Der Algorithmus wurde vollständig in R entwickelt und auf dem vorhandenen Analytics Server in-Database produktiv geschaltet.
Ergebnis.
Nach dem Deployment erkennt das Modell seitdem täglich Anomalien und auffällige Datenpunkte vollautomatisch. Durch die Anwendung des Modells ist es erstmalig gelungen, eine automatische Datenaufbereitung und Bereinigung der täglich angelieferten Filialdaten zu implementieren, die zuverlässige und stabile Ergebnisse liefert. Zudem fallen durch die Open Soruce Software R keine Lizenzkosten an.
Projekt Info.
Branche: Retail
Thema: Anomaly Detection
Tools: Teradata, SQL, R
Aufwand: 1 Monat
Projektlaufzeit: 2 Monate
STATWORX Kontakt.
Ihr Ansprechpartner:
Fabian Müller
Leiter Data Science
Download Case.
Downloaden Sie diese Case Study als PDF zur weiteren Verwendung.