ABOUT NORCOM
Aufbau und Betrieb einer on-premise Automotive-Messdatenplattform
Die Aufgabe
Die Entwicklung und Testung von Powertrains wird durch explosiv anwachsende Datenraten, höhere Ansprüche an Innovation und Leistung und striktere Gesetzesvorgaben vor enorme Herausforderungen gestellt. Diesen soll mit einem Datenmanagement auf Big Data begegnet werden.
Die Herausforderung
Big Data Technologie wird bereits vielerorts erfolgreich für die Auswertung großer Datenmengen aus dem Powertrain erprobt. Der nächste Schritt, die Nutzung von Big Data in Produktivsystemen, stellt die Anwender nun aber vor ganz neue Herausforderungen, erfordert dies doch die Integration mit bestehenden Applikationen, Sicherheitssystemen, die Bereitstellung für den Endnutzer, uvm.
Unsere Lösung
In diesem Projekt wurde eine Big Data Umgebung auf Basis Hadoop konzipiert und ein Hadoop-Cluster installiert und in Betrieb genommen. Das Cluster wurde über eine Datenladestrecke an eine kontinuierliche Datenquelle für die Analysen von Messdaten angebunden. Big Data Workflows konvertieren die Messdaten in ein Analyseformat und prüfen die Datenqualität, bevor sie für die Analyse bereitgestellt werden. Durch Nutzung von skalierbaren Datenbanken können Daten in Sekundenschnelle über Metadaten lokalisiert und für die Analyse gebündelt werden. Mittels einer eigens entwickelten Analysehochsprache für Zeitreihen erstellen Ingenieure selbst komplexe Datenanalysen auf Big Data in geringer Zeit und setzen diese mit einem zugehörigen SDK selbständig als Apps produktiv.
Der Kundennutzen
Die Clusteranwender wurden im Rahmen von mehreren Workshops für die Clusternutzung mit modernen Methoden der Data Science befähigt. Dazu wurden Analysen auf Python/Spark umgesetzt, inkl. einer Suche nach Mustern in Messkanälen, mehrerer umfangreicher Reports über eine Dauerlauffahrzeugflotte (z.B., Dauerlaufendereport, Kaltstartreport, Tankreport, Aussetzerreport), Prüfstands- und Gütesicherungsauswertungen, sowie einer Rucklererkennung unter Verwendung von Spektralanalysen und Machine Learning/Deep Learning Klassifikatoren.
Projekt-
steckbrief
Unsere Rolle
-
Unterstützung des Kunden durch Data Scientists, Data Engineers, Software-Entwickler und Architekten
-
Einweisungen in das System in Workshops und Schulungen
Technologien & Methoden
-
Applikationen: DaSense, Jira Service Desk, Tableau
-
Daten/-banken: HDFs, Hbase, Isilon, Elastic, MF4
-
Sprachen / Frameworks: Python (Anaconda Stack), Java, Javascript, Hadoop/Hortonworks, Spark, Yarn, Oozie, Docker Swarm, KVM, Nifi, Check_MK
-
Methoden: Data Cleansing, Zeitreihenanalysen