ABOUT NORCOM
Aufbau und Betrieb einer hochverfügbaren Big Data Analytics Plattform
Die Aufgabe
Für die Bereitstellung einer zentralen Analytics Plattform für verschiedenste Use Cases aus unterschiedlichen Abteilungen ist eine Big Data Umgebung zu konzipieren, implementieren und in Betrieb zu nehmen. Für die Versorgung mit Daten soll diese Umgebung über Datenladestrecken an verschiedene Quellsysteme on-premise und in der Cloud angeschlossen werden.
Die Herausforderung
Für die produktive Nutzung müssen alle relevanten Clusterdienste multi-mandantenfähig und hochverfügbar sein, die Daten dürfen aus Gründen der Datensicherheit nicht in der Cloud gehalten werden. Personenbezogenen Daten erfordern eine flexible Einrichtung von Regeln zur Speicherung, Nutzung und Löschung.
Unsere Lösung
Es wurde eine Big Data Umgebung auf Basis Hadoop konzipiert, implementiert und in Betrieb genommen. Zur Produktivsetzung wurden alle relevanten Clusterdienste kerberisiert und hochverfügbar konfiguriert, ein zusätzliches Testcluster für die Überführung von auf der Entwicklungsumgebung getesteten Frameworks und Prozessen in den Regelbetrieb etabliert und eine Spiegelumgebung zur Sicherung der Business Continuity definiert. Für Advanced Analytics auf großen Daten wurden GPU-Resourcen in das Hadoop Cluster eingebunden. Die Fachabteilungen wurden in mehreren Innovationsworkshops mit der Nutzung der neuen Plattform vertraut gemacht.
Der Kundennutzen
Verschiedenste Datenquellen können dank Einsatz von Big Data zum ersten Mal übergreifend analysiert werden. Automatisierte Mechanismen stellen dabei die Datenqualität sicher. Auswertungen sind dank Hochverfügbarkeit rund um die Uhr erreichbar. Eine transparente Dokumentation der Architektur und der Prozesse befähigt den Kunden zur Lösung auch komplexer Probleme in Self-Service.
Projekt-
steckbrief
Unsere Rolle
-
Consulting / Dev Ops / System Administration
Unsere Tätigkeiten
-
Planung, Installation, Betrieb von HDP (Hortonworks) Cluster Umgebungen
-
Setzen auf Hochverfügbarkeit aller relevanter Systeme (Hadoop, Postgres)
-
Automatische Spiegelung von wichtigen Daten zwischen Hadoop Clustern
-
Identity Management mit Integration auf Hadoop (Kerberos)
-
Beratung zu Technologie Stack
Technologien & Methoden
-
Applikationen: Hadoop, Hive LLAP, NiFi, PowerBI, DaSense, Oozie, Ranger, Ambari, Yarn, IPA, HAProxy, Keepalived, Postgres, PGBouncer
-
Datenbanken: Hive, Postgres
-
Sprachen / Frameworks: Python, Shell, SQL / Docker, CUDA, Map/Reduce, Tez, Spark, Kerberos, Jira, Git, UML, Jenkins
-
Methoden: Agil, ITIL, DevOps