European Space Agency: Data Factory, die Single Source of Truth

Mit der Data Factory hat die European Space Agency (ESA) eine Single Source of Truth geschaffen, die ihre Daten- & Projektlage transparent, ihre Prozesse effizienter macht und Entscheidungen nachhaltig fundiert.

Ausgangsanfrage war die Migration bestehender Applikationen auf moderne Technologien (Cloud)

Vollständige Neuentwicklung unter Verwendung aktueller Technologien zusätzlich zur Migration

Migration und Analyse großer Datenmengen aus einer heterogenen Systemlandschaft

Vereinheitlichung der Daten für eine gemeinsame „Sprache“

Gesamtes Projekt basiert auf Azure Technologien

Erstellung einer zentralen Data Factory mit der Microsoft Azure Cloud

Azure Synapse für die Datenbank und Azure Web Apps für das Frontend

Integration von Power BI Dashboards mit Azure Web Apps

Schaffung einer einzigen, verlässlichen Informationsquelle (Single Source of Truth) durch die Data Factory

Etablierung „einer einheitlichen Sprache“ über alle Direktorate und Projekte hinweg durch die Identifizierung des Objektmodells und transparenter Datenbezeichnung für die Stakeholder

Schnelle Projektentscheidungen und gestiegene Performance mit den Realtime Power Bi Dashboards

Basis für weitere Automatisierungs- und KI-Projekte

Die European Space Agency (ESA) beabsichtigt mit der Ablösung ihrer  bestehenden On-Premise Datenbanken einen großen Schritt in Richtung Digitalisierung ihrer Daten zu gehen. Um den richtigen Partner für ihr Vorhaben zu finden, hat die ESA sich an Microsoft gewandt, denn es war sofort klar, dass sich die Technologien im Microsoft Kosmos abspielen sollten. Aus zehn Dienstleistern aus Europa entschied sich die ESA für die novaCapta als vielversprechendsten Partner. Anfangs war nur die Migration der bestehenden Daten in die Cloud geplant, um die bisherige Datenbank zukunftsgerichtet aufzustellen. Nach eingängiger Prüfung entschieden sich die ESA und novaCapta jedoch für einen weitreichenderen Schritt: Neben der Einführung der Azure Cloud und der damit einhergehenden Migration der Daten wurde die Data Factory geschaffen.

„Uns hat das Vorgehen und das Knowhow der novaCapta überzeugt. Wir haben gemeinsam beschlossen den ursprünglichen Plan der „einfachen“ Migration zu verwerfen und beschlossen unsere Daten ganzheitlich neu aufzusetzen. Unser Ziel war es, so unsere Performance zu steigern und eine höhere Geschwindigkeit aufnehmen zu können. Das hat das Konzept der novaCapta widergespiegelt“, erklärt Bernhard Isemann, Senior Data Manager & Head of ESA Data Factory, ESA.

Im ersten Schritt wurde begonnen zu identifizieren, wie viele verschiedene Data Warehouses die ESA in Europa hat und diese heterogene Landschaft zu analysieren. Um die Prozesse, Daten und Objekte besser verstehen und analysieren zu können, sowie die Anforderungen der Stakeholder zu definieren, wurden zudem zweitägige Workshops abgehalten. Das Projektvorgehen und die User Journey – welche Daten werden benötigt – dahinter zu verstehen, war nicht nur essenziell für die Definition einer gemeinsamen Sprache in der Data Factory, sondern auch um alle relevanten Stakeholder abzuholen und einen transparenten Prozess aufzubauen.

Mit dem Verständnis der Daten konnte in die neue hybride Struktur (On-Premises Datenserver und Azure Cloud) umgesetzt werden. Danach ging es daran mit Azure Synapse – einem Analysedienst, der Data Warehousing mit Big Data-Analysen vereint – die Daten abzurufen und mit Power BI die Daten aufzubereiten. Die Daten nachvollziehbar zu benennen war ein zentraler Aspekt, um so eine einheitliche Sprache über alle Direktorate und Projekte hinweg zu etablieren. Danach wurde mit kaufmännischen Daten, wie Finanzzahlen und Vertragszahlen, die ersten Echtzeit-Dashboards mit Power BI kreiert. Über Power BI embedded wurden die Dashboards in Azure Web Apps integriert und so für alle relevanten Steakholder zur Verfügung gestellt. Der Vorteil von Power Platform Komponenten, wie Power BI ist, dass die ESA langfristig eigene Reports erstellen, über den eingestellten Mechanismus deployen kann und so das Dashboard leben zu lassen –ohne auf externe Dienstleister angewiesen zu sein.

„Wir müssen mit der Data Factory nicht hinterfragen, wo die Daten herkommen und ob die Zahlen richtig sind. Denn sie gibt uns eine Single Source of Truth auf dessen Basis wir direkt in die Projektplanung und Besprechung gehen können. Das erspart uns Zeit und sorgt dafür, dass alle Projektbeteiligten das gleiche Verständnis haben“, erklärt Bernhard Isemann.

Das Gesamtsystem bestehend aus Datenbanken, Microsoft Azure und Power BI nennt die ESA Data Factory. Mit dieser zukunftsträchtigen Datenfabrik kann die ESA nun auch weitere Schritte in Richtung Künstlicher Intelligenz gehen, seine Performance und den Umfang der Datenanalyse steigern. So könnten langfristig dynamische Dashboards erstellt werden, die mit KI-Integration auf Prompts eigenständig agieren, Fragen interpretieren und beantworten. Weitere Projekte rund um die Data Factory sind bereits in Planung, dazu gehört auch den Service der Factory weiter zu professionalisieren sowie das Security Hardening durchzuführen.

Download Case Study European Space Agency als PDF (DE)

Download Case Study European Space Agency als PDF (EN)