Datenübertragung leicht gemacht!

Die European Pressphoto Agency (epa) ist eine internationale Bildagentur mit Sitz in Frankfurt und wurde 1985 von sieben europäischen nationalen
Nachrichtenagenturen gegründet.

Die Gründungsidee war aus Mangel an Alternativen zu den damals angebotenen britisch/amerikanisch ausgerichteten Bilddiensten entstanden. So vertreibt epa heute weltweit qualitativ hochwertige Pressefotos und -videos für den weltweiten Nachrichtenmarkt und verfügt über ein ständiges Netzwerk von über 130 Bild-und Videojournalisten und eine umfangreiche Liste regelmäßiger Stringer weltweit. Die Foto- und Videoproduktion wird 24/7 von 50 Redakteuren in Bangkok, Frankfurt, Madrid, Kairo und Washington unterstützt. 
Im Jahr 2003 begann die EPA mit dem weltweiten Verkauf ihrer Fotos und verwaltet seitdem ein Fotoarchiv mit knapp 10 Millionen Fotos. 

Background und Herausforderung

Die Videos und Fotografien, die weltweit entstehen, werden dabei verständlicherweise mit unterschiedlicher technischer Ausstattung produziert. Dementsprechend kommt das Bildmaterial auch in ganz unterschiedlichen Formaten zur epa. Ziel war es, hier einen standardisierten Output für die Fotografen zu schaffen, sodass sie schnell, einfach und bequem Videos hochladen können. Zudem sollten die Mitarbeiter:innen, die das Bildmaterial bei epa sichten und bearbeiten, die Möglichkeit haben, das in ein einheitliches Format kodierte Bildmaterial an einer zentralen Stelle in Empfang zu nehmen. 

Es wurde jedoch schnell klar, dass mehr als eine klassische Plattform benötigt wurde, auf der Videomaterial hochgeladen werden konnte. Die neue Plattform erfordert praktische Lösungen für gleich zwei Herausforderungen. Zum einen ist die Internetverbindung im Golf von Thailand nicht so gut wie in Seoul, der Hauptstadt Südkoreas. Andererseits muss eine kostengünstigere Variante her, da gewöhnliche Server durch die permanente und weltweite Aufzeichnung von Daten unerschwingliche Kosten verursachen.

Die Multi-Cloud als Lösung! 

Bei einem so großen Problem ist es keine Selbstverständlichkeit, eine kostengünstige Lösung zu finden, ohne ein bisschen Funktionalität einzubüßen. Thomas Schick, Cloud Platform Developer bei CLOUDPILOTS, sagt: 

Mit AWS Lambda entschieden wir uns für eine ereignisgesteuerte und serverlose Computerplattform. Der Computerdienst, der auf Amazon Web Service bereitgestellt wird, skaliert horizontal und führt Code nur als Reaktion auf Ereignisse aus. So ein Ereignis ist beispielsweise das Hochladen neuen Videomaterials, worauf unser System dann mit dem Einreihen eines Transkodierungs-Jobs reagiert. Durch ereignisgesteuerte Serverless-Dienste ist die Lösung bestens für variable, schwierig vorhersehbare Auslastung gewappnet. Für das Frontend haben wir uns für die Google App Engine als Lösung entschieden, eine pay-as-you-go Webapplikationsplattform, die ebenfalls horizontal skalieren kann und ein attraktives kostenloses Kontingent bietet. Durch die Kombination der beiden Cloud-Anbieter haben wir die jeweils besten Dienste nutzen können und die Kosten auf ein Minimum reduziert. Gezahlt wird nur, wenn jemand die Applikation aktiv nutzt oder Code ausgeführt wird. 

Als nächstes müssen die Herausforderungen einer schlechten Internetverbindung und unterschiedlicher Medientypen angegangen werden. Für stabilere Uploads weltweit stellt AWS S3 ein globales Reverse-CDN bereit. Auf diese Weise kann ein nahe gelegener AWS-Netzwerkzugriffspunkt überall auf der Welt verwendet werden. Mit der Kombination aus kurzem Übertragungsweg und eines resilienten Übertragungsverfahrens mittels TUS (https://tus.io/), können nun aus der ganzen Welt Beiträge über eine einfache Webservices-Schnittstelle jederzeit und überall im Internet gespeichert und abgerufen werden. 

Ergebnis 

Die Kombination aller genannten Komponenten bildet eine zuverlässige Plattform für die Versorgung von Produktionsunternehmen mit hochwertigen Ausgangsmaterialien. Die Videodateien gelangen zuverlässig nach Madrid, wo sie ohne großen IT-Aufwand weiterverarbeitet und an Nachrichtenorganisationen in aller Welt verteilt werden können. 

Über die Zusammenarbeit mit CLOUDPILOTS sagt Martin Adler, Deputy Director Information Technology und Leiter des Projekts seitens epa: