Spatial oder nicht spatial? Ein ETL-Tool für alles

Spatial oder nicht spatial? Die Beantwortung dieser Frage bestimmte bisher das einzusetzende ETL-Tool. Mit dem neuen Geo-ETL-Plug-in von Disy können Sie mit Talend alle Datenarten gemeinsam verarbeiten. Testen Sie selbst.

GeoSpatial für Talend

Für große Behörden und Unternehmen wird es immer wichtiger, die wachsende Menge an alphanumerischen Daten und Geodaten aus Fachanwendungen oder Sensoren für übergreifende Auswertungen, Datenportale und Berichtspflichten zeitnah, systematisch und automatisiert zu strukturieren und bereitzustellen. Dies zu leisten ist nur möglich, wenn im Hintergrund automatisierte Datenintegrationsroutinen laufen, bei denen Daten über ETL-Prozesse transformiert, konvertiert, bearbeitet und angereichert werden.

Dabei bestimmte die Unterscheidung nach der Art, nämlich Spatial oder Nicht-Spatial, sowie die Herkunft der Daten bislang oftmals die weiteren ETL-Verarbeitungsprozesse und die dafür einzusetzenden Tools. Der Markt bot bislang kein ETL-Tool für die gemeinsame Verarbeitung von alphanumerischen Daten und Geodaten. Geodaten haben besondere Anforderungen, so dass für ihre Verarbeitung häufig auf zusätzliche Werkzeuge zurückgegriffen werden musste. Das Plug-in GeoSpatial Integration für Talend schließt die bisherige Lücke, verbindet die ETL-Welten und schafft damit ein einheitliches ETL-Werkzeug für Spatial- und Nicht-Spatial-Daten.

Gängige Geometrietypen wie Punkte, Linien und Flächen können mit GeoSpatial Integration in der Talend-Oberfläche in den ETL-Prozess integriert werden. Auch Multigeometrien lassen sich einbinden und verarbeiten. Im Zusammenspiel mit der Software von Talend werden diese Daten erkannt und zusätzliche Kalkulatoren und räumliche Operatoren bereitstellt. Dadurch können alphanumerische Daten geometrisch angereichert und Geodaten einfach in Datenintegrationsprozesse eingebunden werden.

Durch die Neuentwicklung von Disy wird das weltweit führende ETL-Werkzeug Talend zum Geo-ETL-Tool. Jetzt können die bewährten und praxiserprobten ETL-Technologien, wie sie von Talend für Sachdaten angeboten werden, auch für die Geodatenverarbeitung genutzt werden. Neben dem umfassenden Set an Datenquellen, Operatoren und Kalkulatoren gehören hierzu Funktionen zur Versionsverwaltung und zum Metadatenmanagement, zum Arbeiten in verteilten Teams und Releasemanagement, zum Refactoring sowie zur zentralen Administration, dem Load-Balancing bis hin zur Big-Data-Verarbeitung.

Doch wie funktioniert nun GeoSpatial Integration im Zusammenspiel mit Talend? Die diesjährigen CeBIT-Besucher am Disy-Stand waren bei der Premiere dabei und konnten als eine der Ersten einen Blick auf die Geo-Erweiterungssoftware für Talend werfen: Das Plug-in wird in die Talend-Umgebung eingebunden und erweitert nahtlos die vorhandene Werkzeugpalette. Der Benutzer sieht die zusätzlichen Datenquellen sowie die neuen Geo-Operatoren, die er per Drag-and-drop in das Arbeitsfenster übernehmen kann.

Die große Premierenvorstellung erfolgte nun Ende April im Rahmen eines gemeinsamen Webinars mit Talend. Sehr viele Teilnehmer nutzten die Gelegenheit, einen ersten Einblick in die neue Software von Disy zu bekommen und sich dabei selbst ein Bild von den Möglichkeiten zu machen, die sich für die gemeinsame Bearbeitung von Geo- und Sachdaten ergeben. Neben der Herausbildung eines einheitlichen Qualitätsstandards durch dieselbe Herangehensweise und Verarbeitung der Daten sind die weiteren Vorteile vor allem die Vermeidung eines Medienbruchs durch einen Toolwechsel sowie die Effizienzsteigerungen durch beschleunigte ETL-Prozesse.

Anhand des Beispiels „Auswertung von Artenfunden“ aus dem iDA stellen wir Ihnen exemplarisch die Möglichkeiten und Arbeitsweise von GeoSpatial Integration für Talend vor. Das Beispiel ist an der Fragestellung des INSPIRE-Themas „Verteilung der Arten“ angelehnt. Die Ausgangslage bilden in unserem Beispiel Demodaten aus Artenbeobachtungen von Stock- und Tafelenten in Sachsen aus verschiedenen Jahren. Zusätzlich steht deutschlandweit ein 10x10-km-Raster zur Verfügung.

Ziel unseres Beispiels ist es, die jährliche Verteilung der Art auf Basis des 10x10-km-Rasters zu erhalten. Die gemeinsame Verarbeitung von Geo- und Sachdaten kann nun mit Talend erfolgen. Das beinhaltet alle Schritte wie zum Beispiel Qualitätssicherung, Umschlüsselungen, Datenanreicherungen u. v. m., die zur Übernahme von Daten in ein Data Warehouse notwendig sind.

Wenn Sie das Plug-in GeoSpatial Integration für Talend ausprobieren möchten, dann fordern Sie unter www.disy.net/geospatial Ihren Link zum Download der Demoversion an. Neben der Software bekommen Sie eine ausführliche Dokumentation und die Testdaten aus unserem Beispiel. So können Sie selbst unser Plug-in ausprobieren.

 

Weitere Informationen

GeoSpatial Integration für Talend
Disy Akademie: Seminar "Geodaten zusammenführen. Einführung in Spatial ETL" am 29. Juni und 26. Oktober 2017
Webseite Talend