Spatial-ETL mit Talend

In zahlreichen Projekten spielen neben Sachdaten vor allem Geodaten eine entscheidende Rolle. Diese haben besondere Anforderungen, die bis dato in ETL-Werkzeugen wie Talend nur ansatzweise berücksichtigt sind. Häufig musste für die Verarbeitung von Geodaten auf zusätzliche Werkzeuge zurückgegriffen werden. So entstand der Wunsch nach einem Tool, das sich so nahtlos wie möglich in den bewährten Talend-Prozess einzubinden lässt, so dass der Nutzer eine einheitliche Arbeitsweise für alle Daten anwenden kann. Wir sprechen in dem Fall von einem Tool für Spatial-ETL oder auch Geo-ETL-Tool.

Disy hat mit "GeoSpatial Integration für Talend" eine Erweiterung für Spatial-ETL entwickelt, die zusätzliche Konnektoren für Geodatenquellen sowie für räumliche Kalkulatoren und räumliche Operatoren bereitstellt. Dadurch können alphanumerische Daten geometrisch angereichert und Geodaten einfach in Datenintegrationsprozesse eingebunden werden. In die Entwicklung flossen bei Disy zwei Grundüberlegungen ein: Zum einen kennen wir aus zahlreichen Projekten genau die Anforderungen für die Verarbeitung von Geodaten in einem Datenintegrationsprozess und könnten durch unsere Erfahrung ein schlankes Werkzeug schaffen, das passgenau das Thema Geodaten in Datawarehouse-Projekten abdeckt. Zum anderen haben wir in unseren Kundenprojekten einen hohen Bedarf an effizienten Lösungen gesehen. Die Datenmenge steigt konstant und ist ohne entsprechende Werkzeuge nur mit hohem Personalaufwand zu nutzen.

Aus ETL wird Spatial-ETL: Nahtlose Erweiterung der Talend-Werkzeugleiste mit zusätzlichen Geooperationen

Mit dem von Disy entwickelten Spatial-ETL-Plug-in GeoSpatial Integration für Talend können nun diese Geodaten direkt mit eingebunden werden. Konkret unterstützt das Plug-in aktuell folgende Datenbanken und Formate: Oracle Locator und Spatial, PostgreSQL mit PostGIS, SQLite mit SpatiaLite sowie Shapefiles und WKT (Well-Known-Text). Weitere Connectoren für SAP HANA oder ArcGIS Server werden folgen.

Hinzu kommen eine Vielzahl an Komponenten und räumlichen Operatoren, mit deren Hilfe Geooperationen durchgeführt werden. Hierzu zählen Längen- und Flächenberechnungen, die Umwandlung von X-, Y- und Z-Koordinaten in 2D/3D-Punktgeometrien, die Berechnung von Centroiden, die Pufferung von Punkten, Linien und Flächen, die Verschneidung von Geometrien, die Berechnung einer Bounding Box (envelope) oder einer konvexen Hülle einer oder mehrerer Geometrien, die Verbindung von Punkten zu Linien bzw. von Linien zu Flächen sowie die Transformation der Koordinaten zwischen unterschiedlichen Koordinatensystemen, die algorithmische Vereinfachung von komplexen Geometrien oder gar die Validierung von Eingangsdaten (z. B. Shapefiles).

Talend – ein „Leader“ im Bereich Datenintegration

Talend hat sich auf die Integration von großen Datenmengen bis hin zu BigData und Streaming Data spezialisiert und ist inzwischen auch ein weltweit führendes Unternehmen in den Bereichen BigData- und Cloud-Integrationslösungen. Im Jahr 2016 wurde Talend in diesem Zusammenhang sogar in den „Magic Quadrant for Data Integration Tools“ von Gartner als ein „Leader“ im Bereich Datenintegration aufgenommen.