Besuchen Sie Disy auf der INTERGEO 2017.

Kontakt      Karriere      Downloads     DE/EN

Premiere: Spatial ETL mit Talend von Disy

09. März 2017

Mit GeoSpatial Integration für Talend schließt Disy eine große Lücke im Bereich der ETL-Werkzeuge für Geodaten. Nun ist es möglich, mit Talend auch Geodaten einzubinden und zu verarbeiten.

Für Behörden und Unternehmen wird es immer wichtiger, die wachsende Menge an alphanumerischen Daten und Geodaten aus Fachanwendungen oder Sensoren für übergreifende Auswertungen, Datenportale und Berichtspflichten systematisch und automatisiert zu strukturieren und bereitzustellen. Als führender Anbieter für Datenintegrationslösungen der öffentlichen Verwaltung in Deutschland setzt Disy seit mehreren Jahren bei der Verarbeitung alphanumerischer Daten auf die Software Talend. Talend ist einer der Weltmarktführer im Bereich der ETL-Werkzeuge und hat sich auf die Integration großer Datenmengen spezialisiert.

In zahlreichen Projekten spielen neben Sachdaten vor allem Geodaten eine entscheidende Rolle. Diese haben besondere Anforderungen, die bis dato in ETL-Werkzeugen wie Talend nur ansatzweise berücksichtigt sind. Häufig musste für die Verarbeitung von Geodaten auf zusätzliche Werkzeuge zurückgegriffen werden. So entstand der Wunsch nach einem Tool, das sich so nahtlos wie möglich in den bewährten Talend-Prozess einzubinden lässt, so dass der Nutzer eine einheitliche Arbeitsweise für alle Daten anwenden kann.

Deshalb hat Disy das Plug-in GeoSpatial Integration für Talend entwickelt, das im Zusammenspiel mit der Software von Talend Daten vom Typ „Geometrie“ erkennt und zusätzliche Kalkulatoren und räumliche Operatoren bereitstellt. Dadurch können alphanumerische Daten geometrisch angereichert und Geodaten einfach in Datenintegrationsprozesse eingebunden werden. In die Entwicklung flossen bei Disy zwei Grundüberlegungen ein: Zum einen kennen wir aus zahlreichen Projekten genau die Anforderungen für die Verarbeitung von Geodaten in einem Datenintegrationsprozess und könnten durch unsere Erfahrung ein schlankes Werkzeug schaffen, das passgenau das Thema Geodaten in Datawarehouse-Projekten abdeckt. Zum anderen haben wir in unseren Kundenprojekten einen hohen Bedarf an effizienten Lösungen gesehen. Die Datenmenge steigt konstant und ist ohne entsprechende Werkzeuge nur mit hohem Personalaufwand zu nutzen.

Nahtlose Erweiterung der Talend-Werkzeugleiste mit zusätzlichen Geooperationen
Das neue Plug-in wird in die Talend-Umgebung direkt eingebunden und erweitert somit die vorhandene Werkzeugleiste nahtlos. Der Benutzer sieht die zusätzlichen Datenquellen sowie die neuen Operatoren, die er per Drag-and-drop in das Arbeitsfenster übernehmen kann. Abhängig von der aktuell genutzten Komponente kann er weitere Einstellungen vornehmen oder zusätzliche Berechnungen durchführen.

Weit verbreitete relationale Datenbanken wie Oracle oder PostgreSQL unterstützen bereits seit einigen Jahren mit Oracle Locator/Spatial oder PostGIS räumliche Datentypen und Operatoren für die Verarbeitung von Geodaten. Mit dem von Disy entwickelten Plug-in GeoSpatial Integration für Talend können nun diese Geodaten direkt mit eingebunden werden. Konkret unterstützt das Plug-in aktuell folgende Datenbanken und Formate: Oracle Locator und Spatial, PostgreSQL mit PostGIS, SQLite mit SpatiaLite sowie Shapefiles und WKT (Well-Known-Text). Weitere Connectoren für SAP HANA oder ArcGIS Server werden folgen.

Hinzu kommen eine Vielzahl an Komponenten und räumlichen Operatoren, mit deren Hilfe Geooperationen durchgeführt werden. Hierzu zählen Längen- und Flächenberechnungen, die Umwandlung von X-, Y- und Z-Koordinaten in 2D/3D-Punktgeometrien, die Berechnung von Centroiden, die Pufferung von Punkten, Linien und Flächen, die Verschneidung von Geometrien, die Berechnung einer Bounding Box (envelope) oder einer konvexen Hülle einer oder mehrerer Geometrien, die Verbindung von Punkten zu Linien bzw. von Linien zu Flächen sowie die Transformation der Koordinaten zwischen unterschiedlichen Koordinatensystemen, die algorithmische Vereinfachung von komplexen Geometrien oder gar die Validierung von Eingangsdaten (z. B. Shapefiles).

Effizienzsteigerung und Kostenreduktion durch Einheitlichkeit
Für den Aufbau von Data Warehouses oder Auswertedatenbanken mit Geodaten ergeben sich durch diese Lösung zwei zentrale Vorteile: (1) Alle benötigten Datenarten können ohne Technologiebruch mit einem statt wie bisher mit mehreren Werkzeugen verarbeitet werden. Dies spart organisatorischen Aufwand zur Zusammenführung der Werkzeuge, reduziert den Einarbeitungsaufwand und stellt ein konsistentes Vorgehen bei alphanumerischen Daten und Geodaten sicher. (2) Bewährte und praxiserprobte ETL-Technologien, wie sie von Talend bereits für Sachdaten angeboten werden, können nun auch für die Geodatenverarbeitung genutzt werden. Neben der sehr umfassenden Menge an Datenquellen, Komponenten und Routinen, die mit GeoSpatial Integration mitgeliefert werden, gehören hierzu vor allem auch Funktionen, die Talend bereits mitbringt. Besonders hervorzuheben sind hierbei Funktionen zur Versionsverwaltung, zum Metadatenmanagement, zum Arbeiten in verteilten Teams und Releasemanagement, zum Refactoring sowie zur zentralen Administration, dem Load-Balancing oder sogar der Big-Data-Verarbeitung.

Talend – ein „Leader“ im Bereich Datenintegration
Talend hat sich auf die Integration von großen Datenmengen bis hin zu BigData und Streaming Data spezialisiert und ist inzwischen auch ein weltweit führendes Unternehmen in den Bereichen BigData- und Cloud-Integrationslösungen. Im Jahr 2016 wurde Talend in diesem Zusammenhang sogar in den „Magic Quadrant for Data Integration Tools“ von Gartner als ein „Leader“ im Bereich Datenintegration aufgenommen.

Kostenlos: Download & Webinar
Für Talend Open Studio wird die Nutzung des Plug-ins GeoSpatial Integration ab April kostenlos zur Verfügung gestellt, so dass Sie die Anwendung testen und in kleineren Szenarien direkt nutzen können. Für Unternehmen und Behörden, die die Lösung in Produktivsystemen oder zusammen mit Talend Data Integration oder der Talend Data Management Platform einsetzen möchten, wird ein jährliches Abonnement (Subscription) für professionellen Support und Zusatzfunktionen zur Datenqualität, Visualisierung etc. angeboten.

Wenn Sie Talend und GeoSpatial Integration für Talend ausprobieren möchten, können Sie sich unter www.disy.net/geospatial registrieren und wir informieren Sie, sobald das Plug-in zum Download zur Verfügung steht. Dort informieren wir Sie auch über das anstehende Webinar und weitere Schulungsmöglichkeiten zu Talend und unserem neuen Plug-in.


Weitere Fragen beantwortet Ihnen gerne Dr. Wassilios Kazakos (Tel. +49 721 16006-000, E-Mail: wassilios.kazakos@disy.net).

 

Abb. 1: Mit dem von Disy entwickelten Geo-ETL Plug-ins 'GeoSpatial Integration für Talend' können nun auch Geodaten im weltweit führenden ETL-Werkzeug Talend bearbeitet werden. Im vorliegenden Beispiel wurden Schiffsrouten anhand von GPS-Positionen visualisiert.  Abb. 2: Das Plug-in GeoSpatial Integration für Talend fügt sich nahtlos in die Werkzeugleiste von Talend ein, so dass dort alle Geooperationen ohne Technologiebruch zur Verfügung stehen.  Abb. 3: Im Jahr 2016 wurde Talend in den „Magic Quadrant for Data Integration Tools“ von Gartner als ein „Leader“ im Bereich Datenintegration aufgenommen. (Quelle: Gartner, August 2016)
Abb. 4.: Oberfläche der Talend Software: Der ETL-Prozess wird grafisch zusammen mit geographischen Komponenten abgebildet und Workflows angestoßen.   

Weitere Informationen:


 
 
 
 
 

Impressum    |    Datenschutz    |    Home

© Disy Informationssysteme GmbH