Data Automation bei der Dokumentation: Höhere Agilität für Datenarchitekturen

Pseudo-agile Strategien sind heute im Data Warehousing üblich. Oft arbeiten Teams in Sprints mit Scrum-Meetings und ähnlichem. Allerdings tippen die meisten Entwickler immer noch jede Codezeile von Hand und arbeiten mit ETL-Technologie aus den 90er Jahren. Während die Fristen und Iterationen, die sie einhalten müssen, auf agile Zeitrahmen ausgerichtet sind, sind die Werkzeuge und Methoden, die sie verwenden, nicht agil, was von Nachteil ist. Nur selten wird bei der Definition von Sprints ausreichend auf die Dokumentation geachtet. Unter diesen Einschränkungen stehen die Entwickler immer unter Zeitdruck und müssen Abkürzungen nehmen, um ihren Code abzuliefern. Die Dokumentation ist dabei stets das erste, was vernachlässigt oder ganz fallen gelassen wird. Einen Ausweg bieten Tools für Data Automation.

Data Automation: Dokumentation verringert Produktivität der Entwickler

Die Notwendigkeit, die Dokumentation zu schreiben, hemmt die Produktivität in mehrfacher Hinsicht. Wenn Entwickler regelmäßig Pausen machen, um zu dokumentieren, was sie getan haben, müssen sie ihren Arbeitsfluss unterbrechen und schreiben weniger Code. Schieben sie die Dokumentation auf, um beispielsweise am Montag den Code der letzten Woche zu dokumentieren, führt dies dazu, dass sie eine Menge von dem, was sie getan haben, vergessen. Und je produktiver Entwickler waren, desto mehr haben sie zu vergessen.

In einer Arbeitskultur, die auf Kurzfristigkeit ausgelegt ist und in der es darum geht, Code pünktlich zum Abgabetermin zu liefern, wird die Dokumentation als ein Nice-to-have angesehen und vielleicht nicht einmal von den Verantwortlichen für Data Governance geprüft. Erst im Nachhinein, wenn die Architekturen Unsauberkeiten aufweisen und schwer zu warten sind, oder wenn einer der Entwickler das Unternehmen verlässt und eine neue Fachkraft kommt, um ihn zu ersetzen, zeigt sich der Wert einer genauen, standardisierten Dokumentation.

Nachhaltigkeit von Datenarchitekturen

Aktuelle Tools für Data Automation ermöglichen mehr Flexibilität und einen wesentlich einfacheren Wechsel der Zieldatenbank als früher. Die Wahl der Datenbank ist nicht mehr eine Entscheidung für zehn Jahre. Das bedeutet auch, dass Entwickler nicht mehr komplett neu anfangen müssen, wenn der Modellierungsstil gewechselt werden soll. Der Code, den Entwickler jetzt schreiben, kann je nach Bedarf angepasst werden und über viele Jahre hinweg Bestand haben. Aus diesem Grund muss er zuverlässig sein, um den Test der Zeit zu bestehen, was auch für die Art und Weise gilt, wie er dokumentiert wird. Architekturen müssen Personen und Datenbanken überdauern; wenn also ein Entwickler aus dem Unternehmen ausscheidet, muss der Code nahtlos an einen Kollegen weitergegeben werden können.

Vorteile einer Dokumentation mit Data Automation

Mit moderner Software für Data Automation wird das Dokumentationsproblem komplett aus dem Zeitplan von Entwicklern entfernt, sodass sie sich auf höherwertige Aufgaben konzentrieren und Agile-Termine ohne Abstriche einhalten können. Alles, was sie tun müssen, ist, auf eine Schaltfläche zu klicken, und ihre gesamte Arbeit wird in einer Detailliertheit dokumentiert, für die sie sonst viele Stunden benötigen würden.

Software für Data Automation ist Metadaten-gesteuert. Das heißt, dass die Benutzeroberfläche eine vereinfachte Manifestation aller Metadaten darstellt, die sich dahinter befinden und dafür sorgen, dass das Data Warehouse so funktioniert, wie es dargestellt wird. Diese Out-of-the-Box-Dokumentation bedeutet, dass jede Aktion von Benutzern sowie jedes Element und jede Struktur innerhalb der Architektur gespeichert wird, wie:

• der Programm-Code selbst
• Listen von Spalten und Objekten, wer sie erstellt hat, ob sie in bestimmten Jobs enthalten sind und so weiter
• Transformationen
• Datenherkunft (Data-Lineage) rückwärts und vorwärts: Woher kamen die Daten und wohin gingen sie nach diesem Punkt?
• Datentypen und alle Informationen über das aktuelle Objekt, das gerade betrachtet wird
• Interaktionen zwischen den verschiedenen Objekten innerhalb der Architektur

Tiefgreifender Einblick und schnelle Fehlerbehebung

Die Dokumentation durch Data Automation ist wie eine Roadmap, die durch das Projekt, an dem Entwickler gearbeitet haben, zurückgeht. Sie stellt Hyperlinks zu jeder Phase des Prozesses bereit, sodass Entwickler hineinklicken und den Code und die Struktur sehen können. Sie bildet alles ab, was Entwickler manuell erstellen sollten, aber aus den verschiedenen, gerade genannten Gründen oft nicht tun. Und zwar so tiefgreifend, dass die manuelle Erstellung zu zeitaufwändig wäre, um gleichzeitig die Produktivität beim Schreiben von Code zu erhalten.

Entwickler müssten eine detaillierte Tabelle und anschließend entsprechende Flussdiagramme mit einem Tool wie Visio erstellen. Dies für eine gesamte Architektur zu tun, würde ohne eine Automatisierungslösung monatelange Arbeit kosten. Eine solch umfassende Dokumentation bedeutet, dass Fehler viel schneller gefunden und behoben werden können. Anstatt schlecht dokumentierten Code von Hand durchgehen zu müssen, um den Fehler zu finden, hebt die Automatisierungslösung fehlerhaften Code in Rot hervor. Dadurch wird nicht nur das Problem schnell gefunden. Es wird auch verhindert, dass man an gutem Code arbeitet, der fälschlicherweise als fehlerhaft diagnostiziert wurde.

Data Automation: Beseitigung banaler, redundanter Aufgaben

Bei der Diskussion der Vor- und Nachteile von Data Automation ist es wichtig, im Blick zu behalten, dass die menschliche Kreativität immer noch an erster Stelle steht. Sie wird durch Automatisierungstools ergänzt, die sich wiederholende, manuelle Arbeiten beseitigen. Dadurch wird Entwicklern ermöglicht, weniger zu ermüden und damit kreativer zu sein. In vielen Bereichen des Data Warehousing sind Kreativität und Fingerspitzengefühl jedoch unerwünscht und sogar schädlich. Die Dokumentation ist genau die Art von banaler, sich redundanter Arbeit, die sich für die Automatisierung ideal eignet. (sg)

Lesen Sie auch: Infrastructure as Code: Warum der Ansatz für die Automatisierung unverzichtbar ist

Über den Autor: Thomas Heuer ist Senior Account Director EMEA bei WhereScape, einem Software-Anbieter für Data-Warehouse-Automatisierungen, um Dateninfrastrukturen schneller zu zu entwickeln, zu implementieren und zu betreiben. Heuer spielt seit 2018 eine wichtige Rolle beim Aufbau der wachsenden Präsenz des Unternehmens im DACH-Markt. Von seinen Kollegen liebevoll „Dr. DACH“ genannt, hat sein Sinn für Humor, seine Professionalität und sein Produktwissen dazu beigetragen, ausgezeichnete Beziehungen zu Kunden und Partnern aufzubauen.