Data Mesh: Wie sich damit das Potenzial von Data Analytics ausschöpfen lässt

Im Bereich Data Science & Analytics entwickeln sich die technischen Möglichkeiten kontinuierlich weiter. Wer ausschließlich auf die Herangehensweisen vergangener Jahre vertraut, wird abgehängt. Damit einhergehend verändern sich die Aufgabenstellungen der Teams für Data Science & Analytics. So müssen deren Arbeitsprozesse angepasst werden, um auf struktureller Ebene mit den technischen Entwicklungen Schritt zu halten. Aktuell in aller Munde ist zum Beispiel das Datenarchitektur-Framework Data Mesh, das von manchen Experten als wahrer Allheilsbringer betrachtet wird.

Data Mesh – Datenarchitektur-Hype der Stunde?

So vielversprechend dieser innovative Ansatz jedoch auch ist, gilt es dennoch bestimmte Punkte bei der Implementierung zu beachten, um die Agilität dieses Konzepts auch effektiv nutzen zu können. Data Mesh bietet großes Potenzial, hat aber noch keinen bereits etablierten Standard-Prozess zur Einführung. Beschließt man als Unternehmen auf das Paradigma Data Mesh umzusteigen, sollte folgender Prozess gewählt werden. Hierbei handelt es sich um einen Prozess, der immer durchlaufen werden sollte, wenn ein Unternehmen neue Technologien einführt.

Die für den Datenbereich Verantwortlichen müssen sich eingehend mit ihrer aktuellen Organisation auseinandersetzen, um zu verstehen, wo sie im analytischen Reifegrad stehen. Was sind die größten Herausforderungen, die sie daran hindern, den Wert, den sie heute aus ihren Daten ziehen können, zu maximieren? Und was sind die Geschäftsbereiche mit dem größten Potenzial, um mit diesem dezentralen Ansatz der Datenverarbeitung erste Erfolge zu erzielen?

Entscheidung über das richtige Betriebsmodell

Das erste und grundlegendste Teil des Puzzles ist die Entscheidung über das richtige Betriebsmodell. Dazu gehört, wie die Teams strukturiert werden, wo sie im Unternehmen angesiedelt werden und wie die Datenfunktionen untereinander und mit anderen Bereichen, wie z.B. dem Engineering-Team, zusammenarbeiten sollen. Es gibt kein Patentrezept für die Organisation Ihres Unternehmens, und es gibt viele verschiedene Ausformungen von Data Mesh, die von der Branche, dem Geschäftsmodell, der Produktart und der Unternehmensstrategie abhängen. Ein Start-up mit einer einzigen Produktlinie und ein Konzern mit einem Portfolio von mehreren Brands können beide Data Mesh mit der gleichen Technologie, aber mit völlig unterschiedlichen Organisationsmodellen nutzen.

Durch Data Mesh Autonomie und Agilität steigern

Einer der größten Vorteile von Data Mesh besteht darin, dass der Grad an Dezentralisierung höher ist als bei anderen Ansätzen wie zum Beispiel Data Warehouse. Dadurch verlagert sich die Verantwortung für die Erfassung und Verarbeitung spezifischer Daten mehr in die einzelnen Teams, wodurch diese dazu befähigt werden, selbstständiger zu entscheiden und zu arbeiten. Prozesse, die zuvor aufgrund von umfangreichen Abstimmungsschleifen sehr behäbig waren, werden dadurch enorm beschleunigt. Gleichzeitig werden für alle Mitarbeitenden geltende Richtlinien etabliert, die wie der zentrale Datenmarktplatz dafür sorgen, dass das gesamte Unternehmen Zugriff auf die vorhandenen Daten hat und diese auch möglichst einfach nutzen kann.

Dies ist besonders interessant, da es die Erstellung von konsolidierten Datenprodukten ermöglicht, die Daten aus verschiedenen Teams kombinieren, ohne dass eine direkte Interaktion mit diesen Teams erforderlich ist. Neue Anwendungsfälle können von den Teams unabhängig voneinander entwickelt werden, wobei die Daten von Teams aus dem gesamten Unternehmen genutzt werden können, ohne dass die traditionell hohen Kosten für den Abgleich und die Analyse der Daten anfallen. Dieser Part entfällt, da die Teams, um Teil der Data Mesh Struktur zu sein, ihre Datenprodukte gemäß einer Reihe zentraler Richtlinien wie detaillierter Dokumentation, Verwendungsmethode und Metadaten offenlegen müssen.

Technische Lösungen müssen die Agilität des Frameworks unterstützen

Entscheidet sich ein Unternehmen Data Mesh als Framework zu etablieren, muss aus meiner Sicht – falls nicht schon passiert – auch der Umstieg auf eine cloud-basierte Datenverarbeitungslösung vollzogen werden. Denn was nützt die agilste Struktur, wenn die komplexen Verarbeitungsprozesse der massiven Datenmengen aufgrund von veralteter Technik viel länger dauern als es theoretisch möglich wäre? Doch nicht nur die zeitliche Komponente spricht für eine cloud-basierte Lösung. Denn zum einen lässt sich sehr viel flexibler skalieren, je nachdem, welche Datenmengen für welchen Algorithmus bearbeitet werden müssen, und zum anderen kann ganz konkret der Return on Investment bestimmt werden: So sieht das Unternehmen die dezidierten Kosten, um ein bestimmtes Modell zu durchlaufen, welche sich anschließend mit dem expliziten Effekt dieses Modells auf das laufende Geschäft abgleichen lassen.

Neuausrichtung auf technisch-struktureller und personeller Ebene

Neben dieser für viele Unternehmen oftmals grundlegenden Neuausrichtung auf technisch-struktureller Ebene sollten ebenso weitreichende Veränderungen auf personeller Ebene vorgenommen werden. Was ich damit meine: Insbesondere Hypergrowth-Unternehmen müssen ihre Teams viel differenzierter aufstellen, die spezifischen Verantwortlichkeiten müssen basierend auf dem Verwendungszweck der Daten vergeben werden. In unserem speziellen Fall haben wir festgestellt, dass die Umstrukturierung unserer Data-Teams in drei einzelne Funktionen, nämlich Decision Scientist, Data Scientist und Analytics Engineer, die Zuweisung individueller Verantwortung und Zuständigkeiten während unseres Transformationsprozesses erleichtert hat.

Insbesondere die Einführung der Rolle des Analytics Engineers erwies sich als einer der Schlüssel zum Erfolg im Vergleich zu den traditionellen Rollen des Business Intelligence Developers oder des Database Engineers. Es stellte auch eine sehr große Herausforderung dar, für die neue Struktur externe Mitarbeitende zu finden und zu rekrutieren, da wir eine ganz spezifische Kombination von Fähigkeiten benötigten: Sie sollten Erfahrung im Engineering und mit neuen Technologien haben und dabei noch einen ausgeprägten Geschäftssinn besitzen. Alle Veränderungen, die wir auf unserem Weg vorgenommen haben, halfen uns jedoch, das Potenzial eines komplexen Ansatzes wie dem von Data Mesh zu erkennen. Und dieses Potential wollen wir in Zukunft maximal ausschöpfen.

Über den Autor: Manuel de Francisco ist Senior Director Data Science & Analytics bei Vinted, dem größten C2C-Marktplatz für Secondhand-Mode in Europa. Er verfügt über langjährige Erfahrung, Analytics-Teams zu managen und umfangreiche Projekte im Bereich Big Data zu konzipieren und umzusetzen. (sg)

Lesen Sie auch: Big Data mit gefährlichen Schwächen: Viele Firmen vernachlässigen die Datenqualität