Cloud Data Warehouses: Neuer Benchmark als Entscheidungshilfe

Unter die Lupe genommen hat Fivetran gemeinsam mit der Brooklyn Data Co. folgende Cloud Data Warehouses: Amazon Redshift, Snowflake, Google BigQuery, Databricks und Azure Synapse. Die Ergebnisse präsentiert Fivetran in seinem neuen „Cloud Data Warehous Benchmark“:

• Alle untersuchten Data Warehouses überzeugen mit einer hervorragenden Ausführungsgeschwindigkeit und eignen sich für interaktive Ad-hoc-Abfragen.
• Alle Data Warehouses haben ihre Leistung seit dem letzten Benchmark im Jahr 2020 verbessert.
• Die größten Verbesserungen erzielte Databricks aufgrund einer neuen SQL-Ausführungs-Engine.
• Die Kosten sind bei allen fünf betrachteten Data Warehouses ähnlich niedrig.
• Die wichtigsten Unterschiede bestehen in den Designansätzen und den daraus resultierenden Qualitätsunterschieden mit Fokus entweder auf Optimierungsmöglichkeiten oder Benutzerfreundlichkeit.

Benchmark der Data Warehouses unterstützt bei der Auswahl

„Als Anbieter von Data Pipelines, die Daten aus Apps, Datenbanken und File Stores in die Data Warehouses unserer Kunden synchronisieren, werden wir häufig gefragt: Welches Data Warehouse ist für uns das Richtige? Deshalb haben wir jetzt zum zweiten Mal diesen Benchmark-Test durchgeführt. Mit den Ergebnissen können wir empfehlen, das Hauptaugenmerk bei der Auswahl eines Data Warehouses auf die Benutzerfreundlichkeit zu legen“, kommentiert George Fraser, CEO von Fivetran.

Basis für den Benchmark Report ist ein typischer Nutzer von Fivetran. Dieser synchronisiert Daten aus Salesforce, JIRA, Marketo, Adwords und aus seiner Oracle-Datenbank in sein Cloud Data Warehouse. Die Datenquellen sind nicht sehr groß, zudem enthalten sie üblicherweise höchstens einige hundert Gigabyte. Mit hunderten normalisierten Tabellen, die mithilfe komplexer SQL-Abfragen zusammengefasst werden, sind diese aber relativ komplex. Auch die Abfragen, die Fivetran gemeinsam mit Brooklyn Data durchgeführt hat, waren komplex: Sie umfassten zahlreiche Join-Operationen, Aggregationen und Unterabfragen. Für den Benchmark wurden 99 Abfragen sequenziell, also nacheinander, durchgeführt. Dabei kam jede Abfrage nur einmal zum Einsatz, um ein Zwischenspeichern auszuschließen.  

Fivetran automatisiert alle Datenbewegungen im Zusammenhang mit Cloud-Datenplattformen. Das gilt vor allem für die zeitaufwendigsten Teile des ELT-Prozesses (Extract, Load, Transform), von der Extraktion von Daten über das Handling von Schema-Drifts bis hin zu Daten-Transformationen. Damit können sich Data Engineers auf wichtigere Projekte konzentrieren, ohne sich um die Data Pipelines kümmern zu müssen. Mit einer Up-Time von 99,9 Prozent und sich selbst reparierenden Pipelines ermöglicht Fivetran datengestützte Entscheidungen in Unternehmen. (sg)

Lesen Sie auch: Intelligent Data Platform: Fivetran und Microsoft Azure erweitern ihre Partnerschaft