Databricks lanceert Delta Live Tables

ETL-framework met een eenvoudige declaratieve benadering om betrouwbare data-pipelines op te zetten

| Databricks | 3 min | 5 april 2022 16:20
Afbeelding: Databricks Delta Live Tables screenshot | Copyright: Databricks
  • Dit ETL-framework is het eerste dat zowel automatisch de infrastructuur beheert als moderne software engineering-methoden toepast op data engineering
  • Met Delta Live Tables kunnen data engineers en analisten zich concentreren op het transformeren van data in plaats van het beheer van pipelines
Databricks, data- en AI-leider en pionier van het data lakehouse, lanceert vandaag Delta Live Tables: het eerste ETL-framework met een eenvoudige declaratieve benadering om betrouwbare data-pipelines op te zetten en de data-infrastructuur automatisch op schaal te beheren. De oplossing was sinds medio 2021 als preview beschikbaar voor selecte Databricks-klanten en is vanaf vandaag breed beschikbaar.

Doorgaans vergt het veel vervelend en complex handwerk om SQL queries om te zetten naar ETL-pipelines. Maar door met moderne software engineering-methoden de meest tijdrovende taken van data engineering te automatiseren, kunnen data engineers en analisten zich richten op hun datawerk in plaats van het onderhoud van pipelines.

Veel bedrijven die waarde uit hun data willen halen, huren dure, hoogopgeleide en moeilijk te vinden data engineers in om vertragingen en mislukkingen te voorkomen. Maar vertragingen of mislukte projecten worden vaak veroorzaakt door een ander probleem: het is ontzettend moeilijk om betrouwbare data pipelines te bouwen die geen nauwgezette werkprocessen en onderhoud vereisen. Zelfs op kleine schaal besteedt een data engineer het gros van zijn tijd aan tooling en het beheer van de infrastructuur om data pipelines operationeel te houden.

De oplossing voor kostbaar en complex handwerk

Delta Live Tables is het eerste en enige ETL-framework dat dit probleem oplost door moderne engineering-methoden te combineren met geautomatiseerd infrastructuurbeheer. Dit vereenvoudigt ETL-ontwikkeling omdat engineers eenvoudig de uitkomsten van data-transformaties kunnen beschrijven. Delta Live Tables begrijpt vervolgens de afhankelijkheden van de volledige data pipeline en automatiseert vrijwel al het complexe handwerk. Delta Live Tables laat data engineers tevens hun data als code behandelen en moderne software engineering best practices toe te passen zoals testen, foutafhandeling, monitoring en documentatie - dit alles om betrouwbare pipelines op schaal eenvoudiger te implementeren. Delta Live Tables biedt volledige ondersteuning voor zowel Python als SQL en is op maat gemaakt om zowel met streaming als batch workloads te werken.

Delta Live Tables wordt gebruikt bij toonaangevende bedrijven over de hele wereld, waaronder JLL, Shell, Jumbo en ADP. "Bij ADP zijn we onze human resource management-data aan het migreren naar een geïntegreerd data lakehouse. Delta Live Tables heeft ons team geholpen om kwaliteitscontroles in het proces te bouwen, en dankzij de declaratieve API's, ondersteuning voor batch en real-time SQL-workloads bespaart het ons team veel tijd en moeite in het beheer van onze data", zegt Jack Berkowitz, Chief Data Officer bij ADP.

"Delta Live Tables is zo krachtig omdat het iets kan wat niemand anders kan - moderne software engineering combineren met geautomatiseerd beheer van infrastructuur automatisch. Dit is een baanbrekende technologie die data-engineers en analisten productiever maakt dan ooit”, aldus Ali Ghodsi, CEO en medeoprichter van Databricks. “Delta Live Tables vergroot ook het bereik van Databricks, omdat het ieder type data-workload ondersteunt met een enkele API, waardoor geavanceerde data engineering-vaardigheden niet meer nodig zijn.”

Hoe vind je dit artikel?


Geef jij de eerste rating?

Content op basis van interesse of taal liever niet meer zien? Ga dan naar settings om eenvoudig je voorkeuren in te stellen.

Deel dit item
Over Databricks
De missie van Databricks is datateams te helpen de meest complexe problemen op te lossen. Als marktleider in Unified Data Analytics helpt Databricks organisaties hun data gebruiksklaar voor analytics te maken, bedrijfsbeslissingen op basis van data te maken, en machine learning te implementeren om de concurrentie voor te blijven. Databricks is opgericht door de initiatiefnemers van populaire open sourceprojecten, waaronder Apache Spark, Delta Lake en MLflow.
Meer over Databricks
Disclaimer
Deze content is verkregen via óf is gebaseerd op een externe bron en valt daarmee buiten de verantwoordelijkheid van de redactie. Als de content een (gedeeltelijke) vertaling is van het origineel, dan is bij eventuele verschillen in betekenis de originele content leidend.
20191029200614.jpg
Drive value with data
20200707165104.png
Meer meisjes en vrouwen in bèta, techniek en IT
20191030103431.png
Conference by app developers, for app developers!
20191030101402.jpg
De grootste Nederlandse site over Android
20191030100036.png
Voor professionals met passie voor digitale revolutie!
20200608191257.png
Dé leukste website op het gebied van zorg in Nederland
© 2019-2022, alle rechten voorbehouden.
TechVisor
Het vizier op de tech industrie.