Databricks versnelt de opzet van data lakehouses met Databricks Ingest

Met Databricks Ingest en nieuwe partnerintegraties kunnen datateams gemakkelijk data lakehouses opzetten, die de beste combinatie vormen van data lakes en data warehouses

| Databricks | 4 min | 24 februari 2020 16:06
Afbeelding: Evolutie data-lakehouse | Copyright: Databricks
Databricks, marktleider op het gebied van unified data analytics, integreert vanaf vandaag Databricks Ingest in hun Unified Data Analytics Platform. In combinatie met het Databricks Ingestion partnernetwerk kunnen datateams nu makkelijker databeheer, business intelligence (BI) en machine learning (ML) combineren in een data lakehouse, een nieuwe databeheermethode die de beste aspecten van data lakes en data warehouses verenigt.

Bedrijven moesten hun beschikbare data oorspronkelijk opsplitsen in traditionele, gestructureerde data en big data. Deze datasets werden vervolgens los van elkaar gebruikt voor BI- en ML-cases. Hierdoor werden de data lakes en data warehouses van elkaar gescheiden. Dat leidde tot trage verwerkingsprocessen en gefragmenteerde resultaten, die ofwel te vertraagd ofwel te incompleet waren om ze effectief in te kunnen zetten. Dit verandert met Databricks Ingest, waarmee klanten gemakkelijk vanuit verschillende databronnen hun data direct toe kunnen voegen aan Delta Lake: open source technologie om betrouwbare en snelle data lakehouses op te zetten. Het bijbehorende partnernetwerk bestaat uit ingebouwde integraties met Fivetran, Qlik, Infoworks, Steamsets en Syncsort, die het mogelijk maken om geautomatiseerd data in te laden. Azure Databricks klanten konden overigens al gebruik maken van de ingebouwde integratie met Azure Data Factory om data vanuit verschillende bronnen in te laden.

“Data-silo’s, trage processen en gefragmenteerde resultaten zijn allemaal belangrijke drijfveren in het overschakelen naar lakehouses,” zegt Ali Ghodsi, medeoprichter en CEO van Databricks. “Data lakehouses combineren de betrouwbaarheid van data warehouses met de omvang van data lakes om elke gewenste use case te ondersteunen. Om deze data-architectuur goed te laten werken, moet het makkelijk zijn om ieder type data in te laden. Databricks Ingest is een belangrijke stap in die richting.”

“Databricks ondersteunt onze machine learning en business intelligence in uiteenlopende aspecten van onze bedrijfsvoering, van auto-inventarisbeheer tot prijsvoorspellingen en technische werkzaamheden, door gebruik te maken van honderden terabytes aan data,” zegt Greg Rokita, Executive Director Technology bij Edmunds. “Onze visie op het gebied van data is volledig afgestemd op de lakehouse-methode. Delta Lake is het beginpunt van al onze machine learning en rapportageprocessen. We zijn enthousiast over Databricks Ingest: het zal het zeker makkelijker maken om data in ons Delta Lake te laden.”

Data uit applicaties als Salesforce, Marketo, Zendesk, SAP en Google Analystics, databases zoals Cassandra, Oracle, MySQL en MongoDB en bestandsopslagdiensten zoals Amazon S3, Azure Data Lake Storage en Google Cloud Storage kan eenvoudig gecombineerd worden in één data lakehouse voor alle BI- en ML-vraagstukken. Naast de vandaag aangekondigde netwerkpartners zullen binnenkort integraties met onder andere Informatica, Segment en Talend beschikbaar zijn.

Daarbij kunnen auto-laadmogelijkheden ingesteld worden waarmee data het lakehouse doorlopend binnenstroomt, zonder dat daarvoor onderhoud nodig is. Wanneer data uit verschillende cloudbronnen binnenkomt, slaat Databricks Ingest deze automatisch op in het lakehouse. Zo worden de verschillende data-silo’s doorbroken en kan data door verschillende teams binnen een bedrijf worden ingezet om datagedreven innovatie mogelijk te maken en toegevoegde waarde te leveren met data science, ML en BI.

Ook de partners van Databricks zijn enthousiast over Ingest

“Fivetran en Databricks stellen klanten in staat om big data en business context samen te brengen in één omgeving. Door onze technologieën te combineren zijn gebruikers in staat de nieuwste machine learning mogelijkheden te combineren met traditionele business intelligence, en dat allemaal in één data lakehouse,” zegt George Fraser, CEO van Fivetran.

“Qlik is marktleider in geautomatiseerde data-integratie met cloud data warehouses en data lakes. We hebben data uit meer dan 200.000 databases verhuisd binnen ’s werelds grootste bedrijven, met onze unieke Change Data Capture (CDC) technologie. Dankzij deze integratie kunnen onze klanten hun datalevering richting Delta Lake optimaliseren,” zegt Mike Capone, CEO bij Qlik. “Databricks gebruikers hebben nu betere toegang tot de data uit al hun enterprise-oplossingen inclusief mainframes, SAP, databases en data warehouses, door open data lakehouses aan Delta Lake toe te voegen.”

Lees voor meer informatie het artikel “What is a Lakehouse?” van brancheveteranen Ben Lorica, Michael Armbrust, Ali Ghodsi, Reynold Xin en Matei Zaharia voor meer inzicht in hoe data lakehouses de opvolgers zijn van data warehouses en data lakes. Lees ook het partnerblog van Qlik: “Qlik & Databricks: Join Forces to Accelerate Your Speed to Insights”.

Hoe vind je dit artikel?


Geef jij de eerste rating?

Content op basis van interesse of taal liever niet meer zien? Ga dan naar settings om eenvoudig je voorkeuren in te stellen.

Over Databricks

De missie van Databricks is datateams te helpen de meest complexe problemen op te lossen. Als marktleider in Unified Data Analytics helpt Databricks organisaties hun data gebruiksklaar voor analytics te maken, bedrijfsbeslissingen op basis van data te maken, en machine learning te implementeren om de concurrentie voor te blijven. Databricks is opgericht door de initiatiefnemers van populaire open sourceprojecten, waaronder Apache Spark, Delta Lake en MLflow.
Meer over Databricks

Disclaimer

Dit item is verkregen via óf is gebaseerd op een externe bron en valt daarmee buiten de verantwoordelijkheid van de redactie. Als het item een (gedeeltelijke) vertaling is van het origineel, dan is bij eventuele verschillen in betekenis het originele item leidend.
20191030101402.jpg
De grootste Nederlandse site over Android
20191029200614.jpg
Drive value with data
20200608191257.png
Dé leukste website op het gebied van zorg in Nederland
20191030103431.png
Conference by app developers, for app developers!
20200707165104.png
Meer meisjes en vrouwen in bèta, techniek en IT
20191029224512.jpg
Het no-nonsense internetbureau
20191030100036.png
Voor professionals met passie voor digitale revolutie!
© 2019-2021, alle rechten voorbehouden.
TechVisor
Het vizier op de tech industrie.