Databricks introduceert data lineage voor Unity Catalog

Nieuwe data lineage-functionaliteit biedt klanten meer transparantie en geeft hen proactieve controle over hoe data wordt gebruikt in hun lakehouse

| Databricks | 3 min | 10 juni 2022 11:37
Afbeelding: Data Lineage voor tabellen | Copyright: Databricks
Databricks, data- en AI-leider en pionier van de lakehouse-architectuur, kondigt vandaag data lineage (‘dataherkomst’) aan voor Unity Catalog, waarmee de mogelijkheden voor datagovernance voor het lakehouse aanzienlijk worden uitgebreid. Data lineage beschrijft hoe data door een organisatie stroomt. Met deze nieuwe functie van Unity Catalog kunnen klanten inzicht krijgen in de herkomst van hun data in hun lakehouse, in wie de data heeft aangemaakt en wanneer, hoe de data in de loop der tijd is gewijzigd, hoe de data wordt gebruikt, en nog veel meer. Data lineage voor Unity Catalog is nu beschikbaar als preview op AWS en Microsoft Azure.

Organisaties hebben te maken met een toevloed aan data uit verschillende bronnen. Het is buitengewoon lastig om te overzien waar die data vandaan komt, hoe die beweegt en verandert, wie er toegang toe heeft, en hoe de data wordt gebruikt. Toch is dat inzicht van het grootste belang voor het vertrouwen en om risico’s goed te kunnen inschatten. Dankzij data lineage voor Unity Catalog hebben datateams alle toepassingen verderop in het proces in beeld die de gevolgen merken van datawijzigingen - applicaties, dashboards, machine learning-modellen of datasets, enz. - en krijgen ze eenvoudig inzicht in de ernst van de impact zodat ze snel de relevante betrokkenen op de hoogte kunnen stellen van wijzigingen.

Data lineage stelt datagebruikers zoals data-scientists, data-engineers en data-analisten, in staat om, rekening houdend met de context, analyses uit te voeren. Dat zorgt voor kwalitatief betere uitkomsten. Bovendien kunnen data-stewards zien welke datasets niet meer worden gebruikt of verouderd zijn, zodat overbodige data buiten gebruik kan worden gesteld. Dit vermindert risico's en zorgt er bovendien voor dat eindgebruikers alleen hoogwaardige data gebruiken. De nieuwe mogelijkheden binnen Unity Catalog geven bedrijven een compleet beeld van de totale levenscyclus van data. Daardoor hebben de verantwoordelijken voor de data inzicht in de manier waarop data wordt verzameld, of deze is bijgewerkt en welke processen zijn gebruikt.

"Governancefuncties zoals data lineage zijn van cruciaal belang bij het bouwen van het meest robuuste lakehouse-platform op de markt", zegt Matei Zaharia, medeoprichter en Chief Technologist bij Databricks. "Zonder goede data lineage is het lastig om de bedrijfs- en verificatieprocessen te blijven volgen die datagedreven organisaties nodig hebben om succesvol te zijn. Wij willen ervoor zorgen dat onze klanten zich kunnen richten op inzichten, en over kunnen gaan op proactief datamanagement door middel van een eenduidig, transparant beeld van hun gehele data-ecosysteem."

De belangrijkste kenmerken van Unity Catalog zijn onder meer geautomatiseerde run-time lineage om alle in Databricks gegenereerde lineage vast te leggen. Dat biedt meer accuratesse en efficiëntie in vergelijking met het handmatig taggen van data. Deze informatie wordt vastgelegd voor tabellen, doorzichten en kolommen en geeft een gedetailleerd beeld van de upstream en downstream datastromen. Bovendien werkt lineage in alle workloads die door Databricks worden ondersteund, zoals SQL, Python, R en Scala en dat betekent dat alle data-persona's hun tools kunnen versterken met data-intelligentie en betere inzichten. Dit omvat ook het vastleggen van lineage voor invoer als notebooks, workflows en dashboards.

Data lineage helpt organisaties ook om beter te voldoen aan compliancenormen door het eenvoudiger te maken om datastromen bij te houden die onder de compliance-regelgeving vallen, zoals de AVG (of GDPR) of Amerikaanse regelgeving als de California Consumer Privacy Act (CCPA) of de Health Insurance Portability and Accountability Act (HIPAA). Juist de traceerbaarheid van data is een cruciaal element in een moderne data-architectuur waarmee klanten aan wettelijke vereisten kunnen voldoen.

Hoe vind je dit artikel?


Geef jij de eerste rating?

Content op basis van interesse of taal liever niet meer zien? Ga dan naar settings om eenvoudig je voorkeuren in te stellen.

Deel dit item
Over Databricks
De missie van Databricks is datateams te helpen de meest complexe problemen op te lossen. Als marktleider in Unified Data Analytics helpt Databricks organisaties hun data gebruiksklaar voor analytics te maken, bedrijfsbeslissingen op basis van data te maken, en machine learning te implementeren om de concurrentie voor te blijven. Databricks is opgericht door de initiatiefnemers van populaire open sourceprojecten, waaronder Apache Spark, Delta Lake en MLflow.
Meer over Databricks
Disclaimer
Deze content is verkregen via óf is gebaseerd op een externe bron en valt daarmee buiten de verantwoordelijkheid van de redactie. Als de content een (gedeeltelijke) vertaling is van het origineel, dan is bij eventuele verschillen in betekenis de originele content leidend.
20191030100036.png
Voor professionals met passie voor digitale revolutie!
20191029200614.jpg
Drive value with data
20191030101402.jpg
De grootste Nederlandse site over Android
20200707165104.png
Meer meisjes en vrouwen in bèta, techniek en IT
20200608191257.png
Dé leukste website op het gebied van zorg in Nederland
20191030103431.png
Conference by app developers, for app developers!
© 2019-2022, alle rechten voorbehouden.
TechVisor
Het vizier op de tech industrie.