Databricks heeft de overname van datamanagement-leverancier Tabular aangekondigd. Deze overname brengt de makers van de open source data lakehouse-formats Apache Iceberg en Linux Foundation Delta Lake samen. De gecombineerde teams zullen zich richten op het creëren van een open standaard voor interoperabiliteit en datacompatibiliteit, waarmee organisaties niet langer beperkt worden tot specifieke dataformats.
Apache Iceberg en Delta Lake zijn veelgebruikte formats binnen data lakehouses, maar compatibiliteitsproblemen tussen de twee kunnen leiden tot gefragmenteerde en gesilo’de bedrijfsdata. Deze overname beoogt deze uitdagingen aan te pakken door een open standaard te ontwikkelen die bredere interoperabiliteit mogelijk maakt.
Databricks zal nauw samenwerken met de open source-communities van Delta Lake en Iceberg om deze standaard te realiseren. Dit proces zal naar verwachting meerdere jaren duren. Als onderdeel van dit initiatief introduceerde Databricks vorig jaar Delta Lake UniForm, een technologie die interoperabiliteit biedt tussen Delta Lake, Iceberg en Hudi. UniForm ondersteunt de Iceberg restful catalog interface en stelt bedrijven in staat hun bestaande analytics tools te blijven gebruiken.
Met de toevoeging van het Iceberg-team heeft Databricks grotere ambities, waaronder de ontwikkeling van een enkele open standaard voor datacompatibiliteit, wat een belangrijke stap zou zijn in het verminderen van datasilos en het bevorderen van een meer geïntegreerde data-infrastructuur.
