0927-DatabricksXTabular

數據智能相依偎 2024-06-08 15:50:41

當Snowflake大談特談Iceberg的互操作性時,Databricks卻直接收購了Tabular。

Databricks 已同意收購由 Apache Iceberg 創建者領導的存儲平台供應商 Tabular,以促進 Lakehouse 中的數據互操作性。

Tabular 創始人 Ryan Blue 和 Daniel Weeks 于 2017 年在 Netflix 開發 Iceberg,並于 2018 年將其捐贈給 Apache 軟件基金會,與此同時,Databricks 正在開發 Delta Lake,這是一種可用于 ACID 事務的開源數據表格式。

2022 年 6 月,Databricks 在其 Delta Lake 2.0 版本中開源了所有 Delta Lake API,並表示將把 Delta Lake 的所有增強功能貢獻給 Linux 基金會。

在 Delta Lake 開源之前,Cloudera、Dremio、谷歌(Big Lake)、微軟、甲骨文、SAP、AWS、Snowflake、HPE(Ezmeral)和 Vertica 等競爭對手都曾對該公司提出批評,懷疑 Delta Lake 是開源的還是專有的,從而搶走了一部分潛在客戶。

Databricks 表示,通過收購 Tabular,它將支持 Lakehouse 的兩種領先開源table format,並擴大對其 UniForm Tables 的支持。

該公司在一份聲明中表示:“Databricks 打算與 Delta Lake 和 Iceberg 社區密切合作,爲 Lakehouse 帶來格式兼容性;短期內,在 Delta Lake UniForm 內部實現;長期則朝著單一、開放、通用的互操作性標准發展。”

UniForm(Universal Format),是Databricks在2023年6月發布的一種新的table format,提供跨Delta Lake、Iceberg和Hudi的互操作性,並支持Iceberg restful catalog接口。

1 Snowflake+Iceberg vs. Databricks+Delta

分析師也將 Tabular 的收購視爲 Databricks 支持更強大互操作性的一種手段。

Omdia 首席分析師 Bradley Shimmin 表示:“我們之前看到,公司經常收購重要開源項目背後的人才,以此在項目的開發者社區中獲得更大的話語權。”

Shimmin 解釋道:“Tabular 的創始人加入 Databricks 可能意味著 Delta Lake 和 Iceberg 標准之間的兼容性得到提高,這樣對于支持數據是在Snowflake平台之外的客戶,Databricks將更有優勢。”

不過首席分析師指出,此次收購不太可能妨礙 Snowflake 使用 Iceberg,因爲 Blue 和 Weeks 早就將該項目開源並捐贈給了 Apache 軟件基金會。

Constellation Research 的首席分析師也認爲,Apache Iceberg 已經超越了所有其他標准,而 Databricks 爲table format創建互操作性的嘗試將進一步推動其成爲主導的table標准。

此外,分析師指出,競爭不僅僅存在于兩種開放table format之間,有可能是 Snowflake 和 Databricks兩家公司之爭。

Henschen 表示:“此次交易的時間點選擇顯然是爲了轉移公衆對Snowflake Summit的注意力,並試圖在開放性方面勝過競爭對手,暗示Databricks將對 Iceberg 標准以及 Delta Lake 的未來産生巨大影響。”

Snowflake 本周在其博客介紹了自家開源的 Polaris Catalog,Polaris Catalog 是在 Iceberg 之上構建的數據目錄,目的是爲了讓企業使用供應商中立(vendor-neutral)的可互操作的查詢引擎,並同時支持數據治理。

分析師認爲推出與 Databricks 的 Unity Catalog 類似的 Polaris Catalog 是 Snowflake 采用的一種策略,旨在從競爭對手 Databricks 那裏吸引data catalog用戶,同時增強其自身産品的吸引力。

Amalgam Insights 的首席分析師也贊同 Henschen 的觀點,並表示兩家數據湖提供商都在試圖證明他們更適合支持各種數據類型/格式的企業數據環境。

Park 解釋道:“Databricks 從這次收購中獲益良多,因爲它表明它可以支持 Iceberg,而 Iceberg 可以說是目前支持最多的table format。”他補充說盡管 Databricks 一直是自己開發項目(如Spark)的優秀開源貢獻者,但由于許多大型供應商的承諾,Iceberg 的貢獻者社區現在比 Tabular 大得多。

然而Henschen 指出,感興趣的人太多,任何一家公司都無法主導 Iceberg,盡管 Tabular 的收購可能會讓 Databricks 在 Iceberg 方面占據優勢。

2 Databricks與Snowflake的收購之爭

Databricks 最近一直在收購公司,今年 3 月早些時候,Databricks 收購了位于波士頓的 Lilac AI,以幫助企業探索和使用他們的非結構化數據來構建基于 AI 的生成式應用程序。

在此之前,Databricks 以 13 億美元收購了 LLM 和模型訓練軟件提供商 MosaicML,在 2023 年 6 月左右以增強其生成式 AI 産品。

在收購 Lilac AI 和 MosaicML 之前,Databricks于去年 5 月以未公開的金額收購了以人工智能爲中心的數據治理平台提供商 Okera。該收購預計將增強 Databricks 的數據治理能力,同時訓練和管理大型語言模型(LLM),例如其專有的開源 Dolly 2.0 LLM。

Snowflake 也一直在收購一些公司,不僅是爲了提升其生成式AI産品,也是爲了增強其數據管理能力。

該公司最新的收購是從可觀察性平台提供商 TruEra 購買資産,TruEra 是一家初創公司,也專門爲機器學習和LLM 提供生命周期管理功能。

去年 5 月,Snowflake以未公開的金額收購了位于加州山景城的初創公司 Neeva,旨在爲其數據雲平台添加基于人工智能的生成式搜索。

2023 年 2 月,Snowflake 收購了 LeapYear,以增強其data clean room能力。

就在收購 LeapYear 的一個月前,Snowflake 同意收購基于人工智能的時間序列預測平台提供商 Myst AI,這使得該公司三年內的收購數量達到七家。

原文參考:

https://www.infoworld.com/article/3715434/databricks-to-acquire-storage-platform-maker-tabular.html
0 阅读:0

數據智能相依偎

簡介:感謝大家的關注