大新闻 | Databricks收购Mooncake, 补齐AI Agent实时数据管道短板

大新闻 | Databricks收购Mooncake, 补齐AI Agent实时数据管道短板

大新闻! 恭喜Mooncake Labs被Databricks收购, 真没想到这么快! 也从侧面说明AI Agent对数据实时性的要求非常重要!

看过我公众号/github应该对Mooncake Labs不陌生, 他们率先推出了pg_mooncake插件, 在PG中整合了duckdb计算引擎和数据湖的能力, 让PG可以实时对外部世界的数据进行分析. 同时在第二个版本中大幅度调整其架构, 引入moonlink基础设施, 实时数据流和数据湖整合, 让pg/duckdb/kafka等上游流式数据可实时入湖, 同时通过moonlink与数据湖的桥接, PG依旧具备duckdb计算引擎和实时数据湖访问的能力.

更多信息可参考github文章( https://github.com/digoal/blog 点击阅读原文可访问 ):

• 《PostgreSQL 数据湖架构,列存储新贵 - pg_mooncake》
• 《猛料! 月饼(pgmooncake)进化了》
• 《内置列存储 vs 传统 ETL: pg_mooncake 与 CrunchyData 打起来了》
• 《既生瑜何生亮 | 有了 pg_duckdb/pg_mooncake 为什么还要 pg_parquet》
• 《PostgreSQL iceberg 实时数据湖表 by pg_mooncake + moonlink》
• 《DuckDB 读 iceberg 实时数据湖表 by duckdb_mooncake + moonlink》
• 《Mooncake-Labs 架构进化, 核心是 moonlink》

以下内容来自: https://theoutpost.ai/news-story/databricks-acquires-mooncake-to-revolutionize-data-infrastructure-for-ai-agents-20622/

Databricks收购了Mooncake Labs来增强其Lakebase数据库，承诺消除ETL管道，并将人工智能代理的数据处理速度提高100倍。

Databricks对Mooncake Labs的战略收购

领先的数据和人工智能平台公司Databricks宣布收购Mooncake Labs，这是一家专注于开发下一代数据基础设施技术的初创公司。此舉旨在徹底改變人工智慧代理和應用程式的資料處理，並承諾將代理人工智慧加速多達100倍。

问题：ETL管道和人工智能基础设施

许多运行PostgreSQL数据库的企业在分析运营数据或将其提供给人工智能模型时面临重大挑战。传统上，这个过程需要构建ETL（提取、转换、加载）数据管道，这些管道成本高昂、耗时，并且经常导致数据延迟。

随着代理人工智能的兴起，人工智能代理以“机器”速度生成和部署应用程序，当前的基础设施正在努力跟上。Databricks工程副总裁Nikita Shamgunov强调，其Neon平台上80%的数据库已经由代理创建，强调迫切需要一种新的方法。

Mooncake的革命性技术

Mooncake Labs为Databricks带来了两项关键技术：

• pgmooncake扩展：允许分析工作负载在PostgreSQL上运行。
• Moonlink：一个加速层，允许在面向行的PostgreSQL数据和柱状分析格式之间进行实时转换，而无需传统的ETL管道。

这项技术承诺使操作数据立即可用于分析和人工智能工作负载，对于常见数据移动操作，性能提高速度从10倍到100倍不等。

对Databricks的Lakebase和AI战略的影响

收购Mooncake Labs是为了增强Databricks的Lakebase，这是一个基于Postgres的OLTP数据库，于2023年6月推出。通过整合Mooncake的技术，Lakebase旨在为应用程序、分析和人工智能代理提供统一的基础。

Databricks的联合创始人兼首席架构师Reynold Xin用一个类比解释了这次收购的意义：“想象一下，过去，OLTP数据库总是有一条小管道......有了Mooncake和我们正在开发的其他东西，我们现在可以创建无限数量的管道，这些管道比单线程JDBC的东西大得多”。

竞争格局

这次收购将Databricks直接与云提供商托管的PostgreSQL产品对立，如谷歌的AlloyDB和亚马逊的Aurora。虽然这三个系统都提供了存储和计算的分离，但Databricks高管认为，他们的架构提供了根本优势。

随着数据基础设施格局的不断发展，Databricks的最新举措表明，它致力于保持人工智能驱动的数据解决方案的最前沿，有可能重塑数据库管理和人工智能应用程序开发的未来。

参考文献

https://venturebeat.com/data-infrastructure/databricks-set-to-accelerate-agentic-ai-by-up-to-100x-with-mooncake

https://www.crn.com/news/ai/2025/databricks-bolsters-lakebase-database-vision-with-latest-acquisition