近日,DuckDB 悄悄发布1.4.2 LTS版,虽是小版本升级,但是这个vortex新式存储引擎的功能让人眼前一亮,同时也折射出AI领域使用DuckDB的趋势(当然在deepseek发布smallpond之后可能就显现了吧)。让我们来看看都有些啥。
1. 安全修复(强烈建议升级) 修复了数据库加密模块的 4 个严重安全漏洞,包括: * 密钥生成可能使用不安全的随机数。 * 内存清零操作可能被编译器优化掉。 * 攻击者可通过修改文件头,将加密模式从 GCM(带完整性校验)降级到 CTR(无校验),绕过完整性检查。 > **影响用户**:所有使用 DuckDB 数据库加密功能的用户,**强烈建议立即升级至 1.4.2 版本**。 2. **Iceberg 扩展重大功能增强** Iceberg 扩展支持了完整的 DML 操作,现在可以对 Iceberg 表进行: * **INSERT** (插入) * **UPDATE** (更新) * **DELETE** (删除) 这标志着 DuckDB 作为 Lakehouse 引擎的能力得到显著加强,能更好地与数据湖生态集成。 3. **日志(Logger)与性能分析(Profiler)功能升级** * **日志功能增强**:Logger 现在可以记录 HTTP 请求的耗时,便于分析外部数据源(如 Parquet 文件)的访问性能。 * **日志与分析打通**:Logger 可以接入 Profiler 的输出,将查询的执行时间等性能指标直接记录到日志表中,方便进行集中分析和监控。 4. **新增 Vortex 文件格式支持** * DuckDB 现在支持读写 **Vortex** 文件格式(通过 `vortex` 扩展)。 * Vortex 是一种专为高性能分析设计的列式存储格式,其设计目标是提供比 Parquet 更快的读取速度(尤其是随机访问)和更高的压缩效率。 **总结**:DuckDB 1.4.2 是一个以 **安全修复** 和 **功能增强** 为核心的 LTS(长期支持)版本。它不仅修复了关键的安全隐患,还通过增强 Iceberg 支持、升级日志分析能力以及引入 Vortex 新格式,进一步巩固了其在高性能、安全、易集成方面的优势。
Vortex的优势:
Vortex 存储的核心优势可归纳为“快、省、稳、易”四点:
1. 极速读取 • 随机访问比 Parquet 快 100–200 倍,全表扫描快 2–10 倍,适合交互式分析与实时查询。
2. 高压缩低占用 • 采用级联压缩 + 可插拔压缩策略,压缩比与 zstd-Parquet 相当,却显著减少存储空间。
3. 零拷贝无缝对接 • 与 Apache Arrow 零拷贝互转,避免序列化开销;支持 GPU 原位解压,未来可直接在 GPU 显存里解压数据,减少 CPU-GPU 间数据搬运。
4. 丰富编码与计算下推 • 内置 FastLanes、ALP、FSST 等先进编码,可按列灵活选择;支持过滤下推、延迟统计信息填充,进一步降低 I/O 与计算成本。
5. 分布式与流式友好 • 架构天生分布式,单表可扩展到 PB 级;统一 API 同时支持批与流,ACID 保证数据一致性。 一句话总结:Vortex 在保持高压缩率的同时,把列式存储的读取速度和生态兼容性都提升到新高度,尤其适合需要高频随机访问或 GPU 加速的大规模数据分析场景。
快试一试吧
