S3-Compatible Object Storage Benchmark Report.pdf

基于 DuckDB/DuckLake/Iceberg 三引擎可复现基准测试，量化解析 RustFS 湖仓场景核心性能优势

当下企业数据湖、湖仓平台选型时，绝大多数存储基准测试仅采用原生 boto3 做单文件串行读写，只能单纯衡量原始带宽，完全无法还原 Iceberg、DuckLake 这类真实湖仓业务负载。湖仓系统重度依赖元数据遍历、快照生成、时间旅行、并发事务等操作，元数据层才是长期运行的核心瓶颈，简单 PUT/GET 测试不具备落地参考意义。

2026 年 6 月发布的《S3-Compatible Object Storage Benchmark Report》补齐了这一测试缺口。整套基准基于 DuckDB、DuckLake、Iceberg 三类业界主流湖仓引擎搭建真实业务负载，覆盖 1MB 小文件、32MB 大文件两类主流数据规格，包含只读、只写、并发混合 Heavy、ACID 事务、快照变更检测等全业务模式，累计产出 206 组可复现测试结果，每组配置执行 3 轮测试取均值与标准差，数据可信度高。

本次测试对比三款主流 S3 兼容存储：MinIO、LibreFS、RustFS。全文将基于报告实测数据，重点梳理 RustFS 在湖仓场景下的全方位性能优势，拆解性能领先底层架构根源，同时客观标注产品适用边界，为湖仓存储选型提供量化、可落地参考。

整套基准在单机 Docker 闭环环境运行，硬件规格为 DELL Precision 5520，i7-7820HQ 处理器、32GB 内存，操作系统 Windows 11 Pro，所有存储均部署 3 节点 Docker 集群，流量走本地 loopback 网络，消除跨机器网络波动对测试结果干扰。Python 版本 3.13.6，所有测试脚本开源，使用者可一键复现全部测试流程。

测试统一采集四类关键指标，兼顾吞吐、延迟、稳定性：

三、全场景量化数据：盘点 RustFS 全面领先的核心指标

本章节全部数据来源于基准测试原始报表，从 DuckDB 原生分析、DuckLake 事务湖仓、Iceberg 标准数据湖三大场景，直观呈现 RustFS 全方位性能优势。

3.1 DuckDB 原生列存负载：小文件吞吐直接翻倍，并发延迟大幅降低

1MB 小文件场景下，MinIO 写入吞吐量仅 6.6MB/s，LibreFS 6.7MB/s，RustFS 达到 13.2MB/s，吞吐性能实现 100% 翻倍。海量小文件场景下，Go 语言运行时频繁触发 GC 回收，大量短期对象造成持续 STW 停顿，持续拖累写入效率；Rust 依靠编译期内存管理，不存在运行时垃圾回收开销，小文件场景优势被完全放大。

32MB 大文件场景 LibreFS 吞吐量 28.8MB/s 小幅领先，RustFS 21.8MB/s 略高于 MinIO 20.2MB/s，大文件场景三者差距显著收窄，证明 RustFS 核心优势集中在碎片化文件负载。

无论 1MB、32MB 两种规格，RustFS 读取吞吐量均位列第一，同时性能标准差远低于竞品。1MB 文件读取 RustFS 标准差仅 ±1.2，MinIO 达到 ±3.5，LibreFS 高达 ±10.8。更低标准差代表长时间运行延迟波动更小，更适配对时序稳定性有要求的数据分析任务。

混合读写场景最贴近生产环境真实压力，MinIO 受 3 节点纠删码写仲裁机制限制，写入 P50 延迟高达 9.0s，每一次写入操作需等待全部节点完成同步，并发下阻塞严重；RustFS 无强制多节点同步仲裁，写入 P50 仅 0.77s，混合读写场景响应速度优势极其明显。

3.2 DuckLake 湖仓事务场景：ACID、时间旅行延迟全面占优

DuckLake 依靠本地 SQLite 隔离元数据层，可精准对比存储底层本身性能差异，所有测试下三款存储均实现 100% ACID 事务成功率，稳定性基础一致，但延迟差距显著：

对于需要频繁执行事务、版本回溯的业务，RustFS 能够显著缩短查询等待时间，提升数据分析迭代效率。

3.3 Iceberg 核心负载：元数据操作延迟低 2~8 倍，数据湖最优底座

Iceberg 是本次测试 RustFS 优势最突出的场景，Iceberg 所有元数据文件、快照清单全部存储在 S3，海量小文件 LIST 遍历、快照变更检测是大数据湖最核心的性能瓶颈，测试数据差距极具参考价值。

从业务落地视角来看，绝大多数流式数据湖会持续生成数万份小型 Parquet 文件，每次查询、快照合并都需要执行大量 LIST 请求，MinIO 中心化元数据架构会持续累积查询压力，而 RustFS 去中心化架构将元数据分散至全部节点并行检索，从底层消解元数据瓶颈。

3.4 综合得分榜单：RustFS 拿下 7/10 性能赛道第一名

报告内置 Winner Scorecard 综合评分体系，划分 10 大性能评估维度，最终结果显示：

综合评分直接印证，在湖仓体系主流业务负载下，RustFS 综合性能远超两款 Go 系竞品。

四、深挖 RustFS 性能领先两大底层根源

结合基准现象与存储架构差异，RustFS 能够在湖仓场景形成碾压级优势，核心来自两层底层设计加持。

4.1 Rust 无 GC 内存模型，彻底消除 STW 延迟毛刺

MinIO、LibreFS 基于 Go 语言开发，依靠运行时 GC 自动回收内存。在海量小文件并发读写场景，请求对象频繁创建销毁，GC 会周期性触发 Stop-The-World 全局停顿，造成不可控延迟毛刺，长时间运行后抖动会持续加剧。

Rust 依靠所有权、借用检查、生命周期机制，在编译阶段完成全部内存安全校验，程序运行阶段不存在垃圾回收线程，不会出现任何全局停顿。在连续数日不间断运行的湖仓任务中，IO 延迟曲线始终保持平滑，稳态性能优势无法被 Go 系存储追赶。

4.2 去中心化对等元数据架构，消解 LIST 检索瓶颈

MinIO 采用中心化元数据调度，所有文件列表、元数据信息集中存储在统一调度节点，当桶内文件达到百万、亿级规模后，LIST、快照遍历请求会持续挤压元数据节点资源，形成不可逾越的性能天花板。

RustFS 采用无独立元数据中心的对等集群架构，所有节点同时承担数据存储、元数据存储职责，LIST、元数据扫描请求可多节点并行执行，天然分摊海量小文件带来的检索压力，完美适配 Iceberg 高频元数据操作场景。

除性能层面领先外，RustFS 采用 Apache 2.0 宽松开源许可证，无 AGPLv3 协议的传染性约束。企业可自由二次开发、私有化部署、商业化产品交付，无需强制开源业务代码，对比 MinIO、LibreFS 大幅降低企业商用合规成本，兼顾性能与商业化落地自由度。

五、面向湖仓架构师：分场景选型建议

结合整套基准测试量化数据，针对不同业务负载给出清晰选型参考：

多数企业同时存在流式小文件湖仓与实时流业务，推荐分层集群架构：

依托可完整复现的三方 S3 存储基准测试，通过 DuckDB、DuckLake、Iceberg 三类真实湖仓引擎量化验证，RustFS 在数据湖核心小文件、元数据密集场景下，性能全面领先 MinIO 与 LibreFS，7/10 性能赛道拿下第一，Iceberg 各类元操作延迟低 2~8 倍，1MB 小文件写入吞吐量直接翻倍。

性能优势底层来源于两大核心设计：Rust 无 GC 编译期内存模型消除周期性延迟毛刺，去中心化对等元数据架构解决海量文件 LIST 检索瓶颈；同时 Apache 2.0 开源协议补齐商用企业合规短板，实现性能与商业化友好双重优势。

同时选型需理性区分业务边界，RustFS 在 LSM 树流式状态持久化场景存在一致性短板，可通过分层集群架构扬长避短。对于以 Iceberg 为核心、海量碎片化文件为主的湖仓平台，RustFS 是当前综合性价比最优的底层 S3 存储底座。

[1] S3-Compatible Object Storage Benchmark Report, Mojtaba, June 2026

[3] sepahram-school 湖仓存储基准测试开源工程 [EB/OL]. 

https://github.com/sepahram-school/workshops

三方权威压测出炉！RustFS 在 Iceberg 负载延迟比 MinIO 低 2~8 倍

基于 DuckDB、DuckLake、Iceberg 三引擎完整基准测试，量化对比 RustFS、MinIO、LibreFS 湖仓场景性能，详解 RustFS 小文件、元数据操作碾压级优势与底层架构原理。

数据库

云计算

开发工具

RustFS在湖仓场景性能全面领先，1MB小文件写入吞吐量翻倍，Iceberg元数据操作延迟降低2-8倍。基于Rust无GC内存模型和去中心化架构，有效解决海量小文件处理瓶颈，同时Apache2.0协议更利于企业商用。测试覆盖DuckDB、DuckLake、Iceberg三大引擎，验证RustFS在7/10性能指标中排名第一，是Iceberg数据湖场景最优存储选择。

数据分析

内存管理

数据中心

数据安全

数据存储

数据架构

数据湖

流数据

大数据

SQLite

Python

OLAP

2026上云采购 | AI焕新·智启新局

对象存储COS新用户低至1元！


腾讯云BI特惠9.9元起！


文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

RustFS在湖仓场景性能全面领先，1MB小文件写入吞吐量翻倍，Iceberg元数据操作延迟降低2-8倍。基于Rust无GC内存模型和去中心化架构，有效解决海量小文件处理瓶颈，同时Apache2.0协议更利于企业商用。测试覆盖DuckDB、DuckLake、Iceberg三大引擎，验证RustFS在7/10性能指标中排...

三方权威压测出炉！RustFS 在 Iceberg 负载延迟比 MinIO 低 2~8 倍

三方权威压测出炉！RustFS 在 Iceberg 负载延迟比 MinIO 低 2~8 倍

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐