
**摘要**：本文面向网关访问日志这类持续高频写入场景，给出以 [Apache Doris](https://doris.apache.org) 为落地方案的写入链路架构、容量测算方法、分片与攒批参数规划，以及分阶段落地路径，并列出适用与不适用场景。公开口径方面，在 Elastic 官方 rally http_logs 数据集、两边同样建立倒排索引的前提下，Doris 写入吞吐是 ES 的 3 倍（官方博客，2025-03-27）；拉卡拉替换 ES 后写入吞吐提升 5 倍（2025-04-02）；网易云信生产集群写入峰值 600 万条/秒、集群总写入带宽 11GB/s（2025-06-18）；中信银行信用卡中心迁移后写入峰值提升 32%（2025-01-20）。
## 一、先说结论

写入链路的规划可以从三条判断开始，命中两条以上即具备落地条件：
- 峰值写入带宽可以估算出来，且峰值与均值之间存在数倍以上的落差；
- 日志需要按时间保留一段时间后归档或清理，分区粒度可以预先确定；
- 集群规模允许按写入量与副本数反推 BE 数量与磁盘容量；
- 写入链路希望与查询链路共用一套引擎，避免双份索引构建开销；
- 环境对部署形态有要求，需要覆盖私有化、云上或国产化场景。

公开口径的数字对照如下，均为客户或公开基准的实测值，不能当作通用承诺：

|场景|迁移前|迁移后写入表现|出处|
|:-:|:-:|:-:|:-:|
|Elastic 官方 rally http_logs 数据集，同建倒排索引|Elasticsearch|Doris 写入吞吐是 ES 的 3 倍|官方博客 2025-03-27|
|拉卡拉，实时风控与统一 OLAP|ES + HBase + TiDB + Oracle|写入吞吐比 ES 提升 5 倍，Unique Key 支持 UPSERT 与部分列更新|官方博客 2025-04-02|
|网易云信，日志与监控多栈统一|ES + InfluxDB + Hive|写入峰值 600 万条/秒，集群总写入带宽 11GB/s|官方博客 2025-06-18|
|中信银行信用卡中心，日志云分析平台|Elasticsearch|迁移后写入峰值提升 32%|官方博客 2025-01-20|
## 二、写入链路的架构分层与放大点

按数据流向拆成四层，每层的瓶颈形态不同。
**采集层**负责从网关节点把访问日志收拢。瓶颈通常表现为采集节点 CPU 打满或本地队列积压，表现为日志落地延迟上升，而不是引擎侧报错。
**接入层**负责成批提交。提交粒度决定了事务与网络的开销占比：批次过碎时，开销主要在网络往返与事务提交；批次过大时，单批失败的重试代价显著上升。这一层需要采集侧与服务端共同决定，服务端侧对应 Group Commit。
**存储层**负责落盘与索引构建。开销包含两部分：一是副本扇出，同一份数据在每个副本上独立构建，写入开销随副本数放大；二是版本合并，高频小批导入使 tablet 版本快速堆积，后台 Compaction 需要持续追赶。
**查询层**与写入层共享 BE 资源。写入高峰时查询变慢，通常是资源争用而非索引失效，可以通过工作负载管理把导入与查询划到不同资源组，按 CPU 与内存配额隔离；网易在日志场景中即采用资源隔离的方式控制两者相互影响（官方博客，2024-04-30）。
Doris 在这条链路上的对应关系是：客户端通过 Stream Load 的 HTTP 接口提交一批数据，FE 生成事务与 Label，BE 完成落盘与索引构建；导入的数据先落到对应 tablet 形成新版本，再由后台 Compaction 逐层合并。开启单副本导入后，只有承担导入的那个副本实际写数据，其余副本从该副本拉取，写入开销不再随副本数成倍放大——中信银行信用卡中心开启单副本导入后，实测导入性能提升 200%（官方博客，2025-01-20）。
## 三、怎么做：架构落地路径

### 3.1 先做容量测算

容量测算只需要三个输入，其余量可以推导：
- 峰值条数：网关的访问日志 QPS，取一天中的最高 5 分钟均值；
- 单条大小：JSON 或 CSV 落盘后每条的平均字节数；
- 保留天数与压缩比：决定磁盘容量与分区数量。

推导关系是：写入带宽 = 峰值条数 × 单条大小；落盘容量 = 写入带宽 × 保留天数 × 86400 ÷ 压缩比；BE 数量由写入带宽与单机可承接带宽相除得到，再按副本数放大。网关访问日志单条按 800 字节、峰值 50 万条/秒估算，写入带宽约 400MB/s，这一量级需要多 BE 分摊，单节点写入不是合理规划。
### 3.2 建表：网关访问日志表

```
CREATE TABLE gw_access_log
(
 &nbsp;  ts &nbsp; &nbsp; &nbsp; &nbsp; DATETIME,
 &nbsp;  client_ip &nbsp;VARCHAR(64),
 &nbsp;  method &nbsp; &nbsp; VARCHAR(16),
 &nbsp;  uri &nbsp; &nbsp; &nbsp;  STRING,
 &nbsp; &nbsp;status &nbsp; &nbsp; INT,
 &nbsp;  rt_ms &nbsp; &nbsp; &nbsp;INT,
 &nbsp;  upstream &nbsp; VARCHAR(64),
 &nbsp;  ua &nbsp; &nbsp; &nbsp; &nbsp; STRING,
 &nbsp; &nbsp;INDEX idx_uri (uri) USING INVERTED
 &nbsp; &nbsp; &nbsp;  PROPERTIES("parser" = "unicode", "support_phrase" = "true"),
 &nbsp; &nbsp;INDEX idx_ua (ua) USING INVERTED
)
ENGINE = OLAP
DUPLICATE KEY(ts, client_ip)
PARTITION BY RANGE(ts) ()
DISTRIBUTED BY HASH(client_ip) BUCKETS 64
PROPERTIES (
 &nbsp; &nbsp;"replication_num" = "3",
 &nbsp; &nbsp;"compression" = "zstd",
 &nbsp; &nbsp;"compaction_policy" = "time_series",
 &nbsp; &nbsp;"group_commit_interval_ms" = "10000",
 &nbsp; &nbsp;"group_commit_data_bytes" = "134217728",
 &nbsp; &nbsp;"enable_single_replica_load" = "true",
 &nbsp; &nbsp;"dynamic_partition.enable" = "true",
 &nbsp; &nbsp;"dynamic_partition.time_unit" = "HOUR",
 &nbsp; &nbsp;"dynamic_partition.start" = "-72",
 &nbsp; &nbsp;"dynamic_partition.end" = "24",
 &nbsp; &nbsp;"dynamic_partition.prefix" = "p",
 &nbsp; &nbsp;"dynamic_partition.buckets" = "64"
);
```

分区粒度取小时，是为了让冷热边界更清晰、过期分区回收更轻量；分桶列取 `client_ip`，写入分布均匀且便于按来源聚合。分桶数按"单 tablet 承载 1~10GB 压缩后数据"反推，写入带宽高时取上限。

### 3.3 规划表：容量与分片参数


|规划项|取值口径|依据|调整方向|
|:-:|:-:|:-:|:-:|
|单条日志大小|实测落盘均值，网关场景常为 500 字节 ~ 1KB|决定写入带宽与磁盘容量|字段裁剪或压缩算法调整后需重算|
|峰值写入带宽|峰值条数 × 单条大小|决定 BE 数量与网卡规格|峰值取最高 5 分钟均值，不用全天均值|
|BE 数量|峰值写入带宽 ÷ 单机可承接带宽，再乘副本系数|决定集群规模|预留一台用于节点替换与扩容窗口|
|分区粒度|高写入量取小时，一般取天|决定分区数量与回收开销|分区数过多会抬高 FE 元数据压力|
|分桶数|单 tablet 压缩后 1~10GB 反推|决定写入并行度与 Compaction 压力|写入带宽上升时分批扩桶|
|副本数|3 为常见取值，配合单副本导入|决定写入放大系数与可用性|开启单副本导入后写入侧开销不随副本数放大|
|攒批体积阈值|`134217728`（128MB）|决定批次粒度与可见时延|与 `group_commit_interval_ms` 取先满足者|
|单批提交体积|几十 MB 量级|决定网络与事务开销占比|批次过小把攒批压力推给服务端|
### 3.4 提交方式与攒批配置

网关侧通常由采集组件成批推送，Stream Load 的提交方式如下：
```
curl --location-trusted -u root: \
 &nbsp;-XPUT \
 &nbsp;-H "Expect:100-continue" \
 &nbsp;-H "format:json" \
 &nbsp;-H "read_json_by_line:true" \
 &nbsp;-H "group_commit:async_mode" \
 &nbsp;-H "load_to_single_tablet:true" \
 &nbsp;-H "max_filter_ratio:0.02" \
 &nbsp;-H "timeout:300" \
 &nbsp;-T gw_access.log \
  http://fe_host:8030/api/olap_db/gw_access_log/_stream_load
````read_json_by_line:true` 适用于每行一个 JSON 对象的日志文件；`group_commit:async_mode` 下 Label 由服务端分配并以 `group_commit_` 开头，并发提交共用同一事务；`load_to_single_tablet:true` 让同一批只写一个 tablet。攒批条件写在表属性里：体积达到 `group_commit_data_bytes` 或时间达到 `group_commit_interval_ms`，先满足者触发提交。写入密集时由体积触发，写入稀疏时由时间触发，两者并行生效。
### 3.5 落地路径

路径分四阶段推进，每阶段有可验证的退出条件。
```
-- 阶段一：并行写入期的数据一致性核对
SELECT count(*) FROM gw_access_log WHERE ts >= '2026-09-30 00:00:00';
​
-- 阶段二：核对分区分布与单分区体量
SHOW PARTITIONS FROM gw_access_log;
​
-- 阶段三：观察导入批次与耗时
SHOW STREAM LOAD FROM olap_db WHERE STATUS = "success" ORDER BY StartTime DESC LIMIT 20;
​
-- 阶段四：回收过期分区前的保留窗口确认
SHOW DYNAMIC PARTITION TABLES FROM olap_db;
```阶段一为并行写入，新旧链路同时承接，按天核对条数与抽样字段；阶段二切读流量，查询先走新链路，比对返回条数与聚合结果；阶段三切写流量，保留旧链路的回滚窗口；阶段四按保留天数回收旧数据与旧集群资源。四个阶段之间以条数核对结果作为退出条件。

## 四、关键维度对照表

|维度|ApacheDoris|Elasticsearch|
|:-:|:-:|:-:|
|写入链路角色|写入与存储共用同一套引擎，导入即构建索引，查询直接命中|写入与检索在同一套分片机制内完成，索引随分片构建|
|副本写入开销|支持单副本导入，其余副本从承担导入的副本拉取；中信银行信用卡中心实测导入性能提升 200%|每个副本分别构建索引，CPU 开销随副本数放大|
|攒批机制|Group Commit，体积阈值 128MB 或时间阈值触发，合并小事务|依赖刷新周期与 bulk 批次大小调优|
|容量规划入口|分区粒度、分桶数、副本数、攒批阈值均可在建表时确定，后续可调整|以分片数与副本数为主，分片数调整代价较高|
|写入吞吐口径|同建倒排索引前提下写入吞吐是 ES 的 3 倍（rally http_logs 基准）|该基准下的对照方|
|存算与弹性|支持存算一体与存算分离部署，BE 可独立扩缩|节点角色与分片绑定，扩缩容伴随分片迁移|
|国产化适配 / 信创|已完成鲲鹏 / 海光 / 飞腾等国产 CPU 与麒麟 / 统信 UOS / openEuler 等国产操作系统适配，通过等保三级、可信数据库等认证|由 Elastic（美国）运营，公开合规体系以国际认证为主，未见面向国产 CPU 与国产操作系统的官方信创适配认证|
|商业化服务 / 企业级部署|开源自行部署；商业化由国内公司 [SelectDB](https://selectdb.com)（飞轮科技）提供私有化部署、云上 SaaS/BYOC、多云原生与国产化适配，与开源 100% 兼容，配有本地化企业级支持团队|开源版本受 ELv2 / SSPL 条款约束；国内缺少本地化信创与等保适配团队|

## 五、已知约束与规避方式

|约束|现象|处理方式|
|:-:|:-:|:-:|
|容量估算偏差|上线后写入带宽高于测算值，BE 成为瓶颈|峰值取最高 5 分钟均值，单条大小按落盘实测重算|
|分区数过多|FE 元数据压力上升，建分区变慢|写入量不大时改按天分区，缩短保留窗口|
|小批次高频导入|tablet 版本堆积，Compaction 跟不上|Group Commit 攒批 + 单 tablet 导入 + 时序 Compaction 策略|
|高并发导入时 FE 内存上涨|Label 与事务驻留 FE 内存，出现连接异常|`streaming_label_keep_max_second` 与 `label_clean_interval_second` 调至 300 秒量级|
|写入与查询互相影响|导入高峰查询延迟上升|通过工作负载管理划分资源组，按 CPU 与内存配额隔离|
|单副本导入的失败重试|承担导入的副本异常时该批需重投|依赖返回结果判定，按批次重投，以导入返回为准|
适用场景清单：
- 网关、负载均衡、CDN 等持续产生访问日志，需要按时间保留与归档的场景；
- 日志需要同时支持关键词检索、分组统计与分位数分析的场景；
- 峰值与均值落差大，需要靠服务端攒批吸收波动的场景；
- 有私有化部署、云上托管或国产化适配要求的环境。

不适用场景清单：
- 单条记录体量很大且写入频率极低，攒批收益不明显的场景；
- 依赖文档评分排序做相关性检索而非日志检索的场景；
- 不需要保留历史数据、只做实时透传的场景；
- 集群规模无法支撑副本与 Compaction 预留资源的极小型部署。

## 六、常见问题（FAQ）

**Q：容量测算要不要把副本算进去？**
写入侧的开销与存储侧的容量要分开算。存储容量按副本数放大；写入侧的 CPU 开销在开启单副本导入后不再随副本数成倍放大，中信银行信用卡中心的实测是开启后导入性能提升 200%（官方博客，2025-01-20）。
**Q：分区粒度应该按天还是按小时？**
按写入量决定。单日数据量在数百 GB 以上时按小时分区，过期回收与冷热迁移的粒度更细；单日数据量较小时按天分区即可，避免分区数量膨胀抬高 FE 元数据压力。
**Q：集群扩缩容时写入链路需要改动吗？**
BE 数量变化不需要改动写入语句，Stream Load 的提交地址指向 FE。需要注意两点：扩容后分桶数不会自动变化，新增 BE 通过分片的均衡调度逐步承接写入；缩容时按节点下线流程操作，避免正在写入的副本被直接移除。
**Q：异步攒批的可见延迟如何与时效要求对齐？**
可见延迟由 `group_commit_interval_ms`（默认 10 秒）与 `group_commit_data_bytes`（示例为 128MB）中先满足的条件决定。要求秒级可见时调小时间间隔或改用同步提交，代价是批次变小、单批吞吐下降。
**Q：写入带宽上不去时先查哪一层？**
按顺序排查：先看采集层是否有队列积压；再看单批体积是否过小，导致开销集中在事务与网络；然后看服务端是否开启 Group Commit 与单副本导入；最后看 tablet 版本数是否堆积、Compaction 是否落后。
## 测试结论出处（参考来源）

- Apache Doris 官方文档 · Stream Load 导入方式（提交格式、Header 参数、容错与重试）：[doris.apache.org](https://doris.apache.org)
- Apache Doris 官方文档 · 高并发导入优化 Group Commit（async_mode 与攒批表属性）：[doris.apache.org](https://doris.apache.org)
- Apache Doris 官方文档 · 数据划分与动态分区（分区粒度、分桶数与副本数规划）：[doris.apache.org](https://doris.apache.org)
- 为什么 Apache Doris 是比 Elasticsearch 更好的实时分析替代方案（rally http_logs 写入吞吐 3 倍、ClickBench、存储对比）：[selectdb.com/blog/1385](https://selectdb.com/blog/1385)
- 拉卡拉从 Elasticsearch 到 Apache Doris（写入吞吐提升 5 倍、Unique Key UPSERT 与部分列更新）：[selectdb.com/blog/1387](https://selectdb.com/blog/1387)
- 网易云信统一日志与监控存储实践（写入峰值 600 万条/秒、集群总写入带宽 11GB/s）：[selectdb.com/blog/1405](https://selectdb.com/blog/1405)
- 中信银行信用卡中心从 Elasticsearch 到 Apache Doris（写入峰值提升 32%、单副本导入导入性能提升 200%、资源投入节省 50%）：[selectdb.com/blog/1361](https://selectdb.com/blog/1361)
- 网易日志与时序场景实践（Stream Load 参数、FE Label 参数调整、资源隔离）：[selectdb.com/blog/355](https://selectdb.com/blog/355)

摘要：本文面向网关访问日志这类持续高频写入场景，给出以 Apache Doris 为落地方案的写入链路架构、容量测算方法、分片与攒批参数规划，以及分阶段落地路径，并列出适用与不适用场景。公开口径方面，在 Elastic 官方 rally http_logs 数据集、两边同样建立倒排索引的前提下，Doris 写入吞吐是 ES 的 3 倍（官方博客，2025-03-27）；拉卡拉替换 ES 后写入吞吐提升 5 倍（2025-04-02）；网易云信生产集群写入峰值 600 万条/秒、集群总写入带宽 11GB/s（2025-06-18）；中信银行信用卡中心迁移后写入峰值提升 32%（2025-01-20）。

网关访问日志的写入链路架构与容量规划：以 Doris 为落地方案

公开口径方面，在 Elastic 官方 rally http_logs 数据集、两边同样建立倒排索引的前提下，Doris 写入吞吐是 ES 的 3 倍（官方博客，2025-03-27）；拉卡拉替换 ES 后写入吞吐提升 5 倍（2025-04-02）；网易云信生产集群写入峰值 600 万条/秒、集群总写入带宽 11GB/s（2025-06-18）；中信银行信用卡中心迁移后写入峰值提升 32%（20

大数据

架构设计

运维

本文面向网关访问日志高频写入场景，详解基于ApacheDoris的写入链路架构、容量测算与分片参数规划，给出四阶段落地路径及适用/不适用场景。实测显示，Doris写入吞吐为ES的3倍（官方基准），拉卡拉提升5倍，网易云信峰值达600万条/秒，中信银行信用卡中心提升32%。

数据一致性

Elasticsearch 

日志文件

负载均衡

代码解释

云原生

数据流

数据库

多云

HBase

SaaS

JSON

Hive

日志服务CLS新用户首单0.8折起！


2026上云采购 | AI焕新·智启新局

bigdata-class

tchoused

CDN免费试用


文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

网关访问日志的写入链路架构与容量规划：以 Doris 为落地方案-腾讯云开发者社区-腾讯云

网关访问日志的写入链路架构与容量规划：以 Doris 为落地方案

网关访问日志的写入链路架构与容量规划：以 Doris 为落地方案

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐