- 综合排序
- 最热优先
- 最新优先
- 来自专栏架构师之路
500W数据，20Wqps分词检索，架构如何设计？
有水友提问： == 沈哥，我们有个业务，类似于“标题分词检索”，并发量非常大，大概20W次每秒，数据量不是很大，大概500W级别，而且数据不会频繁更新，平均每天更新一次，请问有什么好的方案么？ 针对“短文本”“500W数据”“不频繁更新”这些特性，还能使用“分词+内存hash”方案。
1K10编辑于 2023-01-04 - 来自专栏木东居士的专栏
从0写一个爬虫，爬取500w好友关系数据
0x00 前言 上一篇文章已经写了一部分数据获取和爬虫的内容，这篇文章我们一起来实现一个网络爬虫，用这个小爬虫来爬取500w的简书的粉丝关系对。 1. 因为爬简书封IP，而且自己不是特别继续这个数据，就用单进程来写了，跑几天就能爬下500w的数据。 0x03 零基础学爬虫的建议 目前这个小爬虫已经运行了三四天了，总共爬取了500w左右的关系对。 现在已经爬了500w左右的关系对数据，也在此基础上了玩了玩PageRank和社区划分的算法，也实现了相应MapReduce版本的算法，后面会一点点地写出来。
1.7K60发布于 2018-05-25 - 来自专栏why技术
一天500w啊！这属于秦始皇摸电门，赢麻了。
我第一次看到“羊了个羊”是前两天早上起来在刷牙的时候，打开微博准备看看，明星朋友们有没有为我准备什么新瓜让我吃吃。
49510编辑于 2022-11-01 - 来自专栏架构师之路
500W数据，每秒20W并发分词检索，架构如何设计？（第114讲，收藏）
《架构师之路：架构设计中的100个知识点》 114.高并发分词检索 沈哥，我们有个业务，类似于“标题分词检索”，并发量非常大，大概20W次每秒，数据量不是很大，大概500W级别，而且数据不会频繁更新，平均每天更新一次 针对“短文本”“500W数据”“不频繁更新”这些特性，还能使用“分词+内存hash”方案。
19610编辑于 2025-11-24 - 来自专栏JAVA葵花宝典
500w？都对也都不对！
以交友平台用户中心的user表为例，单表数据规模达到千万级别时，你可能会发现使用用户筛选功能查询用户变得非常非常慢，明明查询命中了索引，但是，部分查询还是很慢，这时候，我们就需要考虑拆分这张user表了。
1.5K20发布于 2021-06-17 - 来自专栏苦逼的码农
【面试现场】如何在500w个单词中统计特定前缀的单词有多少个？
题目：我有500w个单词，你帮忙设计一个数据结构来进行存储，存好之后，我有两个需求。 1、来了一个新的单词，需要判断是否在这500w个单词中 2、来了一个单词前缀，给出500w个单词中有多少个单词是该前缀 小史这次没有不假思索就给出回答，他学会了深沉。 ? ? （注：这里说的in不是单词，指的是in不是500w单词中的单词） 吕老师还没说完，小史就打断了他。 ? ? ? ? ? ? ? ? 找单词interest： ?
1.3K10发布于 2018-12-05 - 来自专栏数据分析与挖掘
python操作neo4j创建知识图谱模板
湖北阿深南高速公路发展有限公司 2000W级别交易 山东高速集团有限公司电子收费中心 湖北阿深南高速公路发展有限公司 2000W级别交易 山东高速集团有限公司电子收费中心 湖北阿深南高速公路发展有限公司 500W 级别交易 山东高速集团有限公司电子收费中心 湖北阿深南高速公路发展有限公司 500W级别交易 山东高速集团有限公司电子收费中心 湖北阿深南高速公路发展有限公司 500W级别交易 山东高速集团有限公司电子收费中心 湖北中交嘉通高速公路发展有限公司 2000W级别交易 湖北阿深南高速公路发展有限公司 湖南道岳高速公路实业有限公司 100W级别交易 湖北阿深南高速公路发展有限公司 湖南道岳高速公路实业有限公司 500W 级别交易 湖北阿深南高速公路发展有限公司 湖南道岳高速公路实业有限公司 100W级别交易 湖北阿深南高速公路发展有限公司 湖南道岳高速公路实业有限公司 500W级别交易 湖北中交嘉通高速公路发展有限公司 湖南道岳高速公路实业有限公司 2000W级别交易 山东高速集团有限公司电子收费中心 湖南道岳高速公路实业有限公司 500W级别交易 山东高速集团有限公司电子收费中心 湖南道岳高速公路实业有限公司 500W
86630发布于 2021-11-24 鸣潮基于全平台架构与500W PCU服务器集群的研发实践与性能优化
然而，实现这一目标面临显著的研发复杂度： 服务器压力： 需支撑高达 500W PCU 的服务器集群压力，且依赖外力不可行，必须在架构层面解决瓶颈。 达成500W PCU并发支撑与性能体验质变 通过技术架构的迭代与优化，项目在服务器稳定性与客户端性能上取得了可量化的成果： 服务器承载： 成功通过 500W PCU 的服务器集群压力测试，解决了高并发下的集群瓶颈 林晨晨，2024腾讯全球数字生态大会 · 鸣潮研发实践分享 依托腾讯资源响应与压测体系构建稳定服务 选择在腾讯生态下进行研发与合作，核心在于解决“资源”与“真实性”两大关键要素： 资源支撑： 面对 500W
5500编辑于 2026-05-30- 来自专栏Java核心技术
面试官：从 MySQL 数据库里读取 500w 数据行进行处理，应该怎么做更效益化？
批量处理数据 一般而言笔者认为在 Java Web 程序里，能够被称为大数据量的，几十万到千万不等，再高的话 Java（WEB 应用）处理就不怎么合适了 举个例子，现在业务系统需要从 MySQL 数据库里读取 500w 数据行进行处理，应该怎么做 常规查询，一次性读取 500w 数据到 JVM 内存中，或者分页读取 流式查询，建立长连接，利用服务端游标，每次读取一条加载到 JVM 内存 游标查询，和流式一样，通过 fetchSize 在大多数情况下，这是最有效的操作方式，并且由于 MySQL 网络协议的设计，因此更易于实现 假设单表 500w 数据量，没有人会一次性加载到内存中，一般会采用分页的方式 @SneakyThrows @Override loopResultSet(rs); log.info(" 流式查询耗时 :: {} ", (System.currentTimeMillis() - start) / 1000); } 流式查询库表数据量 500w ） 看起来，流式要比游标的方式更好一些，但是事情往往不像表面上那么简单 相对于游标查询，流式对数据库的影响时间要更长一些 另外流式查询依赖网络，导致网络拥塞可能性较大 2 流式游标内存分析 表数据量：500w
2.7K30发布于 2021-05-19 - 来自专栏Java技术栈
Redis 中 scan 命令踩坑，千万别乱用！！
当时想了下，具体方案是通过lua脚本来过滤出500w的key。然后进行删除动作。lua脚本在redis server上执行，执行速度快，执行一批只需要和redis server建立一次连接。 这样算起来，10分钟就能搞定500w的key。 然后，我就开始直接写lua脚本。首先是筛选。 500w数据量的key，只能增量迭代来进行。redis提供了scan命令，就是用于增量迭代的。这个命令可以每次返回少量的元素，所以这个命令十分适合用来处理大的数据集的迭代，可以用于生产环境。 ? 经过估算大概在12分钟左右能删除掉500w的数据。 知其然，知其所以然。虽然scan命令以前也曾玩过。但是的确不知道其中的细节。
10K60发布于 2021-05-11 - 来自专栏软件工程
如何设计可以动态扩容缩容的分库分表方案？
设计可以动态扩容缩容的分库分表方案其实就是对我们服务的发展做一定的评估,根据吞吐量来计算要求的数据库梳理(比如一个数据库服务器2000并发,我们预计达到1W就设计5个库),根据数据量大小计算表数据(比如一个表我们最多放500W 比如说假定一台数据库服务器可以承受2000写并发，一张表我们预计存500W数据，我们这个32个数据库，32张表，最多可以放32*500W约=40亿的数据，后面申请服务器资源的话也只是对并发数量进行扩容，
1.5K10编辑于 2021-12-24 - 来自专栏测试游记
2-性能测试知识面
搭建性能测试环境->性能测试脚本开发->性能测试脚本执行->结果分析与调优->测试报告与结果跟踪 性能测试准备 理解需求、测试计划、测试模型、工作量评估 了解架构(数据流) 要明确需求的性能指标 例如500w 访问量的并发 # 按照每天8小时有人访问 500w/8/3600=174 # 按照二八原则 500w*0.8/（24*0.2*3600)=232 # 一般需要1.2~1.5倍的TPS 232*（1.2~
85230发布于 2021-04-14 - 来自专栏CSDN技术头条
容器化RDS｜计算存储分离架构下的IO优化
10GB 2、100GB 测试结果：10GB数据量 Sysbench 指标： 指标类型 线程个数 表数量 数据量 测试时长(分钟) 平均tps 平均qps 响应时间(95%) oltp开双写 256 8 500W 10 5632 112643 73.13 ms oltp关双写 256 8 500W 10 5647 112959 86.00 ms 分布式文件系统指标： ? 显著优化了网络带宽 测试结果：100GB数据量 Sysbench 指标： 指标类型 线程个数 表数量 数据量 测试时长(分钟) 平均tps 平均qps 响应时间(95%) oltp开双写 256 8 500W 10 2260 45202 227.40 ms oltp关双写 256 8 500W 10 2519 50394 277.21 ms 分布式文件系统指标： ?
1.6K60发布于 2018-02-06 - 来自专栏GreatSQL出品技术文章
探究网络延迟对事务的影响
icmp_seq=10 ttl=64 time=0.257 ms 当前2台主机在同一个机房，网络延迟大约在 0.3ms 左右 2.2 （正常延迟）通过sysbench写入数据 2.2.1 创建一张表写入500W real1m56.459s user0m7.187s sys0m0.400s 写入 500w 数据量耗时 1m56s 2.2.2 sysbench 压测3分钟 SQL statistics: queries 192.168.137.162: icmp_seq=10 ttl=64 time=10.2 ms 网络延迟大约为 10ms 2.3 （延迟10ms）通过sysbench写入数据 2.3.1 创建一张表写入500W real2m11.656s user0m7.314s sys0m0.470s 写入 500w 数据量耗时 2m11s 2.3.2 sysbench 压测3分钟 SQL statistics:
51010编辑于 2024-04-11 - 来自专栏代码人生
多级缓存
关于ehcache的内存空间计算，比如如果一条记录大约有30个字符，就是60个字节，存500w条记录，所需内存是60*500w/1024/1024=286M。
1.1K20发布于 2019-10-30 - 来自专栏网络安全技术点滴分享
电动汽车模拟器构建指南：深入解析EVSE安全测试技术
2740Ω）位置2：模拟连接车辆并请求充电（882Ω）图2：旋转开关连接原理图接线方案基础版本只需连接CP（控制导频）和PE（保护地）线路负载模拟需额外连接L1和L2/N高压线路（使用12号导线，支持500W 所有目标设备测试通过，包括：Autel、ChargePoint、WOLFBOX、Emporia、Ubiquity的二级充电器Tesla充电器（使用NACS适配器）所有设备均成功进入充电状态并向负载提供500W
17700编辑于 2025-09-14 - 来自专栏沃趣科技
容器化RDS｜计算存储分离架构下的IO优化
10GB ○100GB 测试结果 : 10GB数据量 Sysbench 指标 指标类型 线程个数 表数量 数据量 测试时长(分钟) 平均tps 平均qps 响应时间(95%) oltp开双写 256 8 500W 10 5632 112643 73.13 ms oltp关双写 256 8 500W 10 5647 112959 86.00 ms 分布式文件系统指标 在计算存储分离架构下, 启用Atomic 显著优化了网络带宽 测试结果 : 100GB数据量 Sysbench 指标 指标类型 线程个数 表数量 数据量 测试时长(分钟) 平均tps 平均qps 响应时间(95%) oltp开双写 256 8 500W 10 2260 45202 227.40 ms oltp关双写 256 8 500W 10 2519 50394 277.21 ms 分布式文件系统指标 在计算存储分离架构下, 启用Atomic
2.5K60发布于 2018-03-20 - 来自专栏架构师之路
流量涨了10倍，我该加多少机器（第82讲：容量评估）
答：5000w*10% = 500w 步骤二：评估平均访问量QPS。 如何知道平均访问量QPS？ 答：总量除以总时间即可，如果按照天评估，一天按照4w秒计算。 栗子： push落地页系统30分钟的总访问量是500w，求平均访问QPS？ 答：500w/(30*60) = 2778，大概3000QPS。
56712编辑于 2025-08-03 探究网络延迟对事务的影响
0.257 ms1.2.3.4.5.6.7.8.9.10.11.12.13.当前2台主机在同一个机房，网络延迟大约在 0.3ms 左右2.2 （正常延迟）通过sysbench写入数据2.2.1 创建一张表写入500W secondary index on 'sbtest1'... real1m56.459suser0m7.187ssys0m0.400s1.2.3.4.5.6.7.8.9.10.11.12.13.写入 500w icmp_seq=10 ttl=64 time=10.2 ms1.2.3.4.5.6.7.8.9.10.11.12.13.2.5 （延迟10ms）通过sysbench写入数据2.5.1 创建一张表写入500W secondary index on 'sbtest1'...real2m11.656suser0m7.314ssys0m0.470s1.2.3.4.5.6.7.8.9.10.11.12.13.写入 500w
41510编辑于 2024-03-28- 来自专栏云上计算
深圳鑫嘉恒专注创新研发 科技多元化产品受青睐
图片鑫嘉恒科技近来来主打的200W、300W、500W、1000W、1500W系列便携式储能电源，产品采用轻量化设计，结构加固设计，人体工学设计，大功率逆变技术，支持各类主流快充和无线充电协议，具备丰富的接口种类 近年来的新型冠状病毒疫情，购买100-300W（少数大型产品到500W）功率的呼吸机、制氧机等家用医疗器械在老龄患者中成为必备，在印度等电力供应不稳定的国家，鑫嘉恒科技的应急备灾便携储能电源通过电池包快速拆卸更换技术 图片目前鑫嘉恒科技200W、300W、500W、1000W、1500W 便携式储能电源系列产品，热销海内外市场，已行销日本、北美、欧洲、澳大利亚、南非和东南亚等全球30余个国家。 根据中国化学与物理电源行业协会和浙商证券研究所的测算数据，2021年和2022年我国应急备灾市场的便携式储能电源出货量分别为：15万台和38万台，按鑫嘉恒科技实际通过B端客户实现的内销出货数量测算，在200W、300W、500W
69700编辑于 2023-03-28
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号