- 综合排序
- 最热优先
- 最新优先
- 来自专栏爬虫资料
拒绝代理池雪崩：Scala + Akka 构建高并发的路由分发实战
在使用Scala开发分布式爬虫系统时，代理IP的路由分发往往是决定生死的一环。在实际生产中，开发者通常会踩到以下三个大坑：第一，IP耗尽导致请求堆积。 一、AkkaActor的降维打击：消息驱动而非线程阻塞在AkkaActor的并发模型里，每个Actor只有一个线程在处理它的Mailbox（邮箱）。 Dispatcher：Actor的消息分发器，本质上是一个底层线程池。 2.万级并发下的“分组路由”设计面对上万并发量，所有请求共用一个RouterActor会导致严重的Mailbox瓶颈。 结语：避坑箴言构建高可用的分布式爬虫体系，从来都不是简单的代码堆砌。在最后，送给大家几条经过验证的总结：消息协议必须先行。
11310编辑于 2026-05-07 - 来自专栏架构专题
没有预热，不叫高并发，叫并发高
大家都知道，高并发系统有三把斧子：缓存、熔断和限流。但还有一把斧子，经常被遗忘在角落里，郁郁不得志，那就是预热。 ? 现象举例 先说两个现象。这些现象，只能在并发高的系统中出现。 一、DB重启后，瞬间死亡 一个高并发环境下的DB，进程死亡后进行重启。由于业务处在高峰期间，上游的负载均衡策略发生了重分配。刚刚启动的DB瞬间接受了1/3的流量，然后load疯狂飙升，直至再无响应。 当服务重新加入集群时，却发生了大量高耗时的请求，在请求量高的情况下，甚至大批大批的失败。 引起的原因大概可以归结于： 1、服务启动后，jvm并未完全准备完毕，JIT未编译等。 当系统长期处于低水位的情况下，流量突然增加时，直接把系统拉升到高水位可能瞬间把系统压垮。
3.3K21发布于 2019-07-10 技术深度：Infoseek 媒介宣发系统的多模态生成与高并发分发实现
2025 年，媒介宣发进入 “多平台共振 + AI 驱动” 的全新时代，传统方案面临 “内容生成低效、渠道适配繁琐、分发并发不足” 三大技术瓶颈 —— 某 MCN 机构人工适配 5 个平台内容需 4 小时 / 条，某品牌新品宣发因渠道匹配盲目导致 ROI 不足 1:1，某企业高并发发布时触发平台 API 限流导致内容下架。 字节探索 Infoseek 基于 “微服务架构 + Deepseek 大模型” 构建全链路技术体系，实现 “多模态内容生成 - 智能渠道匹配 - 高并发分发 - 实时归因” 端到端自动化，本文从技术架构 高并发分发引擎：规避限流的智能调度实现基于 Kafka 消息队列与边缘节点集群，解决高并发发布限流问题，核心 Java 代码：/** * 高并发分发调度服务 */@Servicepublic class API 限流阈值动态调整发布节奏，高并发场景下发布成功率达 99.9%。
31510编辑于 2025-12-12- 来自专栏后台技术底层理解
redis高并发高可用
redis 实现高并发主要依靠主从架构，一主多从. 对于性能来说，单主用来写入数据，单机几万QPS，多从用来查询数据，多个从实例可以提供每秒 10w 的 QPS。 如果想要在实现高并发的同时，容纳大量的数据，那么就需要 redis 集群， 使用 redis cluster 模式，可以提供每秒几十万的读写并发。 这样也可以很轻松实现水平扩容，支撑读高并发。 Redis虽然读取写入的速度都特别快，但是也会产生读压力特别大的情况，所以为了缓解读的压力，所以进行读写分类，并对读进行扩展。 哨兵用于实现 redis 集群的高可用，本身也是分布式的，作为一个哨兵集群去运行，互相协同工作。 ==怎么保证redis是高并发以及高可用的==？ sdown 和 odown 转换机制 sdown 是主观宕机，就一个哨兵如果自己觉得一个 master 宕机了，那么就是主观宕机。
3.2K10发布于 2020-08-04 - 来自专栏后台及大数据开发
【高并发】秒杀系统高并发请求排队处理
今天无意中看见了这位兄弟的文章 通过请求队列的方式来缓解高并发抢购（初探） 但文章最后说并发超过500 就会出现超发，看了下代码，的确有这个问题 抽空简单完善了下，经压力测试后发现暂无超发现象， 下面为我的代码 欢迎指正 由于是在windows下测试，并发高了就报错 java.net.BindException: Address already in use 这个初看上去很像端口被占用，其实是因为已经完成请求的
4.1K11发布于 2018-08-02 - 来自专栏CSDN搜“看，未来”
高并发（一）
---- 文章目录 取经的地方 曾经，我眼中的高并发 如何理解高并发 高并发系统的设计目标是什么？ 宏观目标 微观目标 高并发的实践方案有哪些？ ---- 曾经，我眼中的高并发 真的，我知道我自己写的算不上高并发，很久了。 确实，十万上下的并发量真·算不上高并发。 3、理解片面，把高并发设计等同于性能优化：大谈并发编程、多级缓存、异步化、水平扩容，却忽视高可用设计、服务治理和运维保障。 ---- 如何理解高并发 高并发意味着大流量，需要运用技术手段抵抗流量的冲击。那到底多大并发才算高并发呢？ 1、**不能只看数据，要看具体的场景。 另外，如果业务场景不同，高并发的落地方案也会存在差异，但是总体的设计思路和可借鉴的方案基本类似。 高并发设计同样要秉承架构设计的3个原则：简单、合适和演进。
1.6K40发布于 2021-09-18 - 来自专栏全栈程序员必看
Qt高并发
QtConcurrent是一个命名空间，提供了用于编写并发软件的更高层次的类和算法。该命名空间中有一个重要的类，QThreadPool，这是一个管理线程池的类。 10）利用QApplication::postEvent()分发事件，或使用队列式的信号/槽连接，都是用于线程间通信的安全机制——但需要接收线程处于事件循环中。
2.3K20编辑于 2022-09-03 - 来自专栏Java探索之路
高并发技术
而大数据也带来的高并发的问题. 解决高并发问题是大数据时代的永恒主题. 我们假设已经解决高并发的问题, 我们可以通过对数以亿计的数据做日志分析 , 从中分析用户行为 ,分析在哪个渠道的用户最具购买力 , 哪个渠道最容易接纳我们的产品. 即: 高并发>日志>分析行为>画像>推荐>服务 这便是大数据时代下企业发展之路 ,因此 ,解决高并发问题便是关键. 通过相应技术, 解决高并发问题 ,为企业节省更多资金 ,有益企业良性发展. 形式的日志以及日志抽样； 支持按指定关键字(域名，url等)收集Tengine运行状态； 组合多个CSS、JavaScript文件的访问请求变成一个请求； 自动去除空白字符和注释从而减小页面的体积 常用高并发模型设计 ，而apache 则是阻塞型的，在高并发下nginx 能保持低资源低消耗 高性能, 高度模块化的设计，编写模块相对简单 社区活跃，各种高性能模块出品迅速 apache 相对于nginx 的优点
4.5K50发布于 2020-07-27 - 来自专栏PHP在线
大话－高并发
简单理解下高并发: 高并发是指在同一个时间点，有很多用户同时的访问URL地址，比如：淘宝的双11，双12，就会产生高并发,如贴吧的爆吧，就是恶意的高并发请求， 也就是DDOS攻击，再屌丝点的说法就像玩撸啊撸被 高并发的数据处理： 通过表设计或者SQL语句来防止包并发下的数据错乱问题 通过程序代码防止包并发下的数据错乱问题 ---- 如例子：通过表设计防止并发导致数据错乱 需求点 【签到功能】 一天一个用户只能签到一次 ， 签到成功后用户获取到一个积分 已知表 用户表，包含积分字段 高并发意淫分析(属于开发前的猜测)： 在高并发的情况下，会导致，一个用户签到记录会有多条，或者用户签到后不止加一积分 0的时候无法进行抽奖 已知表: 用户表，包含积分字段 奖品表，包含奖品剩余数量字段 高并发意淫分析(属于开发前的猜测): 在高并发的情况下，会导致用户参与抽奖的时候积分被扣除，而奖品实际上已经被抽完了 在高并发接口的设计中可以使用具有高并发能力的编程语言去开发，如：nodejs 做web接口 服务器部署，图片服务器分离，静态文件走CDN 并发测试神器推荐 Apache JMeter Microsoft
2.2K40发布于 2018-03-08 - 来自专栏做不甩锅的后端
什么是并发、高并发以及实现高并发需要考虑的因素
2.什么是高并发 高并发（Hight Concurrnet）,从字面上来理解就是让单位时间同时处理任务的能力尽可能的高。 实际上，从另外一个角度考虑，我们所说的高并发，并行已经是其一个子集。 而水平扩展的能力，实际上从另外一个角度来说，并行是提升系统并发能力的重要手段。 那么，既然是高并发，那么多高才算高呢？ 为了更好的对系统的高并发性进行评价，需要对如下指标进行了解： 响应时间：系统对请求做出响应的时间，既然是高并发系统，这个响应时间就不可能太长，需要尽可能的短。 上述指标内容，主要是反映了高并发系统在高性能上的要求。做为高并发系统，需要实现的目标为： 高性能：这体现了系统的并行处理能力，在有限资源的情况下，提升性能能节省成本。
14.8K12发布于 2021-09-06 - 来自专栏用户3288143的专栏
【高并发】高并发后端设计你必须要会！
缓存 缓存比较好理解，在大型高并发系统中，如果没有缓存数据库将分分钟被爆，系统也会瞬间瘫痪。使用缓存不单单能够提升系统访问速度、提高并发访问量，也是保护数据库、保护系统的有效方式。
1.6K30发布于 2020-07-07 - 来自专栏深入理解Android
高并发与高可用实战
大型网站系统应有的特点 高并发，大流量 高并发，大流量：需要面对高并发用户，大流量访问。 高可用 高可用：相对于高并发来说，高可用并不是一个比较有规律的参数，7*24 是每个网站的梦想，但是你并不知道，在某一刻，他就没理由的宕机了。 高并发设计原则 系统设计不仅需要考虑实现业务功能，还要保证系统高并发、高可用、高可靠等。 并发化 改串行为并行。 高可用设计原则 通过负载均衡和反向代理实现分流。 通过限流保护服务免受雪崩之灾。 通过降级实现部分可用、有损服务。 通过隔离实现故障隔离。 4.业务降级：当高并发流量来袭，在电商系统大促设计时保障用户能下单、能支付是核心要求，并保障数据最终一致性即可。
2K20编辑于 2022-06-22 - 来自专栏全栈程序员必看
Jmeter并发测试_高并发测试
进入后语言是英文的可以选择Options—Choose Language—Chinese(Simplified) 选择左侧TestPlan—添加—线程(用户)—线程组 线程组介绍： 线程数，即为并发请求数量 为0表示并发执行 ramp-Up时间，即为几秒内开启全部线程，可修改 循环次数为1表示所有线程只执行一次。
2.7K30编辑于 2022-11-19 - 来自专栏Java架构师必看
高并发高流量网站架构
但Web2.0以用户为导向的理念，使得新生的网站有了新的特点——高并发，高流量，数据量大，逻辑复杂等，对网站建设也提出了新的要求。 本文围绕高并发高流量的网站架构设计问题，主要研究讨论了以下内容： 首先在整个网络的高度讨论了使用镜像网站，CDN内容分发网络等技术对负载均衡带来的便利及各自的优缺点比较。 此类网站可以说是Web2.0概念下的代表网站，具有Web2.0网站所有典型特征：高并发，高流量，数据量大，逻辑复杂，用户分散等等。 7 总结及展望 7.1 总结 图6 典型高并发高流量网站的架构 对于一个高并发高流量的网站来说，任何一个环节的瓶颈都会造成网站性能的下降，影响用户体验，进而造成巨大的经济损失。 ，公司以及研究机构来关注高并发高流量的网站架构问题。
2.7K10发布于 2020-10-23 - 来自专栏后台技术底层理解
redis 的高并发高可用
redis 实现高并发主要依靠主从架构，一主多从. 对于性能来说，单主用来写入数据，单机几万QPS，多从用来查询数据，多个从实例可以提供每秒 10w 的 QPS。 如果想要在实现高并发的同时，容纳大量的数据，那么就需要 redis 集群， 使用 redis cluster 模式，可以提供每秒几十万的读写并发。 这样也可以很轻松实现水平扩容，支撑读高并发。 Redis虽然读取写入的速度都特别快，但是也会产生读压力特别大的情况，所以为了缓解读的压力，所以进行读写分类，并对读进行扩展。 哨兵用于实现 redis 集群的高可用，本身也是分布式的，作为一个哨兵集群去运行，互相协同工作。 怎么保证redis是高并发以及高可用的？ sdown 和 odown 转换机制 sdown 是主观宕机，就一个哨兵如果自己觉得一个 master 宕机了，那么就是主观宕机。
1.8K00发布于 2020-08-04 - 来自专栏技术专栏
慕课网高并发实战（一）-并发与高并发基本概念
课程网址 并发： 同时拥有两个或者多个线程，如果程序在单核处理器上运行，多个线程交替得换入或者换出内存，这些线程是同时“存在”的，每个线程都处于执行过程中的某个状态，如果运行在多核处理器上， 此时，程序中的每个线程都将分配到一个处理器核上，因此可以同时运行 高并发： 高并发（High Concurrency）是互联网分布式系统架构设计中必须考虑的因素之一，他通常是指，通过设计保证系统能够同时并行处理很多请求 对比： - 谈并发时：多个线程操作相同的资源，保证线程安全，合理利用资源 - 谈高并发时：服务能同时处理很多请求（如12306的抢票，天猫双十一的秒杀活动，这会导致系统在短时间内执行大量的操作， 如对资源的请求，数据库的访问），提高程序性能（如果高并发处理不好，不光会导致用户体验不好，还可能会使服务器宕机，出现OOM等） ?
92310发布于 2018-09-12 - 来自专栏云攻略专区
1000W高并发如何请求分发-腾讯云【独享型 负载均衡-性能型】解决思路？
近期新年活动各家厂商都在紧张筹备中，预计将在3月左右达到高峰期，尤其是318采购节，据了解，厂商投入新购云服务器及一大批量新扩展业务系统上云部署中，轻量应用服务器、其中某用户场景是电商业务系统，需求抗住150W高并发 QPS需求，目前腾讯云CLB负载均衡共享型仅支持5W性能，远不够接入支持，无法满足业务应用需求，以下是自己一些见解和推荐方案： 方案架构： image.png 方案概述： 依据求场景，这么高的并发需求 ，其核心主要是通过业务负载分担，并对并发AI识别和安全防护，核心提高负载均衡CLB实例性能，再配合CDN分担主负载的带宽压力，节省带宽成本； 腾讯云负载均衡-独享型实例，在年前已经调整升级 活点链接：https://curl.qcloud.com/ovxtwrL5 image.png 推荐阅读： 基于腾讯云CVM自建高可用Redis实践 https://cloud.tencent.com
18.2K31编辑于 2022-03-31 - 来自专栏Java Web
高并发编程学习(1)——并发基础
并行与并发 并行性和并发性是既相似又有区别的两个概念。 并行性是指两个或多个事件在同一时刻发生。而并发性是指两个或多个事件在同一时间间隔内发生。 如果在计算机系统中有多个处理机，这些可以并发执行的程序就可以被分配到多个处理机上，实现并发执行，即利用每个处理机爱处理一个可并发执行的程序。这样，多个程序便可以同时执行。 用户程序入口 [2] Reference Handler——清除 Reference 的线程 [3] Finalizer——调用对象 finalize 方法的线程 [4] Signal Dispatcher——分发处理发送给 保证高并发场景下的线程安全，可以从以下四个维度考量： 维度一：数据单线程可见 单线程总是安全的。通过限制数据仅在单线程内可见，可以避免数据被其他线程篡改。 Doug Lea 在当大学老师时，专攻并发编程和并发数据结构设计，主导设计了 JUC 并发包，提高了 Java 并发编程的易用性，大大推进了 Java 的商用进程。
72991发布于 2019-11-29 - 来自专栏java一日一条
Java 高并发综合
当时混混沌沌的面试，记下来了一些并发的面试问题，很多还没有回答。到现在也学习了不少并发的知识，回过头来看这些问题和当时整理的答案，漏洞百出又十分可笑。 曾经，我在面试Java研发实习生时最常听到的一句话就是： 搞Java怎么能不学并发呢？ 没错，真的是经过了面试官的无数鄙视，我才知道Java并发编程在Java语言中的重要性。 并发模型 悲观锁和乐观锁的理解及如何实现，有哪些实现方式？ 部分乐观锁削弱了一致性，但中低并发程度下的效率大大提高。 手动使用Lock实现基于锁的并发控制 7. 手动使用Condition或AQS实现基于条件队列的并发控制 8. 使用CAS和SPIN等实现非阻塞的并发控制 使用不变类 9.
1.2K30发布于 2018-09-14 - 来自专栏Linyb极客之路
高并发之降级
开篇： 在开发高并发系统时有三把利器用来保护系统：缓存、降级和限流。之前已经有一些文章介绍过缓存和限流了。本文将详细聊聊降级。 哪些可降级；比如可以参考日志级别设置预案： 一般：比如有些服务偶尔因为网络抖动或者服务正在上线而超时，可以自动降级； 警告：有些服务在一段时间内成功率有波动（如在95~100%之间），可以自动降级或人工降级，并发送告警
2.3K20发布于 2018-07-26
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号