首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >aiohttp 并发到底被谁限住了:TCPConnector 的 limit、limit_per_host 和 Semaphore 实测

aiohttp 并发到底被谁限住了:TCPConnector 的 limit、limit_per_host 和 Semaphore 实测

原创
作者头像
用户12904616
发布于 2026-11-21 12:41:10
发布于 2026-11-21 12:41:10
570
举报

先说结论: aiohttp 的 ClientSession 默认最多同时开 100 条 TCP 连接(TCPConnector(limit=100)),对单个主机不单独设限(limit_per_host=0)。所以一次 gather 200 个请求,实际同时在飞的只有 100 个,另外 100 个在连接器里排队,不报错。把 limit 设成 0 表示不限,这时 200 个请求同时去连本机一个 aiohttp 服务,服务端监听队列默认只有 128,实测有 72 个请求直接连接失败。想压并发,limit、limit_per_host 和 asyncio.Semaphore 都能做到,区别在于排队发生在哪一层、对多个主机怎么算。下面在 macOS 上用 Python 3.9、aiohttp 3.13.5 实测,服务端每个请求固定睡 0.5 秒,统计服务端看到的最大并发和 TCP 连接数,输出都是实际跑出来的。

默认值

代码语言:javascript
复制
import aiohttp
c = aiohttp.TCPConnector()
print(c.limit, c.limit_per_host)        # 100 0
print(aiohttp.client.DEFAULT_TIMEOUT)
# ClientTimeout(total=300, connect=None, sock_read=None, sock_connect=30, ceil_threshold=5)

两个容易忽略的点:

  • 默认总超时 300 秒、建连 30 秒,没有读超时。对方不回数据,一个请求最多挂 5 分钟;
  • limit 是整个 session 的连接上限,limit_per_host 是每个「主机 + 端口 + 是否 TLS」的上限,0 都表示不限。

测试方法

服务端是一个 aiohttp 应用,同时监听 18701、18702 两个端口,每个请求 sleep(0.5) 再返回,同时记录正在处理的请求数峰值和见过多少个不同的客户端端口(等于 TCP 连接数):

代码语言:javascript
复制
state = {'now': 0, 'max': 0, 'peers': set()}

async def h(req):
    state['now'] += 1
    state['max'] = max(state['max'], state['now'])
    state['peers'].add(req.transport.get_extra_info('peername')[1])
    await asyncio.sleep(0.5)
    state['now'] -= 1
    return web.Response(text='ok')

客户端每个用例新建一个 session,用 asyncio.gather 一次性发 n 个请求,捕获异常计数。

实测结果

代码语言:javascript
复制
default connector                     n=200 max_concurrent=100 tcp_conns=100 1.05s errors=0
limit=10                              n=50  max_concurrent=10  tcp_conns=10  2.52s errors=0
limit=0 (no limit)                    n=200 max_concurrent=128 tcp_conns=128 0.55s errors=72 ['ClientConnectorError']
limit_per_host=5, 2 hosts             n=40  max_concurrent=10  tcp_conns=10  3.03s errors=0
Semaphore(10), default connector      n=50  max_concurrent=10  tcp_conns=10  2.53s errors=0
force_close=True, limit=10            n=50  max_concurrent=10  tcp_conns=50  2.55s errors=0

逐行看:

  1. 默认就限 100。 200 个请求分两批,每批 0.5 秒,共约 1 秒;服务端最多同时看到 100 个。很多人以为 gather 多少个就并发多少个,其实被连接器挡住了。
  2. limit=10。 50 个请求排成 5 批,约 2.5 秒,只用了 10 条 TCP 连接,连接被反复复用。
  3. limit=0 不是「越快越好」。 200 个请求同时建连,aiohttp 服务端 TCPSite 默认 backlog=128,监听队列满了之后,macOS 上新连接直接被重置,72 个请求报 ClientConnectorError。在 Linux 上通常表现为建连变慢、重传,但道理一样:并发不设上限,压力会转嫁到对方或者系统队列上。
  4. limit_per_host 按主机算。 每个主机 5 条、两个主机,总并发就是 10。抓多个站点时,limit_per_host 能防止某一个站点被压得太狠,而总量由 limit 管。
  5. Semaphore 效果和 limit 一样。 在发请求之前 async with sem:,同样是 10 并发、10 条连接。
  6. force_close=True 每次新建连接。 并发还是 10,但 50 个请求用了 50 条 TCP 连接。对方不支持长连接或者你希望每个请求都重新建连时才用它,一般场景白白多了握手开销。

该用哪个

想要的效果

用法

整个程序最多 N 个连接

TCPConnector(limit=N)

每个站点最多 N 个,总数另算

TCPConnector(limit=总数, limit_per_host=N)

限制的不只是 HTTP 请求,还包括解析、写库等整个任务

asyncio.Semaphore(N) 包住整个任务

想知道排队等了多久、超时就放弃

ClientTimeout(connect=...),排队时间算在 connect 里

最后一行值得多说一句:aiohttp 的 ClientTimeout.connect 包括「等连接池给一条连接」的时间,sock_connect 才是纯 TCP 建连。连接器排队很长时,请求可能因为 connect 超时而失败,而网络本身没有问题。

一个比较稳妥的起点:

代码语言:javascript
复制
timeout = aiohttp.ClientTimeout(total=60, connect=20, sock_connect=10, sock_read=30)
connector = aiohttp.TCPConnector(limit=50, limit_per_host=8)
sem = asyncio.Semaphore(50)

async with aiohttp.ClientSession(connector=connector, timeout=timeout) as s:
    async def task(url):
        async with sem:
            async with s.get(url) as r:
                body = await r.read()
            return parse(body)   # 解析也在信号量里,防止内存里堆太多响应体
    results = await asyncio.gather(*(task(u) for u in urls), return_exceptions=True)

常见误区

  • 「gather 1000 个就是 1000 并发」:默认被 limit=100 挡住;任务对象还是一次性建 1000 个,内存要算进去。
  • 「limit=0 最快」:对方或系统队列先撑不住,实测 200 个里失败 72 个。
  • 「Semaphore 和 limit 二选一」:可以叠加。连接器管连接,信号量管整个任务。
  • 「没有读超时也没事」:默认只有 300 秒总时限,对方挂住时一个请求要等 5 分钟。

小结

  • aiohttp 默认 limit=100、limit_per_host=0、总超时 300 秒、建连 30 秒;
  • 并发上限一定要设,按主机抓取再加 limit_per_host;
  • limit=0 把压力推给对方,实测连本机服务都会连接失败;
  • ClientTimeout.connect 包含排队时间,排查「连接超时」时先看是不是连接器排满了。

测试环境:macOS,Python 3.9.6,aiohttp 3.13.5,服务端和客户端都在本机,服务端监听 127.0.0.1 的两个端口。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 默认值
  • 测试方法
  • 实测结果
  • 该用哪个
  • 常见误区
  • 小结
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档