首页
学习
活动
专区
圈层
工具
发布
首页标签分布式

#分布式

分布式系统(distributed system)是建立在网络之上的软件系统。由于软件的特性,分布式系统具有高度的内聚性和透明性。

AI + 大数据融合: EMR + Ray + PyTorch 分布式深度学习训练

gavin1024

Ray 是一个高性能的通用分布式计算框架,旨在帮助用户高效构建和运行大规模的并行程序。它通过简洁的编程接口,将底层复杂的资源调度与任务分发进行了高度封装,使开发...

1800

直播推流卡顿怎么办?多网聚合加速缓解弱网推流难题

克劳德2048

对于涉及跨境直播的场景,网络延迟和丢包问题更加突出。多网聚合加速(腾讯云聚通)的加速网关支持全球分布式部署(云上网关模式),终端可自动就近接入。

13510

分布式vs集中式:信创场景下两种数据库架构的选型实战

数据库小学妹

政务系统,原来跑Oracle,现在要国产替代。领导一句话:GoldenDB和Kingbase,选哪个?

14910

硬件成本飙升下,分布式数据库的成本优化之道

胖头鱼的鱼缸

随着AI的快速发展,除了直接代表算力的GPU、NPU、TPU等硬件价格飞升且一件难求,从去年下半年开始,作为短期和长期存储的内存与SSD的价格也迎来了猛涨。

9610

分布式数据库在运营商落地的痛点

胖头鱼的鱼缸

这几天在和客户商讨一个电视业务的场景,遇到了一个相对极端的需求,简单来说就是在主流业务时段,客户在看电视的时候不能因任何故障(其实也不严谨,机顶盒挂了、家里或...

8410

从数据角度如何用好分布式数据库

胖头鱼的鱼缸

上月在北京交参会流期间,午餐时与首席探讨了分布式数据库中数据(表)逻辑结构的优化设计思路。需要先明确的是,本文聚焦于分布式数据库分片表的设计场景,单表的使用逻辑...

10510

AI论文陪读·ZeRO:分布式训练的第一篇论文(中英双语)

heidsoft

中文:训练时,每份参数在显存里实际要存多份东西。论文 Section 3.1 给出了具体公式:fp16 参数 + fp16 梯度 + Adam 优化器状态(fp...

13710

Agent 调度算法深度解析:为什么未来 AI Agent 一定会走向“分布式智能系统”?

heidsoft

从 ChatGPT 到 Claude,从 Copilot 到各种 AI Agent 平台,整个市场都在快速进入 AI 应用时代。

11510

信创数据库选型实战:分布式与集中式架构对比,附Oracle迁移注意事项

数据库小学妹

最近跟几个项目组的同学一起讨论,大家都提到了同一个问题。信创替代,GaussDB和KES到底选哪个?

15010

03-SingleController一个大脑如何调度一群GPU工人

anzhsoft

所以 single controller 的价值不是“少写分布式代码”这么简单。更准确地说,它把 RLHF 的系统状态放在一个地方:哪些数据已经生成、哪些信号已...

9900

02 HybridFlow:把 RLHF 看成高层 Dataflow

anzhsoft

这篇文章只解决一个问题:verl 为什么能把复杂的 RLHF/PPO 训练写得像一段单进程程序,同时又让真正的计算跑在多 GPU worker 上?

11510

01 为什么 AI 后训练不是一个训练脚本

anzhsoft

读完这篇,读者应该能回答三个问题:入口脚本到底做了什么?PPO 主循环为什么必须把推理放进训练内环?后训练系统的瓶颈为什么常常出现在训练、推理、数据协议和分布式...

10300

分布式数据库到底该不该上?从判断标准到架构选型的实战思考

数据库小学妹

上个月有运维朋友找我吐槽。月底跑报表卡得要命,领导拍板说"上分布式吧"。他一脸懵:分布式数据库到底是什么?跟MySQL有啥区别?我们真的需要吗?

14310

IM分布式架构系列(16) 移动端一直connecting | TCP网络故障排查

拉丁解牛说技术

测试同学发来一张截图:App 顶部挂着"连接中…"转了十几秒,然后变成"网络不可用",过一会儿自己又好了。这种问题几乎每个做 IM 的团队都遇到过——它不报错码...

11710

分布式协议-Gossip协议

码农戏码

执行反熵时,相关的节点都是已知的,而且节点数量不能太多,如果是一个动态变化或节点数比较多的分布式环境(比如在 DevOps 环境中检测节点故障,并动态维护集群节...

8000

分布式数据库架构选型:一致性协议、分片策略与事务模型的工程取舍

数据库小学妹

📌 今日关键词:分布式数据库、数据库选型、分库分表、Share-Nothing、国产数据库

11810

这个数据库有中文名字了

薛晓刚-

欧冶云商股份有限公司 | 数据库首席 (已认证)

10510

低谷才是出成绩

薛晓刚-

欧冶云商股份有限公司 | 数据库首席 (已认证)

9110

腾讯庞天宇团队提出UniRL:统一多模态生成的分布式RL后训练框架

Amusi

针对这个问题,腾讯混元庞天宇团队正式开源UniRL:一个面向统一多模态生成的分布式RL后训练框架。

17810

学院11篇论文收录ICML 2026

Amusi

国际机器学习大会(ICML)是人工智能领域极具权威和影响力的顶级学术会议,长期引领人工智能、统计学、数据科学及相关交叉学科的前沿发展,是全球学术界展示和交流最新...

16710
领券