- 综合排序
- 最热优先
- 最新优先
- 来自专栏深度学习与python
TCP 协议不适用如今的数据中心
三年前，阿里巴巴的一群工程师成功研发出新一代、超高性能云网络环境下对传统 TCP 和 RDMA 拥塞控制算法的替代方案–HPCC，旨在同时实现高速云网络的极致性能和超高稳定性。 HPCC 是在高性能的云网络环境下，对现有的拥塞控制的一种替代方案。它可让数据中心网络中的报文稳定的、以微秒级的延迟传输。 在 HPCC 的帮助下，主流的云应用，比如分布式存储、大规模机器学习，高性能计算等性能会得到几倍到几十倍不等的提升；云租户相应地将会感受到延迟显著降低，效率和性价比大幅提升。 HPCC 的核心理念是利用精确链路负载信息直接计算合适的发送速率，而不是像现有的 TCP 和 RDMA 拥塞控制算法那样迭代探索合适的速率；HPCC 速率更新由数据包的 ACK 驱动，而不是像 DCQCN HPCC 的出现为下一代拥塞控制开拓了一个全新的方向，无论是 TCP, 还是 RDMA，抑或是某种新的传输层协议，都可以直接使用 HPCC，或是在其基础上构建适用于高性能云网络的拥塞控制机制。
40410编辑于 2023-03-29 - 来自专栏SDNLAB
解析流控技术演进
图15 TIMELY处理流程 2.7 HPCC HPCC是阿里在2019年SIGCOMM上发表的，HPCC基于INT转发数据面，是对现有IP数据面的拥塞控制的替代方案，打破了过去的拥塞控制方案是建立在数据面不改动的原则 图16 HPCC INT流控机制 如上图所示，HPCC在数据面上找到了突破，通过智能网卡与交换机的配合，端到端实时抓取拥塞信息，从而精确获取实时的链路负载，并且根据精确的链路负载来计算合适的发送速率。 与DCQCN依赖定时器驱动不同，HPCC速率调整根据数据包的ACK来驱动。 HPCC借助更细粒度链路负载信息并重新设计了拥塞控制算法，能够在大规模网络下快速收敛、降低对大Buffer的依赖、保证数据流的公平性。 2.8 流控技术对比 ? 03 流控技术方向与生态 ? 参考资料和文献说明： 本文涉及的DCQCN，TIMELY，HPCC，RDMA等介绍参考了微软，谷歌，华为，阿里，迈络思等公司的相关文献，其他相关厂商这里不一一列举。
3.7K10发布于 2019-12-19 - 来自专栏about云
大数据处理分析的六大工具
HPCC HPCC，High Performance Computing and Communications(高性能计算与通信)的缩写。 1993年，由美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项目：高性能计算与 通信”的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题 HPCC是美国 实施信息高速公路而上实施的计划，该计划的实施将耗资百亿美元，其主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆 比特网络技术，扩展研究和教育机构及网络连接能力
3.7K150发布于 2018-03-27 - 来自专栏PPV课数据科学社区
【工具】六大工具帮你做好大数据分析
HPCC HPCC，High Performance Computing and Communications(高性能计算与通信)的缩写。 1993年，由美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项目：高性能计算与 通信”的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题 HPCC是美国 实施信息高速公路而上实施的计划，该计划的实施将耗资百亿美元，其主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆 比特网络技术，扩展研究和教育机构及网络连接能力
1.3K70发布于 2018-04-20 - 来自专栏华章科技
6个用于大数据分析的最好工具
二 HPCC HPCC，High Performance Computing and Communications（高性能计算与通信）的缩写。 1993年，由美国科学、工程、技术联邦协调理事会向国会提交了"重大挑战项目：高性能计算与 通信"的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题 HPCC是美国 实施信息高速公路而上实施的计划，该计划的实施将耗资百亿美元，其主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆 比特网络技术，扩展研究和教育机构及网络连接能力
97820发布于 2018-08-13 - 来自专栏华章科技
6个用于大数据分析的最好工具
二、HPCC HPCC，High Performance Computing and Communications (高性能计算与通信)的缩写。 1993年，由美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项目：高性能计算与 通信”的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题 HPCC是美国 实施信息高速公路而上实施的计划，该计划的实施将耗资百亿美元，其主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆 比特网络技术，扩展研究和教育机构及网络连接能力
1.6K20发布于 2018-08-15 - 来自专栏架构驿站
【性能分析】大数据分析工具
二、HPCC HPCC，High Performance Computing and Communications（高性能计算与通信）的缩写。 1993年，由美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项目：高性能计算与 通信”的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题 HPCC是美国 实施信息高速公路而上实施的计划，该计划的实施将耗资百亿美元，其主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆 比特网络技术，扩展研究和教育机构及网络连接能力
1.7K50编辑于 2022-03-25 - 来自专栏PPV课数据科学社区
6个用于大数据分析的最好工具
二 HPCC HPCC，High Performance Computing and Communications（高性能计算与通信）的缩写。 1993年，由美国科学、工程、技术联邦协调理事会向国会提交了"重大挑战项目：高性能计算与 通信"的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题 HPCC是美国 实施信息高速公路而上实施的计划，该计划的实施将耗资百亿美元，其主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆 比特网络技术，扩展研究和教育机构及网络连接能力
1.4K50发布于 2018-04-20 - 来自专栏媒矿工厂
nsdi23 | Bolt：用于超低延迟的 Sub-RTT 拥塞控制
针对大规模场景的 NS-3实现，与 Swift 和 HPCC相比，Bolt 的 99-p 流程完成时间提高了 3 倍。 请注意与 HPCC的相似之处，HPCC 也计算链路利用率，尽管从端到端的角度来看，这限制了它每个 RTT 计算一次。 此外，HPCC 的链路利用率在排空队列后降至 75%，并波动一段时间，这是由于 RTT 较长的观察期造成的。Bolt 按数据包进行的决策避免了这种利用率不足的情况。 论文使用 Bolt 重复相同的场景，以测试主动启动的有效性可以基于 Swift 和 HPCC 的流程完成。下图展示了剩余流的cwnd和瓶颈链路处的队列占用情况。 另一方面，HPCC 需要 20μs (> 2×RTT) 才能达到充分利用，因为它需要一个 RTT 来检测利用率不足，并在加速之前需要另一个观察期的 RTT。
2.3K51编辑于 2023-09-25 - 来自专栏CSDN技术头条
45 个值得关注的开源软件推荐
HPCC 16. Caffe(Caffe2) 17. MXNet 18. TensorFlow 19. Automotive Grade Linux(AGL) 20. ROS 21.
2K40发布于 2019-05-16 - 来自专栏挖掘大数据
60款顶级大数据开源工具汇总
HPCC 作为Hadoop之外的一种选择，HPCC这种大数据平台承诺速度非常快，扩展性超强。除了免费社区版外，HPCC Systems还提供收费的企业版、收费模块、培训、咨询及其他服务。 ECL 企业控制语言（ECL）是开发人员用来在HPCC平台上构建大数据应用程序的语言。HPCC Systems官方网站上有集成开发环境（IDE）、教程以及处理该语言的众多相关工具。
3.9K00发布于 2017-12-20 - 来自专栏华章科技
【干货】全球大数据领域顶级开源工具汇总
HPCC 作为Hadoop之外的一种选择，HPCC这种大数据平台承诺速度非常快，扩展性超强。除了免费社区版外，HPCC Systems还提供收费的企业版、收费模块、培训、咨询及其他服务。 ECL 企业控制语言（ECL）是开发人员用来在HPCC平台上构建大数据应用程序的语言。HPCC Systems官方网站上有集成开发环境（IDE）、教程以及处理该语言的众多相关工具。
78130发布于 2018-08-17 - 来自专栏腾讯高校合作
清华大学翟季冬老师团队再获ISC15国际大学生超算竞赛总冠军
清华大学代表队在紧张比赛 竞赛团队得分标准是：HPCC基准性能的运行（10%），应用程序测试（80%），以及在评委专家们面前的答辩能力（10%）。
1.4K50发布于 2018-03-20 - 来自专栏钱塘大数据
【干货】全球大数据领域顶级开源工具汇总
HPCC 作为Hadoop之外的一种选择，HPCC这种大数据平台承诺速度非常快，扩展性超强。除了免费社区版外，HPCC Systems还提供收费的企业版、收费模块、培训、咨询及其他服务。 ECL 企业控制语言（ECL）是开发人员用来在HPCC平台上构建大数据应用程序的语言。HPCC Systems官方网站上有集成开发环境（IDE）、教程以及处理该语言的众多相关工具。
1.1K60发布于 2018-03-06 - 来自专栏钱塘大数据
全球大数据领域顶级开源工具汇总【推荐收藏】
HPCC 作为Hadoop之外的一种选择，HPCC这种大数据平台承诺速度非常快，扩展性超强。除了免费社区版外，HPCC Systems还提供收费的企业版、收费模块、培训、咨询及其他服务。 ECL 企业控制语言（ECL）是开发人员用来在HPCC平台上构建大数据应用程序的语言。HPCC Systems官方网站上有集成开发环境（IDE）、教程以及处理该语言的众多相关工具。
1.2K70发布于 2018-03-01 - 来自专栏SDNLAB
Intel Selena Ding：未来可编程交换机的应用
对于拥塞的管理，后面会提到一个例子HPCC，使用可编程的特性来实现这种高效的拥塞管理。 对于拥塞管理，在2019 SIGCOMM上，阿里巴巴、哈佛、 MIT、 cambridge联合发布了一篇文章，最早提出了HPCC概念，提出用接近于0的队列来高效实现拥塞管理，
1.7K50发布于 2020-07-03 - 来自专栏灯塔大数据
干货|大数据人推荐：60款顶级大数据开源工具
HPCC 作为Hadoop之外的一种选择，HPCC这种大数据平台承诺速度非常快，扩展性超强。除了免费社区版外，HPCC Systems还提供收费的企业版、收费模块、培训、咨询及其他服务。 ECL 企业控制语言(ECL)是开发人员用来在HPCC平台上构建大数据应用程序的语言。HPCC Systems官方网站上有集成开发环境(IDE)、教程以及处理该语言的众多相关工具。
1.3K90发布于 2018-04-09 - 来自专栏钱塘大数据
【推荐收藏】全球大数据领域顶级开源工具汇总
HPCC 作为Hadoop之外的一种选择，HPCC这种大数据平台承诺速度非常快，扩展性超强。除了免费社区版外，HPCC Systems还提供收费的企业版、收费模块、培训、咨询及其他服务。 ECL 企业控制语言（ECL）是开发人员用来在HPCC平台上构建大数据应用程序的语言。HPCC Systems官方网站上有集成开发环境（IDE）、教程以及处理该语言的众多相关工具。
1.2K60发布于 2018-03-05 - 来自专栏生信技能树
网页工具能解决一切问题？
网页链接是：http://hpcc.siat.ac.cn/circmine/browse/body_site/Stomach
38020编辑于 2022-07-26 - 来自专栏软硬件融合
软硬件融合视角：一文看懂高性能网络
6.2 阿里云HPCC和eRDMA 阿里云的HPCC（High Precision Congestion Control，高精度拥塞控制），其关键方法是利用INT（In-Network Telemetry HPCC发送方可以快速提高流量以实现高利用率，或者快速降低流量以避免拥塞；HPCC发送者可以快速调整流量，以使每个链接的输入速率略低于链接的容量，保持高链接利用率；由于发送速率是根据交换机直接测量的结果精确计算得出的 ，HPCC仅需要3个独立参数即可调整公平性和效率。 与DCQCN、TIMELY等方案相比，HPCC对可用带宽和拥塞的反应更快，并保持接近零的队列。 Remote Direct Memory Access，简称eRDMA）是阿里云自研的云上弹性RDMA网络，底层链路复用VPC网络，采用全栈自研的拥塞控制CC（Congestion Control，HPCC
2.2K10编辑于 2024-06-26
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号