首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏Kubernetes GO

    五分钟初识Gloo

    何为Gloo Kubernetes ingress controller: 当部署在Kubernetes上时,Gloo可以充当功能丰富的入口控制器,并且当部署到AWS EKS等公共云时,可以简化路由功能 Gloo包含经过审查的开源项目,以提供广泛的功能:Gloo通过与顶级开源项目(包括gRPC,GraphQL,OpenTracing,NATS等)集成来支持高质量功能。 Gloo的体系结构允许在将来流行的开源项目出现时快速集成它们。 全自动发现使用户可以快速迁移:Gloo在启动时会创建所有可用目的地的目录,并不断对其进行更新。 服务网格的基石:Gloo将服务网格功能添加到集群入口。 强大的社区特性:Gloo通过与顶级开源项目(如gRPC,GraphQL,OpenTracing,NATS等)集成来支持高级别功能。Gloo的技术架构允许在未来流行的开源项目出现时快速集成。

    3.4K30发布于 2021-02-01
  • 来自专栏Kubernetes GO

    Serverless 云原生网关 Gloo (下篇)

    Gloo凭借生态支持的多样性、多云架构的灵活性,在云原生网关starups中脱颖而出。 注:关于Gloo的相关介绍,参看前文五分钟初识GlooGloo版本1.3.34 Gloo分析 Gloo 的运作由多个独立组件构成,为了方便日后运维和性能优化,有必要了解其具体实现机制。 ├── hypergloo ├── ingress ├── knative └── sds Serverless 中 Gloo 就使用的 Knative 模式,下面将针对 Knative 模式的 Gloo 当 Proxy 资源被 Gloo 组件成功获取后,Gloo 组件会修改 Proxy 资源的 status 状态,此时会调用 markIngressesReady 函数。 结语 Gloo 就是通过对资源的抽象分离来实现控制平面与数据平面的解耦,本文仅介绍了 Gloo 在 Knative 模式下涉及的源码,梳理了各组件的运行逻辑及互相之间的交互配合。

    2.2K30编辑于 2022-05-25
  • 来自专栏伪架构师

    Gloo——记一次失败的实验

    产品 Solo.io 首页上列出了六个产品: Gloo:混合应用网关; GlooE:Gloo 的企业版; SuperGloo:服务网格编排器; Sqoop:构建在 Gloo 之上的 GraphQL 引擎 Gloo 初体验 下面我们会使用 Gloo 将一个 Kubernetes 集群上的 HTTPBIN 服务和一个运行在 Azure 上的 Function 粘合起来,合作提供服务,并在最后进行限流测试。 Gloo 部署 Gloo 要求 Kubernetes 版本在 1.8 以上 使用脚本安装客户端: curl -sL https://run.solo.io/gloo/install | sh 按照后续指引完成之后 通过 Gloo 提供对外服务 我们希望通过 http://[service-ip]/httpbin/ 的形式,透过 Gloo 的负载均衡服务,对外开放 httpbin 的 API。 namespace: gloo-system ?

    1.6K30发布于 2019-07-23
  • 来自专栏罗西的思考

    深度学习分布式训练框架 horovod (11) --- on spark --- GLOO 方案

    Gloo关键点 2.2 回顾启动过程 2.3 _launch_job 2.3 获取路由信息 2.4 run_controller 0x03 Gloo 实现 3.1 gloo_run 3.2 launch_gloo 本文是系列第十一篇,看看horovod 如何运行在 spark 之上(GLOO实现)。 Horovod on Spark 具体有两种底层实现:MPI,GLOO。因为篇幅所限,本文介绍 GLOO 实现。 2.1 GLOO VS MPI 本文的问题点就是:Gloo 与 MPI 实现有何不同。 0x03 Gloo 实现 相比 MPI,Gloo 这部分就比较清晰了。 3.1 gloo_run 回到 2.3 run_controller。 (verbose=verbose): gloo_run() # 本文调用到这里 如果是配置了gloo,则我们用到了 gloo_run: def gloo_run(settings

    90930发布于 2021-07-13
  • 来自专栏深度学习与python

    Solo 推出完全集成的云原生应用程序网络平台

    据官方数据,Gloo 平台框架可以将企业运营成本降低 30-40%。据悉,Gloo 平台的功能包括: 跨平台所有元素的统一控制平面和 API 访问。 据悉,Gloo 平台包含以下集成组件: Gloo Gateway 提供北 / 南(API 网关)和东 / 西(Kubernetes 入口)功能,并由 Envoy 和 Istio 启用。 它可以部署为集成的 Gloo 平台或独立的 API 网关。Gloo Gateway 可以部署在任何云环境、任何 Kubernetes 环境或虚拟机内。 Gloo Mesh 2.1 为 Kubernetes 集群、VM 和微服务应用程序提供服务网格管理和服务网格功能。 Gloo Mesh 由 Istio 启用,并扩展了 一组丰富的功能,以提供严格的安全性、高可用性和高级路由。

    1.1K30编辑于 2023-03-29
  • 来自专栏新智元

    掌舵AI+信仰公司Gloo,还要制作激光器

    在去年12月「被退休」后,Intel前CEO帕特·基辛格(Pat Gelsinger),近日宣布出任AI初创Gloo的执行董事长兼技术负责人。 在加入Playground 之前,Gelsinger私人投资了多家初创公司,包括教会外联软件初创公司Gloo、可穿戴设备制造商Oura和AI芯片开发商Fractile。 Gloo:信仰领域垂直AI Intel时期的Gelsinger 就在加入Playground Global的2天前,Gelsinger刚刚宣布,他将在以信仰为核心的科技公司Gloo中出任执行董事长兼技术负责人 Gelsinger在Gloo领导的首批项目,就是打造首个面向信仰领域的垂直云平台,以及推动符合价值观的AI技术。 目前,Gloo为宗教领袖提供数字化工作平台,用于管理内容、沟通和外展项目,同时提供AI工具助力教堂与成员互动并触达新受众。

    25300编辑于 2025-03-28
  • 来自专栏罗西的思考

    [源码解析] 深度学习分布式训练框架 horovod (3) --- Horovodrun背后做了什么

    0x04 Gloo 实现 4.1 Gloo 简介 Gloo 是 facebook出品的一个类似MPI的集合通信库(https://github.com/facebookincubator/gloo)。 大致意思是: Gloo 在每一个 Gloo context 之中有一个 rendezvous process,Gloo 利用它来交换通讯需要的细节。 在 C++ 世界中,比如 horovod/common/gloo/gloo_context.h,horovod/common/gloo/gloo_context.cc 之中有使用。 入口 gloo_run 是 horovod 之中,gloo 模块的 相关入口。 =gloo HOROVOD_GLOO_IFACE=lo HOROVOD_CONTROLLER=gloo python train.py 可以把这个格式缩写为:{horovod_gloo_env} command

    3.9K20发布于 2021-06-17
  • 来自专栏绿盟科技研究通讯

    主流云原生微服务API网关成熟度与安全功能对比分析

    3.2 Gloo架构 ? ? 图3 Gloo架构 因与Ambassador的架构几乎一样,在此不做赘述,下面我们以Gloo的组件架构说明: ? ? 图4 Gloo组件架构 由Gloo的组件架构可看出核心部分为Translation Engine, Gloo的控制平面其实就是Translation Engine和Envoy xDS服务器结合体,它为数据平面组件 2)Envoy API Gloo默认的限速方式,因为Gloo以Envoy作为其数据平面,故可以使用Envoy限速API去完成。 当有混合搭配 Kubernetes与Serverless时,Gloo可作为一种选择。 6. Gloo在安全性上表现突出,基本传统API网关具备的特性Gloo都包含。 不过可以作为Knative项目的第一个Istio替代品,说明Gloo的潜力也是不可估量的,笔者个人还是比较看好Gloo

    3.5K10发布于 2020-01-02
  • 来自专栏计算机视觉理论及其实现

    torch.distributed.init_process_group()

    Depending on build-time configurations, valid values include mpi, gloo, and nccl. ., "gloo"), which can also be accessed via Backend attributes (e.g., Backend.GLOO). This is applicable for the gloo backend.

    7.2K10编辑于 2022-09-02
  • 来自专栏信数据得永生

    PyTorch 1.0 中文文档:torch.distributed

    默认情况下,Gloo和NCCL后端构建并包含在PyTorch的分布之中(仅在使用CUDA构建时为NCCL)。MPI是一个可选的后端,只有从源代码构建PyTorch时才能包含它。 使用Gloo后端进行分布式 CPU 训练。 具有InfiniBand互连的GPU主机 使用NCCL,因为它是目前唯一支持InfiniBand和GPUDirect的后端。 如果您遇到NCCL的任何问题,请使用Gloo作为后备选项。(请注意,Gloo目前运行速度比GPU的NCCL慢。) 阅读全文/改进本文

    82620编辑于 2022-05-07
  • 来自专栏黑客下午茶

    Linkerd 2.10(Step by Step)—Ingress 流量

    Gloo 这里以 books 为例,查看 Demo: Books 了解如何运行它。 如果您使用 Gateway method(gloo install gateway)安装了 Gloo, 那么您将需要一个 VirtualService 才能将流量路由到您的 Books 应用程序。 要将 Gloo 与 Linkerd 一起使用,您可以选择两个选项之一。 自动的 从 Gloo v0.13.20 开始,Gloo 与 Linkerd 进行了原生集成, 因此会自动添加所需的 Linkerd header。 假设您将 gloo 安装到默认位置,您可以通过运行以下命令启用本机集成: kubectl patch settings -n gloo-system default \ -p '{"spec":{"

    1.7K20发布于 2021-07-07
  • 来自专栏罗西的思考

    [源码解析] 深度学习分布式训练框架 horovod (16) --- 弹性训练之Worker生命周期

    1.3.1 通信环 Driver 进程用于帮助 worker 调用 gloo 构造 AllReduce 通信环。 当 Horovod 在调用 Gloo 来构造通信域时,Horovod 需要给 Gloo 创建一个带有 KVStore 的 RendezvousServer,其中 KVStore 用于存储 通信域内每个节点的 0x02 总体生命流程 在 Driver 的 launch_gloo_elastic 之中,如下代码负责启动 worker。 6.2.2 构建 Gloo 前文我们提到过,在 python 世界调用 hvd.init 的时候,会进入到 C++世界,这时候如果编译了 GLOO,就建立了一个 GlooContext。 HorovodGlobalState horovod_global; #if HAVE_GLOO GlooContext gloo_context; #endif GlooContext 就得到了一个与

    65920发布于 2021-07-21
  • 来自专栏Rust语言学习交流

    【Rust日报】2021-03-07 rust lambda:适用于AWS Lambda的Rust运行时

    gloo:rustwasm project gloo 是 使用Rust和Wasm构建快速,可靠的Web应用程序和库的工具包。 GitHub: https://github.com/rustwasm/gloo Rust Style Guidelines rust-guidelines 收集了用于编写Rust代码的新出现的原理,约定

    55420发布于 2021-03-15
  • 来自专栏Rust语言学习交流

    【Rust日报】2021-03-08 3 月 27 深圳 Meetup 等你来

    虚拟化平台StratoVirt)的实践与应用 华为:基于TVM Rust Runtime和WASM沙箱运行AI模型 报名:https://www.oschina.net/m/event/2321485 gloo : 一个官方的 rustwasm 项目寻找 maintainer gloo 是 rustwasm 下的一个官方项目 (801星) , 由于作者不能再维护, 所以在寻找一个maintainer. 原始issue地址: https://github.com/rustwasm/gloo/issues/119 使用 Rust 构建 OpenStreetMap app: Part V 这是 <<使用 Rust

    69620发布于 2021-03-15
  • 来自专栏Hi0703

    2021-4-28

    Gloo-项目地址:https://github.com/facebookincubator/gloo 是一个类似MPI的通信库,你不需要考虑内存数据的拷贝,只需要实现逻辑就可以。 torch.distributed.init_process_group(backend, init_method='env://', **kwargs) 参数说明: backend(str): 后端选择,包括上面那几种 tcp mpi gloo

    1K00发布于 2021-04-28
  • 来自专栏罗西的思考

    [源码解析] PyTorch 分布式(4)------分布式应用基础概念

    对于 Linux,默认情况下,Gloo 和 NCCL 后端包含在分布式 PyTorch 中(仅在使用 CUDA 构建时才支持NCCL)。 下面是答案: 经验法则 使用 NCCL 后端进行分布式GPU训练 使用 Gloo 后端进行分布式CPU训练。 如果您在使用 NCCL 时遇到任何问题,请使用 Gloo 作为后备选项。(请注意,对于 GPU训练,Gloo 目前的运行速度比 NCCL 慢。) 我们计划在即将发布的版本中添加对 Gloo 的 InfiniBand 支持。 具有以太网互连的 CPU 主机 使用 Gloo,除非您有特定原因一定需要使用 MPI。 8.1.3 Gloo 后端 到目前为止,Gloo 后端 已经得到了广泛使用。

    3.2K32发布于 2021-11-16
  • 来自专栏计算机视觉理论及其实现

    Pytorch Distributed 初始化

    torch.distributed.init_process_group(backend, init_method='env://', **kwargs)参数说明:backend(str): 后端选择,包括 tcp mpi gloo torch.multiprocessing import Processimport timedef run(rank, size): passdef init_processes(rank, size, fn, backend='gloo torch.multiprocessing import Processdef initialize(rank, world_size): dist.init_process_group(backend='gloo

    1.8K10编辑于 2022-09-03
  • 来自专栏罗西的思考

    [源码解析] 深度学习分布式训练框架 horovod (12) --- 弹性训练总体架构

    Driver 进程的作用是: 调用 Gloo 帮助 workers 构造一个 AllReduce 通信环,或者说是通信域。 1.2 容错机制 Horovod 的容错机制是基于 gloo 来实现的,对于错误来说,这可以被认为是一个被动操作。 Gloo 本身是不支持容错的。 当众多worker之间对张量进行聚合操作时候,如果某一个worker失败,则gloo不会处理异常,而是抛出异常并且退出,这样所有worker都会报异常退出。 Horovod 必须捕获 gloo 抛出的异常,于是就构建了一个python处理异常机制。 此时gloo的runtime已经出现问题,通信环已经破裂,无法在剩余的 worker 之间继续进行 AllReduce 操作。

    1.3K20发布于 2021-07-14
  • 来自专栏存储公众号:王知鱼

    月之暗面:存储换算,倍增LLM推理效率

    关于 Gloo 高性能通信库 “Gloo”是指 Facebook 开源的一个高性能通信库,主要用于分布式机器学习和深度学习任务中的数据传输和同步。它被设计用于高效地处理大规模并行计算中的通信需求。 Gloo 的主要特点 多传输协议支持 : Gloo 支持多种底层传输协议,包括 TCP、UDP、RDMA 等,可以根据不同的网络环境和硬件配置选择最合适的传输方式。 通过优化这些原语的实现,Gloo 可以显著提高分布式训练的效率和速度。 灵活的组管理 : Gloo 允许用户动态创建和管理进程组,方便进行细粒度的通信控制。 易于集成 : Gloo 提供了简单易用的 API 接口,方便与其他框架和系统进行集成。 许多流行的深度学习框架(如 PyTorch)已经集成了 Gloo,用户可以直接使用其提供的通信功能。 值得一提的是:图中Gloo 通信库的时延较TCP明显高出,与高性能通信库不太匹配,可能是Gloo本身在特定场景就表现出低性能,也有可能是与TCP的时延数据颠倒了。

    2.4K20编辑于 2025-03-17
  • 来自专栏torch-detection-学习笔记

    Pytorch 分布式训练

    该参数仅用于 Gloo 后端。 backend:指定要使用的通信后端 小写字符串,支持的通信后端有 gloo,nccl ,必须与 init_process_group() 中一致。 各种后端 Gloo 后端 gloo 后端支持 CPU 和 GPU,其支持集体通信(collective Communication),并对其进行了优化。 (当前,Gloo 在 GPU 分布式上,相较于 NCCL 慢) 无限带宽互联的 CPU 集群 如果 InfiniBand 对 IB 启用 IP,请使用 Gloo,否则使使用 MPI。 在未来将添加 infiniBand 对 Gloo 的支持 以太网互联的 CPU 集群 使用 Gloo,除非有特别的原因使用 MPI。 该 module 仅在 gloo 和 nccl 后端上可用。

    2.9K30发布于 2020-09-07
领券