首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 端脑分布式平台:基于腾讯云GAAP的AIGC降本增效方案

    剖析AIGC应用的效率与成本瓶颈 AIGC领域面临成本高企与全球访问效率不足的双重挑战。 构建端脑分布式网络与GAAP加速方案 由脑花科技【无锡】有限公司联合腾讯云推出端脑分布式平台,包含三大核心模块: 端脑分布式网络:创新分布式人工智能供应技术,整合10000+ GPU 验证量化降本增效与全球服务能力 平台应用效果经实测验证,核心指标如下(数据来源:端脑分布式网络、Cephalon Node说明): 效率提升:相对Kubernetes + Ray架构,调度速度提升 90%+; 成本优化:成本大幅节约50%+,同性能下价格砍半; 全球覆盖:具备50+全球服务能力,解决全球用户访问卡顿/延迟问题; 投资回报:共享模式下,服务器插电联网即可供, undefined腾讯全球数字生态大会背书下,该方案依托腾讯云基础设施,为AIGC智能体开发提供“+加速+安全”一体化支撑,实现降本、增效、全球可用目标。

    29810编辑于 2026-04-13
  • 来自专栏腾讯安全

    构筑新基建底座,腾讯安全助力企业降本增效

    放在现实科技文明中,这个超能力有另一个名字——。 物联网、5G网络、IPv6的发展,为实时性要求高、带宽需求量大的企业业务带来更多可能性,同时也对底层和安全保障提出了更高要求。 在这个背景下,企业所面临的挑战尤其突出。对于对计算性能有着高要求的业务,如果底层平台跟不上,就如同让F1赛车手去开公交车,能力难以施展,业务发展也会碍手碍脚。 安全VS传统,以全球分布式协作计算为例 与传统平台不同,安全平台支撑着更复杂、更多维的海量计算,全球分布式协作计算便是安全最常见的场景之一。 另一方面,安平天幕团队也联合星星海率先开启了基于AMD自研机型的软硬件协同开发,并基于硬件特性进行深度的CPU指令优化,比如NUMA、Cache、SIMD等,实现了巨大的降本增效收益。 1.png 依托新基建安全,成功护航广交会、世界智能大会 有,才能突破想象

    68851发布于 2020-07-16
  • 来自专栏产品经理的人工智能学习库

    – computation

    文章目录 人工智能里的是什么? 在普通电脑中,CPU就提供了帮助电脑快速运行。玩游戏的时候需要显卡提供,帮助电脑快速处理图形。 而在 人工智能中,需要有类似CPU和GPU的硬件来提供,帮助算法快速运算出结果。 之前在算法里讲过,在制造木桌的过程中,工厂的流水线就是算法。 在那个例子中,工厂中的机器就像,机器越好越先进,制造的过程就越快。 ? 越大,速度越快 维基百科版本 Techpedia版本 是使用计算机技术完成给定目标导向任务的过程。 可以包括软件和硬件系统的设计和开发,用于广泛的目的 – 通常构建,处理和管理任何类型的信息 – 以帮助追求科学研究,制作智能系统,以及创建和使用不同的媒体娱乐和交流。 查看详情 维基百科版本 是使用计算机的任何活动。它包括开发硬件 和软件,以及使用计算机来管理和处理信息,进行交流和娱乐。是现代工业技术的一个至关重要的组成部分。

    2.6K30发布于 2019-12-18
  • 以为用AI能降本增效?别傻了,镰刀已经举起

    二、闭环陷阱:为什么AI看起来能降本,实际却很难?老板算账的逻辑通常是线性的:员工月薪8000×10人=8万;AI订阅费+费=1万,所以我赚了7万。 [寡头垄断]:芯片稀缺+电力暴涨│(你省下的工资,变成了英伟达的利润和云厂商的租金)│├──>2. [政策合规成本]:AI产生的版权纠纷、隐私合规审查(需要高价聘请AI法律顾问,且未来极大概率开征"AI替代税")▼结论:初期Y<X(降本幻觉)中期Y=X(成本打平)后期Y>X(镰刀收割,且由于同质化 电力能降本增效吗?能,但最终受益的是全社会生产的跨越,而不是某个工厂老板单纯靠“少交电费”就能打败同行。 AI不是用来“降本”的,它是用来“升维”的。唯有用AI去创造以前人类根本做不到的新产品、新物种,去吃增量市场的红利,才是这场技术革命中唯一的解法。盯着存量成本算计的人,最终都会沦为镰刀下的韭菜。

    25310编辑于 2026-04-10
  • 来自专栏科技云报道

    之后,“存”上位

    芯片的摩尔定律逐渐逼近物理极限,存开始从幕后走向台前,成为AI领域下一个关键赛点。 长期以来,伴随企业数字化转型所建设的“烟囱式”AI基础设施各自为战,数据奔流,价值却困于“堰塞湖”。 存中心作为新型的数据基础设施,正成为AI时代数据流通和融合应用的破题关键。 AI时代的 “数据决定论” AI技术的发展离不开三大要素:数据、算法和。 在训练方面,高性能并行文件系统可以提升大模型训练效率,超大带宽和容量支持超万卡集群无瓶颈扩展,EB级扩展能力适应海量数据,加速卡直通技术使数据从存储到“一跳直达”。 构建AI时代新型 “数据粮仓” 与聚焦在“”不同,数据存聚焦在“数”和“存”,是数据生产要素处理的综合能力体现,肩负着为数字经济各种场景提供源源不断的“生产资料”的使命。 将目光投向更长远,新型AI存储很可能是撬动人工智能时代杠杆的另一个支点,“以存强”“以数助”亦是弯道超车的重要落点。当AI产业具备扎实的存底座,才能登高远眺,看见AI时代最美的风景。

    49100编辑于 2025-06-19
  • 来自专栏大语言模型,算力共享

    共享:环形结构的分配策略

    ​目录共享:环形结构的分配策略方法签名方法实现注意事项nodes.sort(key=lambda x: (x[1].memory, x[0]), reverse=True)end = round (start + (node[1].memory / total_memory), 5)共享:环形结构的分配策略这段代码定义了一个名为RingMemoryWeightedPartitioningStrategy

    1.1K20编辑于 2024-07-26
  • 破解大模型焦虑:TencentOS 计算加速与资源调度降本增效实践

    在生成式 AI 与大语言模型(LLM)爆发的行业情景下,企业基础设施正面临昂贵与资源浪费的深层矛盾。 然而,在实际运行中,底层却受制于三大核心痛点: 资源利用率极低:由于业务潮汐效应明显,划分不灵活,传统数据中心服务器 CPU 平均利用率仅为 15%,以 100 台 H100 为例,年浪费成本高达 内核级精细化资源切分与混部: qGPU 资源切分:实现 GPU 与显存的强隔离,支持驱动层虚拟化且近乎零损耗。 释放闲置价值并重塑 AI 基础设施投资回报率 通过计算加速与弹性调度,TencentOS 方案在核心业务指标上实现了量化的跨越式提升: 成本大幅骤降(核心 ROI 指标): 依托 qGPU 精细切分 结合 TI 平台的潮汐调度机制(夜间释放资源用于离线训练),集群整体利用率从 30% 跃升至 90%(提升 3 倍)。

    34210编辑于 2026-04-02
  • 来自专栏科技云报道

    更要“利”,“精装”触发大模型产业新变局?

    面对如此巨大的需求,企业如何在平衡与能耗开支的前提下,高效地利用和管理算资源,是实现降本增效的重要命题。这其中,对基础设施和软件平台的精细化运营管理成为破题的关键。 大模型对的需求是显而易见的,但更关键的点可能在于能否把更高效地挖掘出来。在不同的阶段,企业对于需求也不尽相同。 《中国发展观察报告》显示,有些中心整体利用率不足30%,大量的资源在沉睡中等待被唤醒,供需矛盾凸显。 这种演进使智能变得不可或缺,且不再局限于简单的叠加或升级,而是在多元重构驱动下实现的极致拓展与跃迁。 “精装”概念的提出,不仅从服务模式上缩短了企业与智之间的路径,还帮助企业最大限度降本增效,实现了从效率到经济性的精益管理。

    1K00编辑于 2025-03-04
  • 来自专栏ADAS性能优化

    生存VS

    英國「金融時報」報導,鑒於美國近期祭出制裁來壓制中國電腦運能力,中國科技企業阿里巴巴和壁仞科技為了避免受制裁,正將各自最先進晶片的設計微調,以降低運處理速度。 華府10月宣布的制裁措施,禁止任何運能力超過一定門檻的半導體產品出貨至中國除非得到许可。這打亂了上述中國科技企業的發展計畫。 但中國工程師表示,要判斷哪些晶片產品不受制裁並不簡單,因為華府對於如何計這個速率沒有清楚規範。 根據研究集團伯恩斯坦(Bernstein)計,從壁仞官方網站存檔紀錄來看,在美國宣布制裁之前,壁仞首款處理器BR100的規格算出傳輸率是640 GB/s,超過限制門檻;但根據壁仞官網目前發布的BR100

    1.3K20编辑于 2022-12-20
  • 来自专栏运维开发王义杰

    函数计算

    对于一个函数消耗的,我们通常用它的运行时间来衡量,例如在基准测试中。你可以测量一个函数运行一次(或者多次)所需要的时间,然后用这个时间来比较不同函数或者同一个函数的不同实现。 然而,这种方法并不能直接测量一个函数消耗的CPU。为了获得这种信息,你可能需要使用一种叫做CPU profiling的技术,它可以测量程序在CPU上花费的时间。Go的pprof包提供了这种功能。

    78210编辑于 2023-08-16
  • 大模型推理架构的降本增效实践:破解成本与工程落地瓶颈

    验证极致并发与调优的实战路径 在真实高并发与复杂业务场景下,该架构体系已成功转化为显著的客户投资回报: 某LLM客户(突破并发与吞吐极限): 采用 TACO-LLM 推理加速方案后,总吞吐量比 vLLM XX科技/Vega AI(优化成本与合规生命线): 业务挑战: 作为日均百万级图片生成的AI绘画平台,面临极高的模型微调成本及恶意盗刷、违规内容生成的安全风险。 效能产出(): 综合利用高性价比GPU、CFS Turbo及GooseFS加速能力解决模型微调中的“崩脸崩手”问题。整体架构使GPU成本降低 40%,推理加速效率提高 30%。 内核级的调度控制: 凭借自研 TencentOS “如意RUE”内核与底层通信优化,在不修改业务代码的前提下实现 CPU/GPU 在离线混布与秒级资源抢占,触达了提升GPU绝对使用效率的技术底线。 精细化商业落地的支撑: 提供包括“文档预处理”、“Embedding”、“检索算法”在内的端到端 RAG 套件,并支持按包月/按量、多地域、多卡型进行元数据管理。

    15910编辑于 2026-05-31
  • 来自专栏鲜枣课堂

    世界简史(下)

    埃里克·施密特 云计算的本质,是把零散的物理算资源变成灵活的虚拟资源,配合分布式架构,提供理论上无限的服务。 趋势 2010年至今,发展出现两个显著趋势。 一,泛在化。 各个行业对有着不同的需求。于是,逐渐开始细分,分为通用、超算算、智能。 不同的需求,也使得芯片产生了不同的形态。 除了传统的CPU和GPU之外,NPU、DPU等单元开始出现,并成为大众关注的焦点。 在高性能计算上,集群成为超和智的新宠。 而电子计算机出现后,只用了不到一百年,就让翻了百万亿倍。 的飞跃 刚刚过去的四十年,信息技术革命的浪潮,席卷了我们生活的每一个角落。整个人类社会,在的驱动下,发生了翻天覆地的变革。 我们对的需求,还在疯狂增长。 在摩尔定律逐渐走向瓶颈的前提下,我们该如何实现的倍增?以量子计算为代表的新型,是否会全面崛起? 就让时间来告诉我们答案吧! —— 全文完 ——

    76320编辑于 2023-08-21
  • 来自专栏大语言模型,算力共享

    服务标识封装

    为了解决这一问题,服务标识封装技术应运而生,旨在实现服务与IP层的解耦,提升服务的灵活性和可扩展性。 这个overlay层用于封装服务标识,使得服务可以在不改变现有IP网络架构的情况下独立部署和管理。 服务标识:在overlay层中封装的服务标识是区分不同服务的唯一标识。 IP层解耦:通过服务标识封装,服务的路由和管理不再依赖于IP层。这意味着网络中间转发节点在转发数据时,无需识别服务标识,仅做普通路由转发即可。 可扩展性:随着服务的发展,可以通过增加新的服务标识来扩展网络功能,而无需改变现有网络架构。兼容性:服务标识封装技术可以与现有网络架构兼容,实现平滑过渡。 数据中心网络:在数据中心网络中,服务标识封装技术可以提升数据中心的资源利用率和服务质量。服务标识封装技术是一种实现服务与IP层解耦的有效手段。

    54420编辑于 2024-07-28
  • 来自专栏软硬件融合

    芯片,如何突围?

    作为常年从事计算机芯片相关工作的我,今天就从芯片这个视角出发,谈谈对国内芯片如何实现突围的个人的一些看法。 核心的原因在于,这是目前的GPU计算集群所能支撑的上限: 一方面,单芯片已经瓶颈,增长极度缓慢。 可以在工艺落后1-2代的情况下,实现单个芯片的更优。 方法二,网络。通过网络、东数西,实现跨集群的调度和协同,可以实现资源的高效利用。 方法三,智能网联。 更庞大节点,更高性能更低延迟的网络,更强大的基础设施,实现更强大的宏观数字系统。 从ChatGPT等大模型的兴起,看未来计算芯片的发展趋势 从网络发展,看未来十年的宏观体系 超异构处理器HPU和系统级芯片SOC的区别在哪里?

    79720编辑于 2023-11-16
  • 来自专栏软硬件融合

    网络系列文章(二):从云计算到网络

    编者按 网络,对行业来说,是“整合”还是“分工”? 一直以来,我都认为网络是行业整合的过程,通过网络运营商把全国的资源统筹到一起,形成高效的统一供应。 而在网络时代,最主要做的是构建后台中心(从数据中心升级到中心)和前台服务运营解耦分工的新业务模式。 中心,专注于中心建设,专注于的最优性能和最低成本(包括建设成本和运营成本);同时,还要有非常广阔的销售渠道,确保的广泛销售,最大限度减少闲置资源。 3.3 生产和运营的解耦 在云计算时代,供应和运营是一体的,客户是需求方。像电商的平台、卖家、买家三方关系一样,网络时代,需要实现供应和运营的解耦: 供应商。 依据规模从大到小,包括:大规模中心、小规模边缘中心、用户现场机柜,以及批量终端。 需求方。数字化业务需求的各类企业。

    2.2K12编辑于 2024-03-27
  • 来自专栏鲜枣课堂

    世界简史(中)

    接上集:世界简史(上) 在上一篇里,小枣君提到了ENIAC的诞生。 其实,在1945年-1948年,也就是我们中国还处于内战时期时,除了ENIAC诞生外,科技领域还发生了好几件大事。 它改变了计算机产业的商业模式,标志着不再仅为少数大型企业服务(大型机),而是开始昂首走向了普通家庭和中小企业。 技术蓄力 除了处理器之外,计算机存储设备和网络技术也有显著进步。 未完待续…… 敬请期待——《世界简史(下)》 参考文献: 1、《计算机的发展历史汇总》,网络; 2、《发展简史》, 庐山真容; 3、《世界上第一台个人电脑是哪台?》

    78820编辑于 2023-08-21
  • 来自专栏SDNLAB

    “东数西”培育壮大经济

    “东数西”工程旨在通过国家枢纽节点的规划和建设,引导东部数据中心建设集约化发展,西部数据中心建设跨越式发展,实现东西部需求与供给统筹调度,各级数据中心集群由中心城市向城市周边转移,推动、网络、 “东数西”将为我国建设一张大网,又可成为网络。 我国对网络早有布局。 并且,根据《中国发展指数白皮书》发布的数据显示,中国资源中每投入1元带来的经济收益是3-4元。 ,包括《中国联通网络白皮书2019》、《感知网络技术白皮书2019》、《中国通信学会网络前言报告2020》、《多样性技术愿景白皮书2021》、《中国发展指数白皮书2021》、《中国移动网络白皮书 ,整个市场的技术创新和卡脖子技术的沉淀相对薄弱;然后,虽然我国在网络标准规范方面已有初步布局,形成了网络5.0产业联盟网络特设工作组;CCSA TC621 网推进组;ITU 网络标准等,但是在具体方向上仍有许多空白

    1.8K30编辑于 2022-04-29
  • 来自专栏Python项目实战

    云端调度算法研究:不是不够,是你不会“分”

    云端调度算法研究:不是不够,是你不会“分”大家好,我是Echo_Wish。今天想跟你聊一个看起来很高大上、但本质特别接地气的话题——云端调度算法。 很多人一提调度,第一反应是:“那不是云厂商、Kubernetes、调度器干的事吗?跟我有啥关系?”但我可以很负责任地说一句:你系统慢、成本高、资源利用率低,90%跟调度有关。 一、先说一句大实话:云端,本质是“抢座位”我们把云端抽象一下,其实特别像:你有一堆座位(CPU、内存、GPU、IO)一堆人要坐(任务、Pod、作业)每个人要求不一样:有人要靠窗(低延迟)有人要连坐 二、云端调度,调的到底是什么?别被“”这两个字骗了,它不只是CPU。 2️⃣冷启动与预热容器拉镜像GPU初始化JVM启动很多时候:不是没,是“没热身”。3️⃣异构调度现在的云,不只有CPU:GPUNPUFPGA调度策略必须知道:“这活,谁干最合适。”

    32110编辑于 2025-12-30
  • 来自专栏鲜枣课堂

    世界简史(上)

    █ 从结绳记事到阿拉伯数字:的萌芽 ENIAC是一个里程碑。它将人类发展史分为了前后两个部分。 在继续下半部分之前,我们还是先来回顾一下上半部分的历程。 从远古时期开始,人类就掌握了。 而完成整个计算过程的能力,就是(Computing Power)。 动物也有大脑,也有,但是远远不如我们强劲。 仅仅依靠大脑这个“原生”工具,不太够用。即便是用上手指、脚趾,也不行。所以,我们开始借助外部工具。 最早期,我们使用的外部工具是草绳、石头,也就是所谓“结绳记事”。 动力机械崛起,开始取代手工劳动,成为主要生产工具,也开始向更先进的机械化方向演进。 工具想要机械化,首先要解决信息表达方式的问题。 二战爆发后,军事需求大大刺激了的发展。军方需要更加强劲的,完成密码加密解密、火炮弹道计算甚至火箭发射等重要任务。

    1K20编辑于 2023-08-21
  • 来自专栏云头条

    服务哪家强?

    数字技术正在融入生产生活的每一个环节,成为数字经济时代的新生产的价值正在超越资源本身,服务应运而生。作为一个新兴产业,我们该如何评估算服务? 站在用户视角,服务是一项产品,产品也是服务评估模型的核心维度。 服务价值评估模型的意义在于,在某种程度上给业界以指引,服务厂商可按部就班补足自己的短板;放大到产业,众多厂商形成合力,认知到建设产业生态的正确“姿势”,形成新型服务的潮流。 最终要落到实际应用场景才能兑现价值,千行百业需要的不只是单纯的,更是以为基础的服务体系,需要多维度考量用户应用、成本、兼容性等因素。 从整体资源分配角度来看,一站式服务平台可以将多方、异构资源整合,实现资源的有效调度、管控,解决由于区域间不平衡而导致的供需矛盾问题,一站式完成算生产、聚合、调度、释放。

    3.1K20编辑于 2022-09-08
领券