长久以来，在大众认知中，高性能计算、人工智能训练与推理的核心算力担当都是GPU。无论是顶尖超算集群，还是大模型训练服务器，搭载大量GPU芯片几乎成为行业标配，G...

上一篇把工具、sandbox 和环境反馈接回了训练信号。本文继续看这个设计的代价：一旦 rollout 不再是单轮补全，而是长 prompt、长 respons...

随着大语言模型（LLM）、多模态模型以及 AI Agent 应用的快速发展，企业对于模型部署、推理服务、资源调度和基础设施管理提出了更高要求。传统单机部署方式在...

在 Windows 10 系统中，使用 AMD 经典老卡 RX580 运行 Ollama 大模型，无需复杂的 ROCm 或 CUDA 配置，借助 Ollama ...

曾经有那么一个时代，前沿 AI 研究是由"肉体计算机"在吃饭、睡觉、享受其他乐趣的间隙完成的，偶尔通过"组会"这一仪式，用声波互联的方式同步一下进展。那个时代早...

在硬件验证的工程实践中，GPU 压力测试是一个看似简单却容易被低估的环节。无论是新装机器的出厂验收、二手硬件的可靠性评估，还是长期运行后的散热系统健康检查，单一...

-d TYPE 配合 nvidia-smi -q 使用，只输出指定模块信息，多模块用逗号分隔；功耗、利用率、时钟会附带最大 / 最小 / 平均值采样数据；不能和...

加上之前Google的TPU v6和Meta的MTIA v2——六家巨头在一年多时间里，全都拿出了自己的芯片方案。

在前一篇使用Ollama在本地运行QWen3:30B的时候，发现一个问题，即大模型本地运行时没有调用AMD Ryzen AI Max+ 395的GPU，是使用...

在上一篇文章中简单介绍了DDR、GDDR还有HBM的区别，CPU需要内存的低延迟而GPU需要显存的高带宽。但在最近几年的PC产品中（其实不止PC也不仅是最近几...

之前写过不少关于数据库使用的硬件的文章，主要集中在CPU、内存、磁盘和网络，但是随着AI时代的来临，似乎还有一块硬件没有怎么去写，那就是算力的核心GPU。

上一篇解释了 single controller：PPO 主循环保留在一个 controller 进程里，一行 WorkerGroup 调用会被展开成 disp...

上一篇我们把 RLHF 看成一条高层 Dataflow：rollout 生成样本，reward/ref/value/advantage 补齐训练信号，actor...

能不能开100个窗口不卡，跟浏览器进程管理架构、内核定制深度、内存回收策略直接相关。市面上能跑100个窗口的产品有好几款，但"开了不卡"和"开了能用"是两回事。

你在终端里敲下 tab，AI 补全了剩下的代码。编译通过，逻辑通顺，变量命名比你写的还漂亮。你甚至有点恍惚——这家伙是不是真的懂我在干什么？

NVIDIA Jetson设备升级JetPack 7.2系统后，几个常用AI开发工具、容器环境与可视化工具出现GPU加速失效问题，普遍表现为程序崩溃、静默降级C...

一、摘要： 3D建模与视频渲染对计算资源要求极高，传统本地工作站面临硬件成本高、升级困难、协作不便等痛点。腾讯云CVD提供多种高性能GPU图形云桌面，让设计团队...

README 里说得很直接：KServe 同时面向 Generative AI 和 Predictive AI。