- 综合排序
- 最热优先
- 最新优先
- 来自专栏GoCoding
Triton 开始
Triton，本文指 OpenAI Triton，先看官方介绍， Triton is a language and compiler for parallel programming. 本文聚焦于 AI 编译器开发，想的是怎么把 Triton + MLIR 上手玩起来。 不过在此之前，先聊聊我写这篇文章的初衷。 为什么写 Triton？ 我也是初次接触 Triton。 Triton 的核心优势 Triton 核心优势：用 Python 写 GPU 算子，基于 MLIR 轻松跨硬件，已是 PyTorch 高性能算子的事实标准前端。 追踪编译链使用torch.compile或Triton的JIT功能运行一个简单内核，并学习如何输出其关键中间表示。 查看Triton IR了解高级Python操作如何被降低为Triton IR操作。 查看MLIR理解Triton IR是如何被转换为MLIR中的Triton, LLVM, NVVM等Dialect的。这是理解其跨硬件能力的关键。
17710编辑于 2026-03-22 - 来自专栏GoCoding
Triton 环境
（Python 版本） # https://triton-lang.org/main/getting-started/installation.html pip3 install triton # : {triton. start triton #docker exec -it triton bash apt update -y apt install -y python3 python3-dev python3- /triton.git cat triton/cmake/llvm-hash.txt #cd /source/ #git clone https://github.com/llvm/llvm-project.git : {triton.
19010编辑于 2026-03-22 - 来自专栏AI算法能力提高班
Model deployment for Triton
如：Triton Inference Server、BentoML等。 image-20230803175337347 image-20230802170341739 Triton features NVIDIA Triton Inference Server提供了针对 /Yolov3_Dynamic_Batch_TensorRT_Triton Yolov3_Dynamic_Batch_TensorRT_Triton https://zhuanlan.zhihu.com scheduling and batching 定义Triton应使用哪种调度测量来调度客户端的请求。调度策略也是Triton一个非常重要的feature，它也可以提高GPU的利用率，增加模型的吞吐。 这样，Triton刚刚加载某个模型时候，会向模型发送热身请求。
1.8K21编辑于 2023-09-13 - 来自专栏GoCoding
Triton + RISC-V
如何深入学习 Triton 的编译器技术栈？ 为此，我设定了一个 Triton + RISC-V 的学习目标：尝试将一个简单的向量加法算子，通过 Triton 编译并运行到 RISC-V 仿真环境上。 技术路径 Triton 在 RISC-V 上的技术路径经历了从“能跑”到“高性能”的演进，核心挑战是如何将 Triton 基于 Tile（分块） 的编程模型高效映射到 RISC-V 的 SIMD（向量） 1.1 编译管线 目前主流的技术路径是基于 MLIR 构建的： Triton AST -> TTIRPython 代码被解析为 Triton 特有的中间表示（TTIR）。 生成 LLVM IR调用 Triton-CPU 的内置编译器，将 Triton 代码 JIT/AOT 编译。它会将 Triton 代码降级（Lower）为包含向量操作的 LLVM IR。
23810编辑于 2026-03-22 - 来自专栏AI工程落地
Triton Inference Server调研
整体框架 用户请求通过HTTP或gRPC接口发送到triton server，triton根据支持的多种调度策略、批量算法，把请求路由到不同的框架后端（如Pytorch、ONNX等）。 the Triton Inference Server.） in Python. tensorrt-llm：triton-inference-server/tensorrtllm_backend: The Triton TensorRT-LLM Backend backend for Triton. ....... ：triton-inference-server/local_cache: Implementation of a local in-memory cache for Triton Inference
1.4K10编辑于 2025-01-14 - 来自专栏AI工程落地
OpenAI Triton现状调研
Triton源码学习 Ops算子 triton支持的都是小算子（如log、exp、cat、reshape等，相当于模拟器算子），算子列表见：triton.language — Triton documentation /microsoft/triton-shared 寒武纪 和微软的triton-shared类似，开源了基于Linalg编译技术和Triton编程语言的AI编译器前端，可快速集成新的硬件后端。 https://github.com/Cambricon/triton-linalg 智源研究院 基于Triton实现的高性能算子库，通过在PyTorch的ATen后端注册，FlagGems实现了无缝过渡 ，允许用户切换到Triton函数库，而无需修改其模型代码。 主要支持的还是英伟达的GPU，可能比cuda要方便用户编程，所以英伟达也在支持Triton OpenAI Triton的主要贡献者
1.2K21编辑于 2024-11-15 - 来自专栏企鹅号快讯
TRITON恶意软件攻击工业安全系统
表1 TRITON恶意软件描述 事件总结 攻击者获取SIS工程站的远程访问权限后，利用TRITON攻击框架对SIS控制器进行重编程。 ·TRITON可以修改SIS控制器中的应用内存，这会导致有效性检查失败。 ·TRITON运行的这段时间会产生failure。 ·迄今没有发现现存的和外部条件在事件中引起错误（fault）。 TRITON正是利用了这一点，证明了DCS和SIS集成时通信的风险。 TRITON恶意软件能与Triconex SIS控制器进行通信，用攻击者定义的payload对SIS控制器进行重编程。分析的TRITON样本在Triconex的执行列表中增加了攻击者提供的程序。 图3 Triconex 钥匙开关 技术分析 图4 TRITON架构和攻击场景 TRITON应用在运行Windows操作系统的SIS工程站上。
2.1K100发布于 2018-02-23 - 来自专栏大模型
基于EAS部署triton推理服务化框架
本文是基于EAS产品环境部署triton框架实现yolo12模型的服务化部署，本文暂时聚焦于单模型部署； 部署步骤 1. triton镜像部署： 基于PAI平台的模型在线服务EAS自带的Triton镜像 [eas-registry-vpc.cn-wulanchabu.cr.aliyuncs.com/pai-eas/tritonserver:25.03-py3]部署Triton； 2. onnx模型文件生成 = Path("/mnt/data/xxx/xxx/models/triton/") triton_model_path = triton_repo_path / model_name # Create Model path shutil.move(onnx_file, triton_model_path / "1" / "model.onnx") # Create config file (triton_model_path 假设模型存储目录在oss://examplebucket/models/triton/路径下，模型存储目录的格式如下： triton └──yolo ├── 1 │ └── model.onnx
40920编辑于 2025-06-16 windows上通过whl文件安装triton模块
在Windows系统中，通过.whl文件安装Triton是一个相对直接的过程。 二、下载Triton .whl 文件 访问可靠的来源下载适用于你的Python版本和操作系统的Triton .whl 文件。 四、验证安装 打开Python交互式解释器或创建一个新的Python脚本来测试Triton是否安装成功。 输入以下代码并运行： import triton print(triton. __version__) 如果安装成功，这将输出你安装的Triton版本号。 五、使用Triton 你可以尝试使用一些基本的函数来验证安装是否成功。 例如，创建一个简单的Triton程序，利用Triton的JIT编译功能来加速计算。 查阅Triton的官方文档，了解更多高级配置和使用方法。
3.2K10编辑于 2026-02-06- 来自专栏大语言模型
使用Triton+TensorRT-LLM部署Deepseek模型
本文主要介绍如何使用Triton+TensorRT-LLM来部署大语言模型。1. Triton介绍在AI领域，Triton有两个有影响力的含义，一个是OpenAI发起的高层次kernel开发语音Triton;一个是NVIDIA 开源的为用户在云和边缘推理上部署的解决方案Triton 本文介绍的Triton是后者，模型部署方案。 2. triton inference server快速部署triton快速部署可以参考官方文档：https://github.com/triton-inference-server/server/blob ，恭喜~triton服务启动成功了，后端是tensorrt_llm。
4.7K11编辑于 2024-04-17 - 来自专栏开源部署
SmartOS基础知识及Triton部署简述
Triton： 1.由于Triton是安装在主节点（head node）上并控制从节点（compute node）的，所以需要至少两台服务器，推荐三台。 启动 先从网上下操作系统，由于Triton是集成到Smartos里面一并安装的，所以不需要先下Smartos系统，直接装Triton就行了。 Triton head node网络配置 Triton head node的安装过程中，网络配置是最复杂的。 Triton用它来做内部管理，所有核心服务都会在这个网络上，并且加了一个额外限制，不能连接外网。此外需要预留18个ip地址给Triton用。 2.external。 这是一个常用网络名称，Triton将它定义成有外网访问的网络，并且可以被共享。此外需要预留6个地址给Triton用。 3.underlay。高级服务用的，暂时忽略。
2.7K31编辑于 2022-07-14 triton+tensorrt-llm后端部署LLM服务
=/Qwen2.5-0.5B-Instruct MODEL_FOLDER=/opt/tritonserver/triton_model_repo TRITON_MAX_BATCH_SIZE=4 INSTANCE_COUNT }/preprocessing/config.pbtxt tokenizer_dir:${TOKENIZER_DIR},triton_max_batch_size:${TRITON_MAX_BATCH_SIZE :tensorrtllm,triton_max_batch_size:${TRITON_MAX_BATCH_SIZE},decoupled_mode:${DECOUPLED_MODE},engine_dir } -i ${MODEL_FOLDER}/tensorrt_llm_bls/config.pbtxt triton_max_batch_size:${TRITON_MAX_BATCH_SIZE},decoupled_mode /triton_model_repo/ --tokenizer /Qwen2.5-32B-Instruct/
44810编辑于 2026-03-25triton 在模型推理中的应用
结合最近的实践经验，抛砖引玉浅聊triron在模型推理中的应用，主要从triton的基本原理、应用、关键参数配置等方面阐述。 以下是 Triton 的核心原理和关键特性：1. （2）内存层次抽象分级内存访问：Triton 显式区分不同内存层级（如全局内存、共享内存、寄存器），通过修饰符（如 @triton.jit）提示编译器优化数据移动。 （4）融合操作（Operator Fusion）Triton 支持将多个逐元素操作（如矩阵乘+激活函数）融合为单个内核，减少内存往返开销。 Triton 支持所有 NVIDIA GPU，x86 和 Arm® 架构 CPU 以及 AWS Inferentia。
2.4K10编辑于 2025-06-20- 来自专栏FreeBuf
FireEye报告：揭露新型工控系统恶意软件TRITON
目前，我们把这种恶意软件命名为TRITON，攻击者利用TRITON攻击框架能与施耐德电气公司的Triconex安全仪表系统控制器（SIS）形成通信交互，尽管我们暂时还未追溯定位到实际的攻击者，但我们肯定该攻击事件的幕后黑手为国家支持型黑客 TRITON特点 TRITON是继2010年针对伊朗的Stuxnet和2016年针对乌克兰的Industroyer后，为数不多可以被公开检测识别到的工控系统恶意软件系列之一，TRITON与这些攻击类似， 攻击者在取得SIS系统控制权后不久就部署了TRITON，明显表示他们已经预先创建并测试过该恶意工具的软硬件运行环境；另外，TRITON框架还被设置为使用专门未公开的TriStation协议来进行通信，可以说明 此次TRITON攻击反映出了DCS与SIS集成设计双向通信的安全风险。 TRITON恶意软件功能 TRITON攻击框架具备多种恶意功能，包括程序读写、各种功能读写以及查询SIS控制器状态，但trilog.exe样本只具备某些功能，不包括TRITON的全面侦察功能。
1.5K50发布于 2018-02-26 - 来自专栏GPUS开发者
利用 NVIDIA Triton 2.3 简化和扩充推理服务
Triton是一款高效率推论伺服软件，让您能专注于开发应用程序。 -应用程序体验：Triton具有可以让应用程序进行通讯的标准 HTTP/REST 和gRPC 端点。Triton 可支持实时、批次和串流推理查询，以提供最佳的应用程序体验。 在实际使用时，无须中断应用程序即可于 Triton 中更新模型。Triton提供高传输量推理，同时使用动态批处理和并行模型执行，以符合严格的低延迟考虑。 发表 Triton 2.3 我们很高兴能发表 Triton 推理服务器 2.3 版。 请从 NGC 下载 Triton 推理服务器 2.3 版，并从 triton-inference-server/server GitHub 储存库取得原始码。
2.5K21发布于 2021-03-12 - 来自专栏GiantPandaCV
OpenAITriton MLIR 第一章 Triton DSL
OpenAI/Triton MLIR 第一章: Triton DSL 本文首发于GiantPandaCV,未经作者允许不得转载 前言 上一章的反响还不错，很多人都私信催更想看Triton的具体优化有哪些 那么，再次回到Triton，Triton给我们提供了一个什么样的编程范式呢？ 有关Triton这门编程语言的大部分东西都位于/python/triton的目录下，该目录下的compiler，language，runtime是定义有关Triton DSL描述对应具体workload 要使用Triton的DSL，在最开始的时候，我们需要通过如下代码将Triton引入我们的开发环境中，这就类似以前写pytorch时候使用的import torch import triton import 首先在Triton中定义一个kernel的时候，需要使用@triton.jit对其进行装饰。
1.6K60编辑于 2023-08-25 - 来自专栏GiantPandaCV
【BBuf的CUDA笔记】十三，OpenAI Triton 入门笔记一
当然笔者由于目前由于工作需要也需要用Triton，所以就有了这系列Triton学习笔记。 本篇文章开始入门一下OpenAI的Triton，然后首先是从Triton介绍博客看起，然后对triton官方实现的vector_add和fused_softmax还有Matmul教程做一个阅读，也就是 OpenAI Triton介绍阅读 这里来看官方的介绍：https://openai.com/research/triton ，从官方的介绍中我们可以看到OpenAI Triton的产生动机以及它的目标是什么 这里是说Triton 的良好性能源于一个以 Triton-IR 为中心的模块化系统架构，Triton-IR 是一个基于 LLVM 的中间表示，在这个系统中，多维值块（这个是MLIR的概念）是一等公民。 # 使用`triton.jit`装饰的函数可以通过`triton.autotune`装饰器进行自动调优，该装饰器包括： # - 一系列定义不同配置的`triton.Config`对象， #
4.1K10编辑于 2024-01-23 - 来自专栏云头条
OpenAI 开源 Triton语言：取代英伟达的 CUDA
两年前，OpenAI的科学家Philippe Tillet就在一篇学术论文中介绍了Triton的第一个版本。 首先是，Triton可以加速AI项目，因为开发人员可以减少用来优化代码的时间。 OpenAI的Tillet在今天的一篇博文中解释：“有了Triton ，就可以花较少的精力获得最高的硬件性能。 OpenAI表示，Triton 自动执行这项任务，从而为开发人员节省时间。 Triton优化的第二个计算步骤是将收到的数据块分布到GPU的SRAM电路中，以便尽可能快地分析它们。 Triton的源代码可从GitHub 获得（https://github.com/openai/triton）。
2.6K20编辑于 2022-03-18 - 来自专栏GiantPandaCV
【BBuf的CUDA笔记】十四，OpenAI Triton入门笔记三 FusedAttention
前言 继续Triton的学习，这次来到 https://triton-lang.org/main/getting-started/tutorials/06-fused-attention.html 教程 另外之前在Triton的issue里面还刷如果HeadDim=128，Triton的Bakcward会比cutlass慢更多：https://github.com/openai/triton/issues 我这里尝试用Python来模拟一下这个算法的流程，实现之后对Triton的实现会有帮助，因为从前面几节Triton的教程来看，相比于单纯的Python实现Triton kernel只是多了一个块级别的kernel 这个交换的优化方法是由Phil Tillet在Triton提出并实现的，也就是下一节要解读的Triton代码了。 FlashAttention V2 Forward Pass Triton 实现解读 有了上面的铺垫，就可以直接来看Triton的实现了，这里只关注 Forward Pass部分，Triton的核心计算逻辑在下面的这个函数
3.1K10编辑于 2024-02-29 deepstream:5.1-21.02-triton的docker无法使用pytorch
deepstream:5.1-21.02-triton的docker安装pytorch后会提示 libtorch_cuda_cpp.so: undefined symbol 参照Unable to Import According to Release Notes :: NVIDIA Deep Learning Triton Inference Server Documentation 1, triton is using a dedicated Pytorch repo: triton-inference-server/pytorch_backend 1, so the incompatibility may
20000编辑于 2025-07-18
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号