- 综合排序
- 最热优先
- 最新优先
- 来自专栏程序员读书笔记
Encoding and Decoding Custom Types
许多编程任务涉及通过网络连接发送数据，将数据保存到磁盘或将数据提交到API和服务。 这些任务通常要求在传输数据时将数据编码和解码为中间格式。
2.4K40发布于 2019-08-04 - 来自专栏MySQL解决方案工程师
LLM中的解码（Decoding）
在词汇分布选择方面，常见的方法包括： Greedy Decoding：每次选择概率最高的单词作为输出。虽然这种方法速度快，但可能会导致生成的文本缺乏多样性。 Non-deterministic decoding：解码的结果不是唯一确定的，而是具有一定的随机性或不确定性。 在某些情况下，使用 non-deterministic decoding 可以增加模型的灵活性和多样性。
72210编辑于 2024-06-14 - 来自专栏AI学习笔记
新型投机推理：Lookahead Decoding实现
Lookahead Decoding 的理论基础 核心原理 Lookahead Decoding 的核心思想是在解码过程中，不仅考虑当前 token 的生成概率，还通过预测未来的 token 来调整当前的决策 Lookahead Decoding 的实现方案 模型架构设计 Lookahead Decoding 的实现通常基于现有的序列生成模型，如 Transformer、LSTM 等。 Lookahead Decoding 的代码部署过程 在本节中，我们将详细介绍 Lookahead Decoding 的代码部署过程，包括环境搭建、模型实现和解码过程的代码示例。 Lookahead Decoding 的实例分析 为了更好地理解 Lookahead Decoding 的实际效果，我们选取了机器翻译任务作为实例进行分析。 Lookahead Decoding 的性能评估 为了全面评估 Lookahead Decoding 的性能，我们进行了多项测试，包括翻译质量、解码速度、资源利用率等方面。
69410编辑于 2025-12-25 - 来自专栏腾讯云TVP
Decoding LLM-native Agents: Bridging Compilation and Interpretation in AI
Since ChatGPT's explosive rise in 2022, artificial intelligence has rapidly transitioned from mere "chatbots" capable of responding to queries, to autonomous "agents" capable of executing tasks independently. In the emerging field of AI Agents, two architectural paradigms seem to have emerged: Compiled Agents and Interpreted Agents. Understanding their differences, capabilities, and limitations is essential for grasping the broader evolution of AI-driven productivity.
28810编辑于 2025-03-13 - 来自专栏程序媛驿站
综述 | 非自回归解码(Non-Autoregressive Decoding）
接下来我们以Slides的形式来聊聊非自回归解码(Non-Autoregressive Decoding)。
1.6K10编辑于 2022-04-11 - 来自专栏CSDN搜“看，未来”
问题解决：inittramfs unpacking failed:Decoding failed
进去之后，选最低版本的那个 recovery 的，别问我为什么选最低版本的，你大可以从高版本一个一个往下试，直到哪个版本可以打开如下界面为止：
1.6K10编辑于 2021-12-13 - 来自专栏Lcry个人博客
Rancher 1024 Decoding Challenge 解密解题全过程分析（附代码）
原题目如下： 1024 Decoding Challenge 共设有 2 个关卡，成功破解第 1 个关卡后，您将收到通往第 2 关的线索。 java.io.InputStreamReader; import java.nio.charset.StandardCharsets; import java.nio.file.Files; /** * SUSE Rancher 1024 Decoding
63220编辑于 2022-11-29 - 来自专栏AI SPPECH
Constraint Decoding 在 vLLM 中的位置：解码约束与生成质量的平衡
作者：HOS(安全风信子) 日期：2026-01-21 来源平台：GitHub 摘要： 本文深入剖析了Constraint Decoding在vLLM中的定位、设计原理和实现细节，包括其在解码流程中的位置 通过详细的代码示例和Mermaid流程图，展示了Constraint Decoding如何在保证生成质量的同时，实现高效的推理。 文章还对比了vLLM与其他框架在Constraint Decoding方面的差异，并分析了其在实际应用中的价值和未来发展方向。 1. 核心更新亮点与新要素 vLLM的Constraint Decoding功能引入了多项创新设计，使其在性能、灵活性和易用性方面表现出色： 2.1 多种约束类型支持 vLLM支持多种类型的约束条件，包括： 技术深度拆解与实现分析 3.1 约束解码在vLLM架构中的位置 在vLLM的架构中，Constraint Decoding位于解码流程的关键位置，介于推理引擎和输出处理之间： 推理引擎：负责生成token
22710编辑于 2026-02-02 - 来自专栏福大大架构师每日一题
2023-04-04：使用 Golang 和 ffmpeg-go 库实现 demuxing_decoding.c，轻松掌握音视频
2023-04-04：使用 Golang 和 ffmpeg-go 库实现 demuxing_decoding.c，轻松掌握音视频分离解码技巧。 /examples/internalexamples/demuxing_decoding/main.go ./resources/big_buck_bunny.mp4 . decoder ret = dec.AvcodecSendPacket(pkt) if ret < 0 { fmt.Printf("Error submitting a packet for decoding values are special and mean there is no output // frame available, but there were no errors during decoding libavutil.AVERROR_EOF || ret == -libavutil.EAGAIN { return 0 } fmt.Printf("Error during decoding
94920编辑于 2023-06-08 - 来自专栏编程技术沉思录
JetBrains GoLand 以debug运行Go程序时出现could not launch process: decoding dwarf section info at offset 0x0:
用以前一直在用的JetBrains GoLand 2017.3.3 x64版本运行了搭建的gin框架项目时，使用debug模式后，启动就出现了这样一条异常信息：could not launch process: decoding
2.9K40发布于 2021-07-19 - 来自专栏全栈程序员必看
OpenCV调用海康威视等摄像头（处理rtsp视频流）方法以及，出现内存溢出（error while decoding）或者高延迟问题解决
就是无法实现，我尝试了这位博主的方法，然而并没有解决的问题，效果还是原来的效果，还是三秒，真就是三秒啊~ 参考博客：解决Python OpenCV 读取IP摄像头（RTSP等）出现error while decoding
12.4K81编辑于 2022-11-02 - 来自专栏福大大架构师每日一题
2023-04-04：使用 Golang 和 ffmpeg-go 库实现 demuxing_decoding.c，轻松掌握音视频分离解码技巧。
2023-04-04：使用 Golang 和 ffmpeg-go 库实现 demuxing_decoding.c，轻松掌握音视频分离解码技巧。 /examples/internalexamples/demuxing_decoding/main.go ./resources/big_buck_bunny.mp4 . to the decoderret = dec.AvcodecSendPacket(pkt)if ret < 0 {fmt.Printf("Error submitting a packet for decoding decodingif ret == libavutil.AVERROR_EOF || ret == -libavutil.EAGAIN {return 0}fmt.Printf("Error during decoding
1.9K20编辑于 2023-04-05 - 来自专栏深度学习与python
使用 BigDL-LLM 加速 Intel ® 数据中心 GPU 上的 LLM 推理
例如，低比特（例如 INT4）优化和 Speculative Decoding 等技术为加速 LLM 推理提供了有效的选择。 Decoding 在 Speculative Decoding 中，一个小（草稿）模型快速生成多个草稿 Token，然后由大（目标）模型并行验证这些 Token。 BigDL-LLM 中的 Self-Speculative Decoding 理论上，使用 Self-Speculative Decoding 的 FP16 推理预期与原 FP16 模型推理具有相同的准确性 通过 Self-Speculative Decoding，我们观察到 FP16 推理的显著延迟改善（与没有 Self-Speculative Decoding 相比）。 平均而言，Self-Speculative Decoding 可以将 FP16 的下一个 Token 延迟提高约 35%。 图 3.
68310编辑于 2024-03-26 - 来自专栏自然语言处理(NLP)论文速递
Google | 提出CoT解码新方法，无需Prompt，就能让大模型(LLM)进行CoT推理
基于该种现象，本文开发了一种筛选 top- 解码路径的方法，并将其称为CoT-decoding，从而找出模型输出的最可靠路径。 结合以上内容，本文CoT-decoding将能够提供以下几种功能： 「探索替代标记路径」：CoT-decoding方法首先通过探索LLMs在解码过程中选择替代Token的路径，即在第一个解码步骤中选择不同的标记 通过选择这些路径，CoT-decoding方法能够提取出更可靠的推理路径，从而改善模型的推理性能。 「评估模型的固有推理能力」：CoT-decoding方法的一个关键目标是评估模型的固有推理能力，而不是依赖外部提示或特定的任务设置。 实验结果 为了验证CoT-decoding方法的有效性，本文使用GSM8K和MultiArith数据集进行数学推理任务的实验，CoT-decoding方法在PaLM-2模型系列上表现出色，与传统的贪婪解码方法相比
1.1K10编辑于 2024-02-22 - 来自专栏Postgresql源码分析
Postgresql源码（66）insert on conflict语法介绍与内核执行流程解析
语法手册：https://www.postgresql.org/docs/current/sql-insert.html 测试用例： drop table decoding_test; CREATE TABLE decoding_test(x integer primary key, y text); postgres=# select * from decoding_test; x | y ---- +--- 12 | 9 postgres=# INSERT INTO decoding_test(x,y) values(12,9) on conflict (x) do nothing; INSERT 0 1 postgres=# select * from decoding_test; x | y ----+--- 12 | 9 -- 没有报主键冲突，结果上看插入没有效果。 =# select * from decoding_test; x | y ----+--- 12 | 9 (1 row) postgres=# INSERT INTO decoding_test
2.3K20编辑于 2022-09-19 - 来自专栏脑机接口
CCF会议投稿 | 使用大脑信号解码人类情感模型
Decoding Models of Human Emotion Using Brain Signals Affective intelligence is becoming a growing important The need for technologies that are capable of automatically, dynamically, and reliably decoding human In recent years, emotion decoding from brain signals has become an attractive and purposeful research underlying emotions from the recorded ongoing brain signals, where the tremendous potentials in emotion decoding differences, there still needs great effort to propose more valid, reliable, and practical emotion decoding
38020编辑于 2022-09-22 - 来自专栏YoungGy
基于RNN的语言模型与机器翻译NMT
decoding_layer_train：得到decoder train过程的输出dec_outputs_train。 decoding_layer_infer：得到decoder infer过程的输出dec_outputs_infer。 ## Decoding Training def decoding_layer_train(encoder_state, dec_cell, dec_embed_input, ") as decoding_scope: dec_outputs_train = decoding_layer_train(encoder_state, dec_cell, dec_embed_input ", reuse=True) as decoding_scope: dec_outputs_infer = decoding_layer_infer(encoder_state, dec_cell
2.1K70发布于 2018-01-03 - 来自专栏机器之心
别再「浪费」GPU了，FlashAttention重磅升级，实现长文本推理速度8倍提升
更快的注意力解码：Flash-Decoding 新方法 Flash-Decoding 基于 FlashAttention，同时引入了一个新的并行维度：键值序列的长度。它综合了上述两种方法的优点。 Flash-Decoding 也在键和值之间并行化，代价是一个小的最终归约（reduction 步骤。 但是当序列长度从 512 增加到 64k 时，除了 Flash-Decoding，其他方法的可扩展性都很差。 Flash-Decoding 在序列长度扩展到高达 64k 时，几乎实现了恒定的运行时间。 使用 Flash-Decoding Flash-decoding 可以在以下链接中找到： FlashAttention 包，从 v2.2 开始：https://github.com/Dao-AILab/
1.2K40编辑于 2023-10-24 - 来自专栏悟空被FFmpeg玩
使用FFmpeg新解码API解封装解码音视频(代码实例)
CC doc/examples/demuxing_decoding.o src/doc/examples/demuxing_decoding.c:73:15: warning ' STRIP doc/examples/demuxing_decoding 为了修改方便，而网上又没有只管举例的相关完整的实例，所以在这里写一个例子，供大伙参考 doc/examples/demuxing_decoding printf "CC\t%s\n" doc/examples/demuxing_decoding.o; ccache gcc -MT doc/examples/demuxing_decoding.o -c -o doc/examples/demuxing_decoding.o src/doc/examples/demuxing_decoding.c ; strip -x -o doc/examples/demuxing_decoding doc/examples/demuxing_decoding_g
1.6K40发布于 2019-03-05 - 来自专栏量子位
PyTorch官方认可！斯坦福博士新作：长上下文LLM推理速度提8倍
提速8倍的长上下文推理方法来了 该方法被命名为Flash-Decoding。 并且在Flash-Decoding中，ttention/softmax既可以在分割块内，也可以跨分割块来执行最终的缩减，只不过后者可缩减的步骤很少。 结果显示，当序列长度扩展到64k时，Flash-Decoding实现了几乎恒定的运行时间。 如何使用？ Flash-Decoding或 FlashAttention方法。 团队介绍 目前Flash-Decoding还没出论文，但作者团队已透露，这次不再是Tri Dao“单打独斗”，不过一作仍然是他。
67810编辑于 2023-10-18
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号