AutoClaw实测：动口就能搞定音频提取、视频拼接，还能接入飞书！

分享一款智谱的龙虾 AutoClaw，亲测可通过对话指令完成视频音频提取、视频拼接等操作，支持自定义模型，还能接入飞书配置机器人，全程动口不动手，操作简单且效果...

使用AI编程开发 乘法竖式计算演示web应用

本文使用AI辅助，完全不敲一行代码，实现了一个乘法竖式计算演示的web应用，并部署到了github pages上

多进程CUDA初始化的问题 Cannot re-initialize CUDA in forked subprocess

上面这个例子会报错，主进程触发了 CUDA 初始化，fork 出来的子进程中创建 tensor 的时候报错了

显存大解放：vLLM Sleep模式实战指南，90% GPU资源瞬间回收！

参考 https://docs.vllm.ai/en/latest/features/sleep_mode/

使用 json-repair 修复 llm 生成的 json 格式错误

当大模型生成json格式的输出时，有时候可能会出现缺少引号，单引号等问题，json-repair 可以很好的解决这个问题

你的 FastAPI 服务还缺一个监控仪表盘？Prometheus 一站式搞定

然后在监控服务web页面查询 api_requests_total，可以查看任务成功和失败次数

为爱编程：用 Python 自动化 PDF 签名，顺便秀一波技术

今天突然收到了女朋友的求助信息：“亲爱的，我的 PDF 软件好像坏了，我需要在上面加个电子签名，你能帮我弄一下吗？”

将markdown文件转成PDF（支持代码块、公式）

使用 xelatex 引擎，下载模板 https://github.com/Wandmalfarbe/pandoc-latex-template?tab=rea...

使用 Vanna + Ollama + ChromaDB，实现 自然语言查询 / ChatBI

Vanna AI 的产品核心 解决了「自然语言到 SQL 查询」之间的鸿沟，使非技术人员也能轻松获得数据库中的洞察

在 vLLM 中优雅地中断推理：同步与异步实战

本文记录了我在 vLLM 上探索「真正让 GPU 停下来」的全过程，并提供同步 / 异步 / 官方 OpenAI SDK 三种实现方式的可运行示例。

Prefill Decode分离部署大模型（dynamo框架）

NVIDIA Dynamo 是一个高吞吐量、低延迟的推理框架，旨在为多节点分布式环境中的生成式 AI 和推理模型提供服务。Dynamo 设计为与推理引擎无关（支...

ZeroMQ (0MQ) 入门 - 几种经典的模式

ZeroMQ (也写作 ØMQ, 0MQ 或 ZMQ) 是一个高性能的异步消息传递库，旨在用于分布式或并发应用程序。它提供了一个消息队列，无需一个专门的消息代理...

探索HTTP流式返回：Python实战与Ollama本地模型测试

在现代Web应用和API设计中，高效的数据传输至关重要。传统的HTTP请求/响应模型通常是一次性返回所有数据，这对于小数据量来说没有问题。但当处理大规模数据集、...

设计模式 | Python单例模式

单例模式的核心思想：无论程序如何调用，类都只能存在一个实例，并且所有人都得共享这个实例 。

基于 MCP 协议的 LLM 工具调用

文章主要讲解了如何使用 MCP（Model Context Protocol）与大型语言模型（LLM）结合来实现工具调用，以及如何搭建一个简单的应用来展示这一过...

多进程性能优化：共享内存 vs 普通多进程

在多进程编程中，数据传递和内存管理是影响性能的关键因素。本文通过对比两种多进程实现方式（共享内存和普通多进程），分析它们在内存使用和性能上的差异，并提供实验数据...

注册模式（Registry Pattern）：实现灵活解耦的插件化系统

注册模式（Registry Pattern）通过维护一个全局或单例的注册表（Registry），集中管理系统中可扩展的组件、类或实例的引用。组件在初始化时主动注...

使用 Nginx 对 LLM 服务进行负载均衡实践

需要将请求分发到不同的节点进行处理，让每个节点的负载在合适的水平，这就是负载均衡。

triton+tensorrt-llm后端部署LLM服务

https://github.com/NVIDIA/TensorRT-LLM/tree/5c794e37142c04077d60c3f1c3f0e502c7f9...

用DeepSeek自动求解-华容道