AI数字人直播系统源码技术解析：如何实现实时互动与智能讲解

                    ┌──────────────────┐
                    │     用户端       │
                    │ H5 / 小程序 / APP│
                    └────────┬─────────┘
                             │
                             ▼
                    ┌──────────────────┐
                    │    直播服务层     │
                    │ WebRTC / RTMP    │
                    │ WebSocket        │
                    └────────┬─────────┘
                             │
             ┌───────────────┼────────────────┐
             ▼               ▼                ▼
      ┌────────────┐  ┌────────────┐  ┌────────────┐
      │ AI大模型   │  │ 数字人引擎 │  │ 音视频服务 │
      │ 智能问答   │  │ 形象驱动   │  │ 推流/播放  │
      └────────────┘  └────────────┘  └────────────┘
             │               │                │
             └───────────────┼────────────────┘
                             ▼
                    ┌──────────────────┐
                    │     业务后台      │
                    │ 商品/直播/用户/数据│
                    └──────────────────┘

数字人名称
数字人形象
数字人声音
性别
语速
语调
表情
动作
默认话术

{
    "id": 1001,
    "name": "智能导购小岳",
    "avatar": "/digital-human/avatar-01.png",
    "voice": "voice_001",
    "speed": 1.0,
    "pitch": 0,
    "status": 1
}

用户发送问题
       ↓
WebSocket接收消息
       ↓
问题过滤
       ↓
AI模型分析
       ↓
查询知识库
       ↓
生成回答
       ↓
文字转语音
       ↓
数字人驱动
       ↓
直播间播放

const socket = new WebSocket(
    'wss://example.com/ws/live/10001'
);

socket.onopen = function () {
    console.log('直播间连接成功');
};

socket.onmessage = function (event) {

    const data = JSON.parse(event.data);

    if (data.type === 'ai_message') {
        console.log('AI回复：', data.content);
    }

    if (data.type === 'danmu') {
        console.log('收到弹幕：', data.content);
    }
};

socket.onclose = function () {
    console.log('直播连接关闭');
};

function sendMessage(content) {

    socket.send(JSON.stringify({
        type: 'question',
        room_id: 10001,
        content: content
    }));

}

用户问题
 ↓
敏感词检测
 ↓
问题分类
 ↓
商品问题？
 ↓
查询商品数据
 ↓
组合Prompt
 ↓
调用AI模型
 ↓
生成回答

public function answerQuestion($roomId, $question)
{
    // 1. 内容安全检测
    if ($this->containsSensitiveWord($question)) {
        return [
            'code' => 0,
            'content' => '这个问题暂时无法回答。'
        ];
    }

    // 2. 判断是否属于商品问题
    $product = $this->findProduct($roomId, $question);

    // 3. 构建AI上下文
    $context = $this->buildContext(
        $roomId,
        $question,
        $product
    );

    // 4. 调用AI模型
    $answer = $this->callAI($context);

    return [
        'code' => 1,
        'content' => $answer
    ];
}

{
    "id": 2001,
    "name": "智能降噪耳机",
    "price": 299,
    "stock": 500,
    "description": "支持主动降噪、蓝牙5.4连接，续航约40小时",
    "features": [
        "主动降噪",
        "蓝牙5.4",
        "40小时续航"
    ]
}

这款智能降噪耳机目前售价299元，
支持主动降噪和蓝牙5.4连接，
单次充电最长可以使用约40小时。
如果平时通勤或者经常出差，
这款耳机都比较适合。

$prompt = "
你是一名专业的直播间商品讲解员。

商品名称：{$product['name']}
商品价格：{$product['price']}
商品卖点：{$product['description']}

请根据以上信息生成一段适合直播间讲解的话术。

要求：
1. 语言自然
2. 不要虚构商品信息
3. 不要夸大产品效果
4. 控制在100字以内
5. 适合直接转换成语音
";

这款商品支持七天无理由退货吗？

商品介绍
价格政策
优惠政策
售后规则
物流规则
会员规则
品牌资料
企业介绍
常见问题
直播话术

用户问题
   ↓
向量化
   ↓
知识库检索
   ↓
获取相关内容
   ↓
AI大模型
   ↓
生成答案

$documents = $knowledgeService->search(
    $question,
    5
);

$context = '';

foreach ($documents as $document) {
    $context .= $document['content'] . "\n";
}

$prompt = "
请严格根据以下知识回答用户问题：

知识库：
{$context}

用户问题：
{$question}

如果知识库中没有相关信息，
请明确告诉用户无法确认，
不要自行编造答案。
";

AI生成文本
    ↓
TTS语音合成
    ↓
生成音频
    ↓
数字人驱动
    ↓
嘴型同步
    ↓
输出视频

{
    "code": 200,
    "audio_url": "https://example.com/audio/10001.mp3",
    "duration": 6.8
}

$audio = $ttsService->generate([
    'text' => $answer,
    'voice' => $digitalHuman['voice'],
    'speed' => $digitalHuman['speed']
]);

$video = $digitalHumanService->generate([
    'avatar' => $digitalHuman['avatar'],
    'audio' => $audio['audio_url']
]);

音频
 ↓
语音特征分析
 ↓
音素/音位识别
 ↓
嘴型参数计算
 ↓
3D/2D模型驱动
 ↓
实时渲染

const mouthData = {
    "a": 0.8,
    "i": 0.4,
    "u": 0.2,
    "silence": 0
};

function updateMouth(type) {

    const value = mouthData[type] || 0;

    digitalHuman.setMouthOpen(value);
}

AI
 ↓
TTS
 ↓
数字人引擎
 ↓
实时视频流
 ↓
RTMP推流
 ↓
直播服务器
 ↓
用户观看

rtmp://live.example.com/live/room10001

ffmpeg \
-re \
-i digital-human.mp4 \
-c:v libx264 \
-preset veryfast \
-c:a aac \
-f flv \
rtmp://live.example.com/live/room10001

当前讲解商品
商品库存
优惠价格
优惠券
商品链接
商品状态

{
    "type": "product_push",
    "room_id": 10001,
    "product_id": 2001,
    "status": "explaining"
}

socket.onmessage = function(event) {

    const data = JSON.parse(event.data);

    if (data.type === 'product_push') {

        currentProduct.value = data.product_id;

        showProductCard(data.product_id);
    }
};

数字人开始讲解商品
        ↓
后台推送商品
        ↓
用户端商品卡片弹出
        ↓
用户点击商品
        ↓
进入商品详情
        ↓
下单支付

数字人列表
数字人创建
形象管理
声音管理
动作管理
默认话术

直播间管理
直播排期
直播配置
推流管理
直播状态
直播回放

AI模型配置
Prompt管理
知识库管理
敏感词管理
AI问答记录
AI调用记录

商品列表
商品分类
商品库存
商品价格
直播商品
讲解顺序
优惠券

观看人数
在线人数
互动次数
AI问答次数
商品点击量
订单数量
销售额

CREATE TABLE live_room (
    id BIGINT PRIMARY KEY AUTO_INCREMENT,
    name VARCHAR(100) NOT NULL,
    digital_human_id BIGINT,
    status TINYINT DEFAULT 0,
    stream_url VARCHAR(255),
    created_at DATETIME,
    updated_at DATETIME
);

CREATE TABLE ai_chat_log (
    id BIGINT PRIMARY KEY AUTO_INCREMENT,
    room_id BIGINT NOT NULL,
    user_id BIGINT,
    question TEXT,
    answer TEXT,
    response_time INT DEFAULT 0,
    created_at DATETIME
);

CREATE TABLE live_product (
    id BIGINT PRIMARY KEY AUTO_INCREMENT,
    room_id BIGINT NOT NULL,
    product_id BIGINT NOT NULL,
    sort INT DEFAULT 0,
    status TINYINT DEFAULT 0,
    created_at DATETIME
);

“这款耳机续航多久？”

① WebSocket接收问题
        ↓
② 判断用户是否被禁言
        ↓
③ 敏感词检测
        ↓
④ 判断问题类型
        ↓
⑤ 查询商品知识库
        ↓
⑥ 获取“40小时续航”
        ↓
⑦ 发送给AI大模型
        ↓
⑧ 生成自然语言回答
        ↓
⑨ TTS转换语音
        ↓
⑩ 数字人驱动
        ↓
⑪ 输出实时视频
        ↓
⑫ 用户看到数字人回答

“这款耳机续航表现不错，单次充电最长约40小时，
日常通勤或者出差使用基本都可以满足。”

流式AI输出
流式TTS
缓存
异步任务
WebSocket

用户提问 → AI回答 → 数字人说话

业务数据库
+
知识库
+
AI大模型

网络抖动
推流中断
音画同步
视频编码
CDN分发
断线重连

大模型调用
语音合成
数字人生成
GPU计算
音视频处理
CDN流量
数据库
对象存储

interface DigitalHumanService
{
    public function generate($text, $config);
}

                    AI Gateway
                         │
          ┌──────────────┼──────────────┐
          ↓              ↓              ↓
       模型A           模型B           模型C
          │              │              │
          └──────────────┼──────────────┘
                         ↓
                    业务系统

class AIService
{
    protected $driver;

    public function __construct($driver)
    {
        $this->driver = $driver;
    }

    public function chat($messages)
    {
        return $this->driver->chat($messages);
    }
}

$ai = new AIService(
    new ModelDriver()
);

$result = $ai->chat($messages);

                   用户
                    │
                    ▼
              直播间互动
                    │
                    ▼
               WebSocket
                    │
                    ▼
              AI业务服务层
                    │
          ┌─────────┼─────────┐
          ▼         ▼         ▼
       知识库     商品数据    用户数据
          │         │         │
          └─────────┼─────────┘
                    ▼
                AI大模型
                    │
                    ▼
                 AI回答
                    │
                    ▼
                  TTS
                    │
                    ▼
                数字人驱动
                    │
                    ▼
               实时音视频
                    │
                    ▼
                  RTMP
                    │
                    ▼
                 直播间
                    │
                    ▼
              用户观看互动

AI能力
+
数字人
+
直播
+
互动
+
商品
+
业务后台
+
数据分析