多模态应用架构与成本优化
面试定位：当面试官问“多模态实时系统怎么分层、钱花在哪、怎么省、安全怎么联动”，本篇给你：分层架构（Edge VAD→网关→路由→模态 specialist）→ 成本构成量级 → 传输优化（Simulcast/SVC/Opus/采样率）→ 与安全联动（PII 脱敏/moderation 链路）。
目录
架构目标
在多模态系统中，目标通常是三者平衡：体验（实时性）、质量（任务成功率）、成本（单位会话支出）。
参考架构
完整分层架构（Edge VAD → 网关 → 路由 → 模态 specialist）
关键原则：把 VAD/降噪放到边缘（少传无效音频）、路由层独立（不绑定单一模型）、安全层贴在入口和出口两端。
成本构成
多模态/实时系统成本远高于纯文本，需按模态拆账（以下为量级参考，实际以各厂商最新价为准）：
| 成本项 | 计价方式 | 量级直觉 |
|---|---|---|
| 实时语音（Realtime API） | 按音频输入/输出分钟或音频 token 计价 | 端到端语音是最贵的一档，按分钟计，长会话成本快速累加 |
| ASR（级联） | 按音频分钟 | 比端到端语音便宜不少，适合可控场景 |
| TTS | 按字符数 | 长文本播报需控制输出长度 |
| 视频理解 | 按帧/视觉 token | 视频 = 多帧图像 token，逐帧送会爆，靠采样控本 |
| LLM 文本 | 按 token（输入+输出） | 相对最便宜，长上下文/长历史推高输入 token |
| 传输/基础设施 | 带宽、TURN 中继、SFU、存储 | 多人/弱网/回放场景占比上升 |
面试一句话：实时语音和视频是成本大头——语音按分钟、TTS 按字符、视频按帧 token；省钱核心是“边缘 VAD 少传、视频帧采样、能级联就别全程端到端、历史用摘要压缩”。
优化策略
模型路由优化
- 简单任务走轻量模型（如 mini/flash），复杂任务走高能力模型。
- 可模板化任务优先工具/规则，不必每次调用大模型。
- 语音场景：闲聊走端到端，强业务/需 RAG 的环节切级联，按需混合。
缓存与复用优化
- 语义缓存复用高相似问题结果。
- 检索缓存复用同主题 RAG 结果。
- 会话摘要替代全量上下文，减少 token 消耗（长语音会话尤其关键）。
- TTS 对固定话术（欢迎语、菜单）做音频缓存，不重复合成。
推理与传输优化
- 流式输出降低体感延迟（边生成边播）。
- 采样率选择：识别用 16kHz 足够且省带宽，追求自然音质用 24kHz；不要盲目上高采样率。
- Opus 码率自适应：语音用 Opus 编码，按网络状况自适应码率（如 16–32kbps 语音足够），弱网降码率保连续。
- Simulcast / SVC（视频）：Simulcast 同时推多档分辨率码流，SFU 按接收端网络下发合适档；SVC 单流分层，按需丢弃增强层。多人/弱网视频必备，省带宽保流畅。
- 视频帧采样：固定间隔/场景变化触发/提问时抓帧，避免逐帧。
- 热点场景做边缘节点预处理（VAD、降噪、截帧）。
与安全联动
多模态链路必须把安全“串进架构”，不是事后补：
- 语音 PII 脱敏：ASR 转写后、入模型前对手机号/身份证/银行卡等脱敏（级联架构天然支持，端到端较难，是选级联的重要理由之一）。
- 内容 moderation 链路：输入与输出双侧审核，流式场景边生成边审；接 OpenAI Moderation / Azure AI Content Safety / 国内审核 API。
- 生成内容标识：满足中国《AI 生成合成内容标识办法》（2025），做显式 + 隐式标识。
- 详见 AI安全风险与防护策略。
监控与告警
- 核心看板：成功率、延迟（TTFT/断流率）、成本（按模态拆）、失败原因分布。
- 告警阈值：单位会话成本异常、断流率上升、重试率激增、TURN 占比异常。
- 追踪能力：任务级 Trace ID + 模型/工具版本 + 审计回放。
实施路线
- 第一阶段：先跑通单场景（如级联语音客服），建立基线指标（延迟/成本/成功率）。
- 第二阶段：引入路由、缓存、边缘 VAD、帧采样、Simulcast/SVC，优化成本和延迟。
- 第三阶段：接入评测门禁与安全/合规链路（脱敏 + moderation + 标识），稳定规模化上线。