跳到主要内容

AI 工程化流程与团队协作（前端视角）

目录​

什么是 AI 工程化流程​

你可以把 AI 工程化理解成“把不稳定能力做成稳定产品的一整套方法”。
它和传统前端工程化类似，但额外要处理模型的不确定性、成本和评测。

简单来说，工程化的目标有三条：

  • 可控：输出格式和行为边界可约束
  • 可评估：改动后能量化对比效果
  • 可回滚：出现质量问题能快速恢复

标准流程全景图​

每个阶段具体做什么​

1) 需求定义​

  • 明确任务目标（问答、摘要、结构化生成）
  • 明确成功指标（准确率、合格率、延迟、成本）

2) 数据与用例准备​

  • 准备典型输入样本（含边界样本）
  • 标注期望输出结构或关键字段

3) Prompt/流程设计​

  • 写模板并拆分 system/task/context/output
  • 定义错误码和兜底策略

4) 离线评测​

  • 跑固定用例集，输出指标报表
  • 记录失败类型并归因

5) 灰度发布与线上观测​

  • 小流量 A/B，对比老版本
  • 观察失败率、延迟、用户反馈

最小落地模板（可直接复用）​

{
  "taskId": "prd_generator",
  "version": "v3",
  "metrics": {
    "jsonPassRate": 0.94,
    "latencyP95Ms": 2300,
    "costPerReqUsd": 0.0041
  },
  "rollbackTo": "v2"
}

发布后运营与监控​

上线后建议持续看这 5 类指标：

  • 格式合格率
  • 失败率与失败类型分布
  • P95 延迟
  • 单次请求成本
  • 用户反馈（点赞/点踩+原因）