跳到主要内容

AI全链路核心概念地图:从底层到应用层

目录

为什么要看全链路

很多人学 AI 会“点状理解”:知道 Prompt、知道 RAG、也知道 Agent,但不知道它们在系统里如何衔接。
全链路地图的目标是让你回答三个问题:

  • 当前问题属于哪一层?
  • 该优先优化模型、检索、工具还是产品流程?
  • 出错时该从哪里排查?

第1层:数据与训练层(底座)

  • 语料与数据集:模型能力的上限由数据质量决定。
  • 预训练:学习通用语言与世界知识。
  • 对齐/后训练(SFT、偏好对齐):让模型更符合“可用性”。
  • 蒸馏、量化:把大模型能力迁移到更低成本形态。

常见误区:只关注模型参数规模,忽略数据质量和评测反馈。

第2层:模型能力层(推理与生成)

  • 推理能力:多步任务分解、结构化输出、工具决策。
  • 多模态能力:文本、图像、语音、视频输入输出。
  • 上下文窗口:影响长文档、长会话任务质量。
  • 采样策略(temperature/top_p):影响稳定性与创造性。

关键风险:幻觉(Hallucination)
定义:模型生成看似合理但未经证据支持的内容。

第3层:增强与编排层(把能力变成系统)

  • RAG:通过检索私有知识增强回答准确性。
  • Embedding:把文本映射到向量空间,用于语义检索。
  • 重排序(Rerank):提升检索结果相关性。
  • 工具调用/函数调用:让模型执行外部动作而非“口头承诺”。
  • Agent 编排:规划 -> 执行 -> 反馈 -> 重试。
  • MCP/工具协议:统一模型与外部系统交互方式。

这一层是“从 demo 到产品”的分水岭。

第4层:应用与产品层(价值交付)

  • 场景选择:优先高频、高痛点、可量化收益。
  • 工作流设计:输入、处理、输出、反馈闭环。
  • 交互设计:流式响应、中断恢复、可追溯输出。
  • 商业模型:订阅、按量、按结果混合计费。

核心判断标准:是否让用户“更快、更准、更省”。

第5层:评测、安全与治理层(可控落地)

  • 评测:任务成功率、事实性、成本、延迟。
  • 安全:提示注入、越权调用、数据泄露、内容风险。
  • 治理:权限、审计、变更门禁、应急回滚。
  • 合规:数据处理、日志保留、可解释与可追踪。

没有这一层,应用通常无法稳定进入生产。

必须掌握的关键概念清单

  • 幻觉(Hallucination)
  • RAG(检索增强生成)
  • Embedding / 向量检索
  • Rerank(重排序)
  • Tool Calling / Function Calling
  • Agent / Multi-Agent
  • Prompt Injection(提示注入)
  • Guardrails(护栏机制)
  • Eval(评测)与 Benchmark(基准)
  • Routing(模型路由)与 Caching(语义缓存)

学习顺序建议

  1. 先掌握 01-03 的底层与模型能力。
  2. 再学习 04-05 的 RAG、工具调用、Agent 编排。
  3. 接着进入 07-08 做场景落地与产品化。
  4. 最后用 10-11 完成安全治理与实时多模态进阶。