基础概念
介绍 Agent 的基本组成、决策方式和语言模型相关概念。
基础概念
Agent 是能够感知环境、作出决策并执行动作以达成目标的系统。LLM Agent 常围绕任务目标、上下文与记忆、外部工具组织执行。
一个最小流程是：接收任务 → 确定步骤 → 执行并验证 → 返回结果，按需记录经验。
智能体的分类
决策方式
| 类型 | 决策依据 |
|---|---|
| 简单反射式 | 根据当前输入匹配“条件—动作”规则，不保存历史状态 |
| 基于模型的反射式 | 用内部世界模型追踪无法直接观测的状态 |
| 基于目标 | 比较行动路径，规划如何达到目标 |
| 基于效用 | 对结果赋予效用值，在多个目标之间权衡 |
| 学习型 | 根据交互经验改进策略，包含执行与学习两部分 |
这些分类描述能力侧重，不必理解为一条固定的升级路线；学习能力也可以叠加到其他决策方式上。
响应方式
- 反应式：从感知直接映射到动作，响应快，但长期规划较弱。
- 规划式：行动前推演后果，适合多步任务，计算和时间成本较高。
- 混合式：结合即时响应与长期规划，根据环境反馈调整行动。
知识表示
- 符号式：用规则和逻辑显式表达知识，容易检查，处理模糊输入较困难。
- 亚符号式：知识分布在神经网络参数中，擅长模式识别，内部过程较难解释。
- 神经符号式：结合神经网络与符号推理，发挥两者各自的作用。
语言模型基础
从统计模型到 Transformer
| 阶段 | 主要变化与限制 |
|---|---|
| N-gram | 根据局部上下文统计下一个词的概率，受数据稀疏和上下文长度限制 |
| 前馈网络与词嵌入 | 用向量表示词，改善泛化，但序列建模能力有限 |
| RNN / LSTM | 用隐藏状态传递历史信息，存在串行计算和长依赖处理的困难 |
| Transformer | 使用 Self-Attention 交换不同位置的信息，可并行处理已知序列 |
| Decoder-Only 自回归模型 | 根据已知上下文逐步生成下一个 token，生成步骤之间仍有依赖 |
模型处理单位是 token，不一定对应完整的词。BPE 是常见分词方法之一；分词方式会影响输入长度和推理成本。
提示与采样
提示词提供任务、背景、约束和示例。Few-shot 用少量示例说明预期输出；角色设定提供视角；复杂任务可以要求明确的步骤或可验证的中间结果。
Temperature 调整采样分布，top-k 限制候选数量，top-p 限制候选的累计概率范围。它们影响输出随机性，不能直接保证创造性或正确性。
模型选型
结合实际任务比较效果、成本、延迟、上下文窗口、部署条件和数据约束。托管 API 减少部署工作；可部署的开放权重模型提供更多定制空间，也需要承担算力与运维成本。
规模与可靠性
Scaling Laws 研究参数量、训练数据、算力与效果之间的关系；Chinchilla 的研究强调给定算力下，参数量与数据量需要合理配比。更大规模可能改善能力，但不能据此保证某项任务一定可靠。
模型可能生成与事实或输入不一致的内容，原因包括训练数据问题、知识过时和生成误差。检索、外部工具与结果校验可以补充依据；可靠性仍要通过具体任务验证。