框架 · 核心
五大核心环映射框架
System Loop · 五环构成一个 Agent 控制回路FRAMEWORK
P 规划T 执行
E 评估M 记忆
R 反思世界/环境
前向指令链
反馈/测量链
修正量回馈
五大核心环，构成一个
Agent 控制回路。
E 决定反馈信号质量 → R 决定纠偏量 → P/T 决定轨迹 → M 决定"我以为我在哪"。任一环失效，闭环即破。
上下文（Core）：五环不是五个孤立 map，而是一条闭环信号链——把 Agent 当作被控系统，控制理论是它的建模语言。
M
KT-ctrl-010~015
M 环 · 记忆 / 状态估计
状态观测器 / 卡尔曼控制部件：类比状态观测器 / 卡尔曼滤波器：Agent 无法直测 LLM 内部表示，只能靠 token 输出与外部反馈反推"我现在处于哪个状态、我有多少把握"。它负责在长上下文中保真推断信念 + 显式标注置信度，是其余四环全部决策的地基。
核心控制概念
| 概念 | KT | 一句话 | Agent 承载 |
|---|---|---|---|
| 状态估计问题 | KT-ctrl-010 | 从带噪/不完整观测估计隐藏真实状态 | 看到输出 y，推断隐藏信念 x（可观测性=任务可解性前提） |
| 卡尔曼滤波（预测-更新） | KT-ctrl-011 | 两阶段递推，按不确定度融合先验与新观测 | 记忆=预测(对话推进)+更新(新反馈)两阶段；K 增益=信多少；P 协方差=记忆置信度 |
| 观测噪声 R vs 过程噪声 Q | KT-ctrl-012 | Q/R 之比决定信模型预测还是信新证据 | 过程噪声=模型推理漂移/幻觉；观测噪声=工具返回可靠性；调 L=R/Q=调"强先验"vs"新证据"权重 |
| 信息滤波 / 信息降维 | KT-ctrl-014 | 以信息矩阵/信息向量的增量形式维护状态，天然丢弃冗余 | 上下文蒸馏=以"增量信息"而非原始证据累积，新证据按信噪比线性累加，天然压缩 prompt |
| （关联）贝叶斯滤波/HMM | KT-ctrl-015 | 马尔可夫假设下预测×似然递推后验 | 逐轮对话=观测，上下文=后验，信念更新近乎与 token 流同构 |
| （关联）分离性原理 | KT-ctrl-013 | 估计器与控制器解耦，估计误差过大会失真 | 感知/记忆模块(估计)与规划/行动模块(决策)解耦独立演进 |
关键工程决策
- 长上下文全塞 vs 蒸馏摘要：全塞保真但扰动/成本高；蒸馏省 token 但丢增量。→ 用 L 权重在两者间连续取值。
- 信新证据 vs 信历史先验：任务漂移大→信观测；任务稳定→信预测。两难在于何时冻结先验。
- 记忆置信度对齐：P 协方差是否与"实际不确定度"一致？估计过分自信（P 过小）会让 Agent 过度依赖私有认知。
设计范式
- Kalman 式记忆管理：每轮执行
predict()（按对话进展推进信念）+update()（用新工具结果/反馈校正），显式维护状态概率分布而非单一事实串。 - 上下文的"信息增量预算"：将记忆建模为信息滤波器，仅保留使置信度提升超过阈值的证据，天然做掉冗余。
P
KT-ctrl-041~046
P 环 · 规划 / 分层控制
慢速上层策略控制器控制部件：类比慢速上层策略控制器 / 时标分离的慢子系统：把长程目标在更慢的采样率上抽象成里程碑序列，交给更快的执行器逐条落地。它解决"任务分解 + 里程碑设定，且能滚动修正"。
核心控制概念
| 概念 | KT | 一句话 | Agent 承载 |
|---|---|---|---|
| 分层控制结构（时标分层） | KT-ctrl-041 | 上层慢频做策略决策，下层快频做执行 | Planner(慢/低频/抽象) + Executor(快/高频/具体)，同构于 Daily/Deep variant 与计划-执行架构 |
| 时间尺度分离（奇摄动 ε） | KT-ctrl-043 | 慢变量带宏观状态、快变量带微观执行，ε→0 投影掉快动态 | 慢变量=Planner(高成本/低频/抽象)；快变量=Executor(低成本/高频/具体)；ε=两层调用频率/成本比 |
| MPC 滚动时域优化（RHC） | KT-ctrl-044 | 每个时刻在有限预测时域内求解，只执行第一步，状态更新后重解 | 考虑→行动→观察→更新→重规划 的滚动循环；预测时域 N≈前瞻步数；模型≈LLM world-model |
| 规划-执行解耦（Plan-and-Execute） | KT-ctrl-045 | Planner 生成高层步骤序列，Executor 逐步执行并把观察回馈重规划 | Plan-and-Replan：高层慢 Planner 产 milestone/契约，低层快 Executor 单步执行，观察回调重规划=MPC 落地 |
| （关联）多层递阶控制 | KT-ctrl-042 | 上层施约束/协调，下层保持自主，交互预判原理 | 父 Agent 经 skills/上下文约束子 Agent 决策空间，子 Agent 独立求解，父层更新协调变量 λ |
| （关联）分层 RL / options / SMDP | KT-ctrl-046 | 选项 ⟨I,π,β⟩ 实现时序抽象 | 高层从 skills/能力原语集合选子任务，子任务=一个 skill 序列直到终止 β |
关键工程决策
- 快速执行 vs 滚动重规划：执行更激进又勤重规划→进度快但抖动大；慢速慎规划→稳但可能偏离。MPC 式"前瞻几步、各走一步"是折中。
- 规划时域 N（前瞻步数）的选择：N 太大→成本/缓存压力；N 太小→短视、无全局。
- 规划-执行解耦 vs 端到端：解耦利于分工与回溯，但需契约接口；端到端省层数但难定位错误环节。
- 上层能否真正"下限约束"：多层级若上层只管表述、不下达可执行约束，则退化为单层。
设计范式
- MPC 式滚动规划：每次只执行规划的首个动作（前瞻 N 步），观察真实结果后以新状态滚动重解——即 ReAct/反思循环的理论骨架。
- Options 式技能抽象：把一个落地 skill 封装为带触发集 I/子策略 π/终止条件 β 的"选项"，作为高层动作原语；上层只选 options、不钻细节。
R
KT-ctrl-002~026
R 环 · 反思 / 反馈闭环
反馈控制器（PID/校正律）控制部件：类比反馈控制器（校正律 / PID）：把"实际输出 y"与"设定值 r"比较得误差 e，据此生成修正量回灌执行。它解决"自我反思、错误回馈、长期偏航补偿"，是闭环的核心驱动。
核心控制概念
| 概念 | KT | 一句话 | Agent 承载 |
|---|---|---|---|
| 负反馈闭环结构 | KT-ctrl-002 | e = r − y，控制律基于误差生成校正 | 目标/规格=设定值 r；工具/评估=传感器 y；动作=执行器；策略/prompt=控制律；误差=执行与目标偏差 |
| PID 三环节 | KT-ctrl-020 | P=即时纠偏，I=累积纠偏，D=趋势预判 | 三种反思机制：P=按当前偏差即时修正；I=对历史偏航累积补偿；D=对错误趋势超前刹车 |
| （细分）比例 P / 积分 I / 微分 D | KT-ctrl-021/022/023 | Kp 即时、Ki 消除稳态误差、Kd 抑制超调 | 反思强度三档：Kp 过大→震荡；Ki 累积→防 windup(记忆过饱和)；Kd 提前→防过度修正 |
| 误差收敛与反馈校正律 | KT-ctrl-004 | 校正步进随误差迭代使 e 收敛 | 自纠迭代=每轮算期望 vs 实际偏差，改 prompt/换策略缩 e；收敛保证=步进方向与误差一致避免震荡 |
| 稳态误差 / 超调 | KT-ctrl-025 | SSE 是仅靠 P 无法归零；overshoot 是修正过度 | 任务收敛=瞬态(初始震荡)→稳态带；overshoot=修正过度需 D 预判；稳态误差=缺 I 累积 |
| （进阶）PID 整定 / LQR | KT-ctrl-024/026 | ZN 试探临界震荡回退；LQR 状态空间全局最优 | 校准反思力度阈值；升级为含成本函数权衡(短期修正 vs 过度干预)的全局最优修正 |
关键工程决策
- 即时纠错 vs 防震荡：Kp 大、纠错猛→快但可能反复；Kp 小→稳但收敛慢。需权衡"反应速度"与"稳定性"。
- 历史错误记忆的累积上限：I 项累积本质是"反复被提醒的旧错"，无上限则 windup——对陈旧错误过度纠偏。
- 反思频率（何时重算误差）：每步反思成本高；只在偏离超阈值或里程碑点反思更省。调 Kp/Ki/Kd 本质=调反思 trigger 与强度。
- 误差信号是否可信：若 E 环信号嘈杂，R 环放大噪音则会震荡——放大前先过滤（见 E 环）。
设计范式
- PID 式反思调节：把反思模块显式拆成 P/I/D 三通道——P 通道看当下偏差，I 通道累计历史偏差（附带 windup 限幅），D 通道预测误差趋势。逐环校准增益、出现震荡即回退（ZN 式经验）。
- 误差收敛的"稳态带"验收：定义可接受的误差带 |e|≤ε_des，入带即判收敛；避免"无休止反思却不达标"的空转。
T
KT-ctrl-030~035
T 环 · 工具调用 / 执行器
执行器+安全阀+仲裁控制部件：类比执行器 + 安全阀 + 冗余仲裁器：把规划出的动作以有限幅、容错、仲裁的方式落地到真实环境。它解决"工具调用失败、冗余仲裁、看门狗限幅"，是唯一直接接触外界的环节。
核心控制概念
| 概念 | KT | 一句话 | Agent 承载 |
|---|---|---|---|
| 安全边际/硬约束限幅（输入饱和/看门狗） | KT-ctrl-034 | 执行器输出受硬限幅，windup 需 anti-windup，看门狗超限即拦截 | 工具调用频率/预算/rate-limit 硬上限；限幅器=限重试/并行数/token/成本；看门狗=超预算/权限即终止并降级 |
| 冗余与仲裁（NMR/TMR/表决） | KT-ctrl-033 | 复制冗余组件+多数表决，容忍单点故障；异质冗余抗共因错误 | 多 LLM 互为校验；异质冗余=不同模型/模板/工具链抵消系统性偏置；仲裁器定义一致判定阈值(如 2/3 置信) |
| 鲁棒稳定性 vs 标称稳定性 | KT-ctrl-031 | 标称稳定=理想模型下能完成；鲁棒稳定=不确定性集合内不失控 | 标称=理想输入流程总完成；鲁棒=prompt 改写/参数变/工具异常时编排不死循环 |
| 鲁棒控制方法（H∞/μ综合/滑模） | KT-ctrl-032 | H∞ 最小化 worst-case 增益；μ综合结构化处理；滑模对干扰不变 | H∞=把 worst-case 失败成本当首要优化目标；μ=对某类必超时/必格式错针对性建模；滑模=触发保护规则后强制切稳定容错态并保持 |
| （基础）模型不确定性 | KT-ctrl-030 | 标称模型与实际系统的偏差（参数/未建模/外部干扰） | Agent 是可被标称模型，输出受 prompt 措辞/窗口/漂移影响；API 延迟/限流是外部干扰；需预留稳定裕度与降级路径 |
关键工程决策
- 快速执行 vs 容错代价：异质冗余/仲裁提升可靠但翻成本与延迟；单执行快但容错弱。按失败成本定冗余度。
- 限幅 vs 完成任务：硬阈值防失控但也可能截断必要动作；宽阈值资源风险大——看门狗边界要贴实际预算。
- 统一兜底 vs 针对性建模：μ综合提示对"结构性必错项"专项兜底（某工具必超时、某输入必格式错），比笼统重试更省。
- 容错状态是否可退出：滑模一旦切入保护态，需设计"何时才能复位回正常流程"，否则永久卡死。
设计范式
- 执行器硬限幅 + 看门狗：为所有执行器定义 u_sat（频率/并行/预算/token/成本），叠加看门狗硬保护，超限即降级。
- 异质冗余 + 多数仲裁（NMR/TMR）：关键决策用 ≥3 个不同模型/模板/工具链生成，仲裁阈值设 2/3；用异质化抵消共模/系统性偏置。
E
KT-ctrl-001~006
E 环 · 评估 / 传感器
测量环节+验证器控制部件：类比测量环节 + 验证器：生产"反馈信号 y"，其信噪比直接决定整个回环能否收敛。它解决"Critic 模块、验证器、反馈信号质量"，是闭环里"最容易被低估、却最致命"的一环。
核心控制概念
| 概念 | KT | 一句话 | Agent 承载 |
|---|---|---|---|
| 反馈系统灵敏度与鲁棒性基础 | KT-ctrl-006 | S=(I+L)⁻¹ 刻画对模型误差敏感度；高回路增益降敏感；留相位/增益裕度 | 强校验=高回路增益降低对基座模型误差(幻觉/工具波动)敏感；评估阈值留裕度避免临界震荡 |
| 扰动观测器 DOB | KT-ctrl-035 | 在线估计外部扰动并在基线输出中减去；Q(s) 低通滤波限噪 | 用历史执行结果实时评估环境偏移，从决策中减去感知偏差；低通滤波=容忍瞬时噪声而非反应过度 |
| （交叉）观测噪声 R（信噪比） | KT-ctrl-012 | R 刻画测量环节噪声，决定信号可信度 | 反馈信号质量=传感器信噪比；按信号可信度决定是否让 R 环放大它 |
| （交叉）开环 vs 闭环 | KT-ctrl-001 | 闭环靠"测输出"校正，无传感器则退化开环 | 没有评估器=开环=错误不可纠；E 环是"闭环与否"的开关 |
| （交叉）稳定性/误差遗忘 | KT-ctrl-003 | 渐进稳定=偏差被遗忘，评估层防错误积累 | 评估器需具"误差遗忘"特性，防错误沿闭环逐圈放大（Lyapunov/BIBO 类比） |
关键工程决策
- 信号放大量 vs 误判惩罚：Critic 越灵敏→纠错越快但噪声被放大→震荡；越钝→漏错多。灵敏度 S 与阈值裕度需权衡。
- 高成本强验证 vs 低成本弱验证：每步都跑强 Critic→成本高；只在里程碑查→可能漏错。按任务失败成本定验证密度。
- 单评审器 vs 多评审器仲裁：同一模型自评有系统性偏置（共模错误），评估也需异质化（与 T 环冗余呼应）。
- 评估标准是否可变化：若误差信号本身不可靠，任何反馈到 R 环的放大都是灾难。
设计范式
- Critic 即传感器 + 低通滤波：评估模块当作"带噪声传感器"设计——先低通平滑、按信噪比加权、再交由 R 环放大，避免振荡。
- DOB 式"感知偏差补偿"：在线估计工具/环境当前偏移，从决策中减去偏差；用 Q(s) 低通容忍瞬时噪声、只对持续偏差做补偿。