AI 应用开发方法论

模型、Prompt、索引、工具中的任何改动都必须过同一黄金集；可写工具默认要求鉴权、幂等、超时与人工确认（HITL）。 量化门禁：黄金集 ≥ 50 题；要点覆盖 ≥ 基线 −2%；安全拒答率 = 100%；P99 延迟 ≤ 基线 × 1.1；单次调用成本 ≤ 基线 × 1.1。四项同向才放量，灰度按 1% → 10% → 50% → 100%，每档观察 ≥ 30 分钟。 工具契约必填项：鉴权主体、幂等键、超时、最大重试、是否可写、是否需要 HITL、配额上限。 四方版本化（Prompt / 索引 / 模型 / 工具）必须各带可一键执行的回滚点，变更单写明回滚目标版本与执行人；评测集与线上流量严格隔离，禁止把生产样本直接回灌为基线，避免评估污染。

章节 12 与 AI 场景：版本化、成本与质量并列、应急可演练。AI 制品的不确定性来自模型与检索，因此「可评测」是它区别于普通代码的唯一额外要求。 四方版本化（Prompt / 索引 / 模型 / 工具）的意义在于可回滚：任一维度变更都必须能一键切回上一版，并在变更单中写明回滚点。 fail-plausible（错误被转化为流畅叙述且返回成功）须归入回归失败而非待观察，因为它绕过了以异常为依据的传统门禁；这正是「可评测」作为 AI 制品额外要求的原因。 版本与回滚按 A23.01 的「版本—变更—回归」三位一体管理，没有回归记录的版本不允许发布；A23.04 把配置谱系与 ModelSBOM 列为灾备对象，供应方静默升级等价于未走门禁的生产变更；C12.34 把工具副作用等同配置发布，须灰度、卡点、可关停。

无测试集不上线；放量靠「离线评测 + 小流量双确认」，而不是靠线上观感。 回答时给出黄金集规模、四项阈值与回滚点；若被追问效果，先给依据命中（检索文档 ID）与拒答率，再给流畅度等主观指标。 回答时先说清四方回滚点与评测集隔离方式，再给阈值；若被追问监控全绿是否安全，应能指出语义正确率与行为基线偏离才是判据。 判定句：任何制品变更（Prompt / 索引 / 模型 / 工具）必须先有回归记录与可演练的回滚点，才允许进入灰度。

校验、权限、参数、限流、幂等、熔断、审计一律置于模型之外；模型只产出候选与解释，不裁定业务正确性。凡是判定错了会造成资金、权限或状态损失的动作，必须由确定性控制面执行或否决。

推理概率性意味着同一 Prompt 在不同上下文可给出不同结论，概率组件不担保业务正确性。把确定性校验留在 LLM 之外，等于把失败域从不可判定压缩为可测试；L03.01 的黄金集回归门禁是这条纪律的推论而非替代品——门禁发现退化，硬拦截阻止退化造成损失。对应 A27.01 的控制面推导与 A27.05 的路径级权限。 A27.05 进一步指出安全是路径属性而非各节点属性的并集，组合越权靠逐点鉴权原理上拦不住；A20.01 的注入防护四道闸按成本递增、信任递减排列，前道拦得越早后道越省。

回答时先划出「LLM 之外」的控制面清单：参数类型与范围校验、身份注入与鉴权、幂等键、限流与超时、熔断降级、审计留痕，再说明模型只产候选。判定句：把「请谨慎」写进 Prompt 而没在网关做硬拦截，即违反本纪律。 判定句：组合越权的唯一判据是沿工具链的权限预算是否只收紧不放宽，而非每个工具各自鉴权通过。

验证器必须独立于被验证组件，证据必须是硬证据：Schema 校验、文件存在性、API 返回码、校验和、业务规则断言。让第二个 LLM 给第一个 LLM 的作业打分，只是把同一个概率性再乘一次，不产生可判定证据。

三条第一性事实之①是推理概率性：被验证组件的输出不能作为自身正确性的依据。A27.03 论证了验证环为何必须闭合到硬证据；L03.01 的评测集隔离（禁止生产样本回灌基线）正是「不自证」在评测维度的落实。若验证器与生成器共享 Prompt、模型版本或检索库，相关性会把同一个盲点复制成共识。 A06.04 补上评测维度：评测集吸收生产流量即被自身输出污染，judge 与被测模型同源会把共同偏见放大成「一致通过」；C12.36 指出结构化输出转换器只兑现 Java 类型不兑现业务语义，类型系统通过不等于业务正确。

无独立验证环不上线；能说出验证器归属、证据类型与拒绝策略。判定句：Schema 强校验不过即拒绝并降级，不把模型原始文本交给业务代码裸解析；被追问可靠性时先给硬证据清单，再给主观评分。 判定句：反序列化成功只说明字段可赋值，金额单位、枚举取值、外键与状态机迁移仍须在业务规则层逐个校验，任一失败即短路。

端到端可靠性是各步成功率的乘积，退化由步数驱动，而非由上下文窗口长度驱动。换更长窗口的模型或压缩上下文，都不改变乘积结构；唯一有效的是收缩复合指数。

复合相乘是 A27.02 的数学事实：单步再高，步数一多也会把整体拉低。确定性步骤移出 LLM、窄接口拆短链、每步交接强制校验，本质都是减少参与相乘的概率环节。上下文压缩只改变信息量，不改变环节数，属于把预算花在错误的维度上。 A02.02 论证上下文压缩是预算动作而非可靠性动作：它改变信息量不改变环节数，既不减少步数也不增加硬约束，与 A27.02 的乘积结构同源。

设计时先定最大步数与每步交接校验点，再谈编排框架；超限即拆为可独立验收的子任务或转人工。判定句：能画出链路并指出哪几步是概率环节、哪几步有硬证据校验，而不是回答「加大上下文窗口」。 判定句：退化由步数主导，扩窗口或压缩上下文都不改变乘积结构，唯一有效的是收缩复合指数。

返回 200 OK 但语义错，列为一级故障，不按「成功」计入可用性。静默失效有四型：成功码下的语义错、行为随时间漂移、错误被转化为流畅叙述、用户静默放弃；传统监控全绿恰恰是风险信号而不是安全证明。

A28.01 把 fail-plausible 单列，是因为异常驱动的传统门禁对这四型全部失效。M06.07 的信号立法要求先定义什么算故障，本卡在 AI 场景补上「语义正确率」这一信号；K07 静默塌方给出反例，C12.40 给出语义指标埋点的实现路径。把语义错当成功，会让 SLO 与告警同时失真。 A19.03 把监控对象从「调用是否成功」转为「行为是否偏离基线」；A28.01 把静默失效拆为四型（语义错、行为漂移、fail-plausible、静默放弃），失真位置各不同；C12.40 指出语义错不体现在 HTTP 状态码，必须自埋语义维指标。

监控看板必须有语义正确率与行为基线偏离，不能只看成功率、延迟与错误率。判定句：能说出「全绿但无转化 / 无人工确认」应如何触发告警，并给出盲集抽样复核与 kill switch 的触发条件。 判定句：语义错不以异常形式出现，监控全绿恰恰是风险信号而非安全证明。

记忆、索引、工具状态等持久化写入按生产变更准入：每次写入都要能回答「未在他处制造退化」。局部看似合理的记忆更新，会沿后续调用链漂移到未授权的行为轨迹。

状态累积偏差是 A27.04 的机制：单步偏差可逆，跨会话累积后不可逆。L03.01 管模型 / Prompt / 索引 / 工具这些制品的变更回归；本卡管运行时持久化状态的写入准入，两者互补不重叠。谱系与回滚点在这里不是可选项——没有谱系就无法定位是哪次写入把行为带偏。 A27.04 把累积性定为第一性事实：单步偏差可逆、跨会话累积不可逆，准入标准须从「本次写入是否正确」改为「是否在他处制造退化」；C12.42 据此把记忆按生产变更准入，写入前盲集比对、写入后按谱系回滚。

变更单写明写入来源谱系、可一键回滚点、盲集比对结果与拒绝策略；无回滚点不写入。判定句：能区分「制品变更」与「状态写入」两类门禁，并说明影子流量隔离与稳态腐化熔断分别在哪一层生效。 判定句：记忆不是缓存而是长期生效的配置，准入判据是「别处没制造退化」而非「本次局部有效」。

评测集与评估器必须独立于生成链路；生产样本回灌基线会让门禁与被测系统共同退化，形成自证循环。judge 与被测模型同源时，共同偏见被放大成「一致通过」。

评估可信度优先于验证环、复合收缩与状态准入（A27.01 的依赖顺序推导）。A06.04 论证评测集污染与 judge 同源偏见；A17.01 把 Golden Set 定为效果回归的真值锚点；C12.29 / C12.33 给出冻结版本与隔离实现。与 L03.03 划界：L03.03 写「验证器不能自证」，本卡写「评测资产自身的独立性与污染」。

基线冻结、样本来源隔离、评估器版本登记三项准入。判定句：能说出评测集版本与 judge 版本，并证明二者与被测系统无同源污染，才叫可信评测。

模型、Prompt、索引、工具的任一组合变更必须登记为同一变更单元并自带回滚点；没有回滚点的变更不允许进入灰度。

A23.01 把 Prompt 治理定为版本—变更—回归三位一体，A23.04 把配置谱系与 ModelSBOM 列为灾备对象；C12.30 / C12.34 给出灰度与影子流量实现；C12.41 用快照支撑重放与回写。与 L03.01 划界：L03.01 管「改动要过黄金集」，本卡管「什么算一个变更、回滚点从哪来」。

变更单必填「包含哪些制品、回滚到哪个三元组、回滚验证项」。判定句：能列出本次变更的完整制品清单与对应回滚点，才放行灰度。

在把「语义错」列为一级故障之前，必须先定义并埋点能判出语义错的信号；否则立法不可执行，全绿不构成安全证明。

A19.03 把监控对象从「调用成功」转为「行为偏离基线」；C12.40 用 MeterRegistry 把语义正确率做成一等指标；C12.41 用快照支撑故障回放；K07 给出静默塌方反例。与 L03.05 划界：L03.05 立法，本卡管立法的前置条件。

上线前检查表——语义正确率信号、行为基线、Bad Case 回写路径三项齐备才放行。判定句：能指出「全绿但语义错」如何被监控捕获并触发告警，才叫立法可执行。

语义缓存能压低推理成本，但 key 必须包含 user_id、session_id、模型版本、采样参数与检索上下文，不能只按 query 哈希；否则上下文或权限不同却返回同一答案，造成信息错配与越权复用。

MD 来源 A·模块6 缓存分层要求缓存 key 含租户与上下文；A08.04 上下文预算说明缓存须在预算内复用。回指 L03.01 成本阈值、M09 缓存策略与 L02.09 三层成本（缓存维护成本计入 CPS）。

判定句：缓存 key 不含租户 / 上下文即视为越权复用，默认不命中。检查项：命中率与维护成本同看；过期与失效信号是否驱动重建；相似 query 不同权限是否隔离。

所有模型调用须走统一网关收口（路由 / 版本绑定 / 计量 / 缓存 / 重试 / 熔断 / 日志 / 水印），并按场景置信度分级路由——高可靠场景误用廉价模型会令成本与质量双崩。网关即准入面，LLM 只是其调用客户端。

MD 来源 A·模块6「LLM 网关、模型路由、多模型、负载、降级、故障转移」给出网关职责；A13.03 能力准入把网关作为能力放行面；C12.41 记录版本绑定。回指 L03.02 控制面纪律与 L02.02 能力闸门。

判定句：硬编码直连模型 SDK 即违反网关收口。检查项：是否含版本绑定、故障转移、计量埋点与降级路径；不同计费口径是否被统一折算进 CPS。

对资金、权限、不可逆动作，人必须在环作为仲裁；协同分三档——人在环（HITL 可执行前确认）、人在上看（on-look 异常时介入）、人在外（off-band 仅审计），按动作后果分级，而非为减员而减员。

MD notes 十「人机协同」与来源 A·十七；A07.01 / A07.02 四大风险面与分层防护把 HITL 列为可写工具必填项。回指 L01.04 人仍在环与 L02.08 组织治理（监督容量）。

判定句：可写 / 高后果工具默认挂 HITL，确认界面须给检索依据、影响范围与回滚方式。检查项：是否定义三类协同边界与升级路径；确认上下文是否足以让人做裁决。

多模态不是多路输入拼接，而是统一表征与模态对齐；文本/图像/音频各有失败模式，跨模态一致性要靠可验证的 grounding。

回指 L03.17 证据绑定与幻觉防线、C12.10 多模态趋势、A09 检索进阶；与 L01.03 语义可观测衔接——多模态质量需语义级指标。

判定句：多模态输出无跨模态一致性校验即视为未 grounded。检查项：图像/音频引用是否可溯源；模态对齐是否经评测；失败降级是否回退单模态。

端侧/边缘把推理下沉到设备，换来隐私、时延与离线，但受算力/内存/功耗约束；端云协同是关键——重模型在云、轻模型在端、上下文与缓存在端。

回指 L03.10 缓存体系、L03.16 上下文预算、M09 容量评估、A18 部署形态；端侧隐私与 M13.04 数据保护、L02.14 合规本地化同构。

判定句：端侧部署无模型量化/蒸馏与端云协同方案即视为不可生产。检查项：模型是否量化/蒸馏适配端算力；离线降级路径是否可用；端侧数据处理是否符合隐私边界。

AI 系统须做语义故障注入（幻觉率飙升 / 注入攻击 / 工具超时 / 模型退役）演练降级与人工接管，并定义四维 RTO/RPO（算力、数据、模型、评估基线）——传统 HA 只看语法层存活，对语义失效盲区。

MD 来源 A·十三「混沌、灾备」；A17.03 故障注入、A23.04 配置谱系与灾备把 ModelSBOM 列为灾备对象。回指 M09 混沌工程与 L03.01 回滚点（四方版本可回滚）。

判定句：未跑过语义混沌演练不宣布高可用。检查项：四维 RTO 是否各自定义；退役模型是否移出活跃清单并保留带衰减 tile；演练是否含人工接管路径。

上下文是硬预算，须按「可用窗口 − 系统提示 − 检索 − 工具结果 − 历史」分配；接近上界时触发压缩 / 摘要而非无限堆积。裸喂长上下文会放大矛盾、污染与幻觉。

A08.04 上下文预算给出预算分配与压缩触发；A02.01 上下文工程定义分层状态。回指 L03.04 长链路步数预算与 L03.03 验证不可自证（摘要压缩会丢否定约束，须独立校验）。

判定句：上下文超预算未压缩即触发降级，禁止裸喂长上下文。检查项：压缩是否保留否定约束与证据引用；风险标记是否跨轮继承；历史是否分片校验。

生成须绑定可追溯证据（文档 ID / 版本），用 NLI 矛盾检测与分层记忆做幻觉防线，而不是靠模型自述「我不确定」。无证据绑定的生成不得作为业务结论。

A09.05 证据绑定要求生成带依据；A09.06 隔离把证据与生成解耦以防自证。回指 L03.03 验证不可自证与 L03.09 语义可观测准入（依据命中是准入指标）。

判定句：无证据绑定的生成不得作为业务结论；矛盾检测失败即拦截。检查项：是否记录证据 ID 与置信边界；盲集复核是否定期跑；引用是否与原文对齐。

记忆写入等同生产变更，须过准入闸门（标准是「没有在别处制造退化」）并维护来源谱系；写入前治理（抽事实 / 去重 / 消解冲突 / 记来源）是把记忆腐化挡在门前的唯一手段。

A02.04 记忆写入准入闸门与记忆谱系给出写入治理与拒绝策略；C12 记忆 / 向量章节提供落地。回指 L03.06 状态写入准入、L02.12 记忆生命周期、L01.06 语义时态。

判定句：记忆写入未带来源谱系与失效信号即拒绝。划界：本卡只管「写入闸门 + 谱系」，D6 管「语义时态作为第一公民」，F12 管「腐化 / 遗忘权 / 继任的治理判定」。检查项：是否支持可验证删除与继任继承最严保留期。

退役是生命周期末端却最易被忽略；模型/知识库/记忆的下线必须无感（调用方零中断）、可回滚、可审计；用户遗忘权要求数据真正销毁而非逻辑隐藏。

回指 L02.01 五段框架（退役段）、L02.06 供应链与模型侧工程（退役窗口/组合版本/ModelSBOM）、L02.07 多租户隔离与资产退役、M05.14 系统退役标准、L03.18 记忆写入闸门与谱系。

判定句：资产下线缺无感切换/回滚/销毁证明即视为违规退役。检查项：下线是否走影子/双跑再切流；遗忘权是否真删除并有证明；退役窗口与 ModelSBOM 是否更新。

人在环不是“人盯着”，而是分层的仲裁与兜底模式：审批闸（高风险动作前人工确认）、升级人工（模型不确定时转交）、人在环监督（抽样复核）、离环（全自动仅监控）；模式选择取决于风险×延迟×成本。

回指 L01.04 人仍在环、L01.01 不确定性心智、L03.03 验证不可自证（人做独立验证）、L02.08 组织与变更治理、A26 组织 adoption；与 M14 复盘、M05.09 无责复盘衔接。

判定句：高风险动作无对应人在环模式即视为缺兜底。检查项：每类风险动作是否选了正确的 HITL 模式；人工仲裁是否带上下文与可复核；规模化多 Agent 下监督瓶颈是否识别。