AI 应用组件分层 · 检索视图 | Java 工程能力知识库

L1 · 模型接入层

所有 AI 应用的公共底座。与是否使用 RAG、是否私有化部署无关，任何调用模型的服务都要先划清 SDK、网关与路由的职责边界。

必备

LLM Client SDK（Spring AI / LangChain4j / OpenAI SDK）必备

发起模型调用、构造消息、承载 function call 与结构化输出

选型：Spring AI、LangChain4j、OpenAI SDK

C12.01 C12.57 C12.49 C12.50

生产刚需

Model Gateway（统一收口）生产刚需

密钥集中管理、重试、超时、限流、模型降级、token 统计、基础缓存

选型：LiteLLM、Spring AI Gateway

C12.48 C12.20 C12.57 S06.02 C16.09

增强

高级路由、负载、多租户配额、按租户模型隔离增强

灰度分流、租户独立配额、模型池调度

选型：LiteLLM、自研网关、商用模型网关

C12.20 C12.57 A07.03

L2 · RAG 知识库层条件层

条件层：仅 RAG 业务需要，纯对话 Agent 不需要。检索质量的上限由入库前的结构保真决定。

必备

向量库 + 文本分块 + Embedding 调用必备

文档入库、向量相似度检索

选型：PGVector（Java 友好首选）、Qdrant；分块用 LangChain4j / Spring AI 内置分块

C12.02 C12.03 C12.58 C16.06

生产刚需

混合检索（BM25 + 向量）+ Reranker生产刚需

解决纯向量召回不准、幻觉高发，是 RAG 上线底线

选型：Elasticsearch / OpenSearch、BGE-Reranker

C12.17 C12.02 S06.03

文档解析管道（PDF / Word / 表格）生产刚需

稳定解析业务文档，避免乱码与表格丢失

选型：Apache Tika（Java）、Docling、Unstructured

C12.58 S06.03

增强

文档版本管理、增量同步、权限隔离知识库、多模态解析增强

文档变更自动更新向量、租户知识库隔离

选型：DVC、自研同步服务、Weaviate

C12.58 C12.44 C12.13

L3 · Agent & 工具编排层

维护对话、思考链与工具调用流程。工具从「代码注解」升级为「有版本、可灰度的注册资产」是规模化的分水岭。

必备

Agent 编排框架必备

维护对话、思考链、工具调用流程

选型：Spring AI / LangChain4j / LangGraph

C12.06 C12.07 C12.12 C16.07

生产刚需

Agent 状态存储（Checkpoint）生产刚需

会话持久化、断点续跑，不能放内存

选型：PostgreSQL、Redis；LangGraph Checkpoint、LangChain4j 会话存储

C12.07 C12.14 A10.02

工具鉴权、入参校验生产刚需

防止 Agent 随意调用内部高危接口、越权访问

选型：Spring Security、自定义工具拦截器

C12.51 C12.31 C12.59

增强

代码沙箱（Code Interpreter）增强

Agent 执行代码、数据分析；属高危能力，非所有 Agent 都需要

选型：E2B、K8s 隔离 Pod

C12.60 A10.04 A33.07

工具注册中心、工具版本、工具 A/B增强

大量工具、多团队协作时管理工具契约与生命周期

选型：自研注册中心、LangGraph 工具管理

C12.59 C12.51

L4 · Prompt、数据集、评测 & LLMOps

AI 系统的「测试」在这一层：版本化发布物、回归评测与人工反馈回流构成闭环。

必备

Prompt 模板（代码内硬编码即可）必备

基础 Prompt 管理，POC 阶段不用独立平台

选型：直接写在配置文件、代码常量

C12.05 C12.26 C12.62

生产刚需

Trace 观测平台（LangFuse / LangSmith / Opik）生产刚需

线上问题排查：看模型入参、返回、检索上下文、工具调用链路；审计与 token 统计

选型：LangFuse（自托管优先）、LangSmith、Opik

C12.61 C12.08 C12.56

评测数据集 + 基础评估器生产刚需

每次改 Prompt / 知识库都做回归测试，防止效果退化

选型：LangFuse Dataset、Opik、简单 LLM-as-judge

C12.29 C12.52 C12.05 C17.09

增强

Prompt 版本管理、A/B 实验、批量离线评测增强

Prompt 迭代、流量对比、大规模评测回归

选型：LangFuse、Opik、MLflow

C12.62 C12.52

人工标注队列、HITL 人工反馈回流增强

用户好坏反馈回流到评测集，持续迭代

选型：LangFuse 标注、LabelStudio

C12.62 C12.54 C12.56 C12.53

L5 · 可观测性（通用 OTel 底座）

与 GenAI 观测平台区分开：一份埋点、两类后端消费，语义归平台、拓扑归追踪后端、指标归时序库。

必备

结构化日志必备

基础排查，打印请求 ID 与输入输出

选型：SLF4J + Logback / Python logging

C06.07 C10.22 A19.01

生产刚需

OpenTelemetry 埋点 + 指标存储（Prometheus）生产刚需

统一标准指标：P95 延迟、错误率、token 消耗、缓存命中率、检索耗时

选型：Micrometer（Java）、opentelemetry-instrumentation；Prometheus + Grafana

C12.63 C12.08 C02.12 C16.10 C18.11 H01.07

告警中心生产刚需

模型报错飙升、限流、超时、token 突增告警

选型：Alertmanager、Grafana 告警

C12.40 C02.12 C10.15

增强

通用链路追踪后端（Tempo / Jaeger）增强

把 AI 链路和后端数据库、RPC、网关链路打通，全栈追踪

选型：Grafana Tempo、SigNoz

C12.63 C10.22 C09.11

L6 · 安全护栏 & 治理

AI 系统与传统后端差异最大的一层：入模前脱敏、出模后护栏、全程不可变台账。

必备

基础接口鉴权（同传统后端）必备

登录、租户身份校验

选型：Spring Security、OAuth2

C06.04 C06.11 C12.51 C16.14 C17.08

生产刚需

输入输出安全护栏（Guardrail）生产刚需

越狱、敏感内容、prompt 注入、间接注入（检索文档注入）拦截

选型：Llama Guard、Presidio（PII 脱敏）、国内内容安全 API

C12.15 C12.19 C12.36

PII 自动脱敏生产刚需

身份证、手机号、银行卡等传给模型前掩码，合规底线

选型：Presidio、自研脱敏

C12.64 C12.15 C12.39

增强

LLM 水印、溯源、内容审计台账增强

合规审计、区分 AI 生成内容

选型：开源水印算法、商用安全服务

C12.64 C12.46

细粒度数据权限、行级安全增强

RAG 知识库按租户、角色隔离数据

选型：PostgreSQL RLS、自研权限中间件

C12.64 C10.14 S09.01

L7 · 缓存 & 成本优化

命中也是一次调用：缓存分层、全变量缓存键与按租户账单共用同一份计量事实。

必备

无缓存，直接调用模型（POC 小流量可跳过缓存建设）必备

POC 小流量可以接受成本高、重复请求

选型：无

C12.09 C12.65

生产刚需

LLM 精确缓存 + Embedding 缓存生产刚需

重复请求、重复文本不重复调用模型 / Embedding，控成本、降延迟

选型：Redis（LiteLLM、Spring AI 内置支持）

C12.65 C12.18 A09.06 C16.12 C16.13

增强

语义缓存、租户 token 配额、成本账单增强

语义相似命中、按用户 / 租户限额、分业务成本统计

选型：LiteLLM 语义缓存、自研账单

C12.65 C12.26 S12.02 H01.02

L8 · 模型服务层条件层

条件层：仅部署私有大模型需要，调用云上 API 不需要。伸缩曲线与 GPU 绑定，不看 CPU。

必备

模型推理服务（私有化模型场景）必备

本地大模型推理、KV 缓存、批处理

选型：vLLM、TGI、BentoML

C12.66 C12.55 C16.01 C16.02 C16.03 C16.04 C16.05 C16.08 C18.13

生产刚需

推理负载均衡、健康检查、扩缩容生产刚需

推理服务高可用

选型：K8s HPA、推理网关

C12.66 C12.55 C10.17 H01.08 H01.01

增强

模型版本管理、模型 A/B、动态 LoRA 加载增强

多模型、LoRA 热切换

选型：MLflow Model Registry、BentoML

C12.66 A07.03 S07.02 C16.11 C18.08

L9 · 发布、CI/CD、实验

代码变更与效果变更两套准出：离线非劣效门禁 → 影子对比 → 按维度金丝雀 → 整组版本回滚。

必备

普通 CI/CD（和传统应用一致）必备

代码打包、单元测试、镜像推送

选型：GitLab CI、GitHub Actions

C10.12 C11.06 C12.67 C17.12

生产刚需

AI 专属回归评测流水线生产刚需

CI 阶段自动跑评测集，效果明显退化直接阻断发布

选型：LangFuse / Opik API + CI 脚本

C12.67 C12.52 C12.29 C17.13

增强

流量灰度、金丝雀、Istio 路由增强

部分流量走新版 Prompt / 新版本 RAG 策略

选型：Istio、Gateway 路由

C12.67 C10.01 C10.05 H01.05 H01.06