TAgent

🚀 A Production-Grade AI Agent Engineering Framework

🇬🇧 English | 🇨🇳 中文

不只是简单的模型封装，而是覆盖 Agent 请求的完整生命周期：接入、路由、运行时装配、规划执行、RAG、记忆、MCP 工具治理、人工审批、执行中干预，到 SSE 流式输出和全链路观测。

📖 项目简介

TAgent 是一个基于 Java 17、Spring Boot、Spring AI 和 DDD 分层架构 构建的企业级 AI Agent 工程实践项目。

它覆盖了一次 Agent 请求从接入、路由、运行时装配、规划执行、RAG、记忆、MCP 工具治理、人工审批、执行中干预，到 SSE 流式输出和全链路观测的完整过程。

本仓库是脱敏后的公开版本，不包含真实密钥、运行日志、历史对话、临时报告、数据库备份和个人文件。

适合谁

• 想系统学习 Java / Spring AI Agent 工程化落地的开发者。
• 正在研究 MCP 工具治理、动态工具补挂、Agentic RAG、多层记忆的同学。
• 需要参考 流式 SSE、人工审批、执行中干预、主动追问 ask_user、可观测性完整链路的团队。

🎯 系统总览

主链路

用户请求
  -> Filter / SSE Controller
  -> UnifiedAgentRouter
  -> Fixed / Auto / Flow
  -> Advisor + LLM
  -> MCP 工具执行
  -> SSE 流式响应

主链之外的关键控制链

• 动态工具补充：路由可预推断缺失能力，也可由执行期 request_tool 主动描述能力缺口 → PgVector 匹配真实 MCP 工具 → 与 Agent 常驻工具合并
• Flow 计划确认：仅 Flow 策略在生成并解析计划后可暂停，用户确认或编辑计划后再进入 DAG 执行
• Run ID 快照重做：Fixed、Auto、Flow 每次运行都会生成 Run ID；前端可通过 /run 查看近期快照，并用 /runId-stepN 从指定步骤修正重跑
• 执行中干预：用户可发送 steer 重做当前步骤、answer_now 跳过剩余步骤、cancel 中止执行
• 主动追问：模型缺少关键信息时可调用 ask_user，通过 SSE 向用户收集补充信息，再回填继续执行

✨ 项目亮点

🔄 端到端请求流程

1. 接入与 SSE 建连

请求进入 POST /api/v1/agent/auto_agent 后依次经过：

1. MdcTraceFilter：写入 request、trace、user、tenant、session 等上下文
2. RateLimitFilter：按用户、会话或 IP 进行限流
3. IdempotencyFilter：同步请求支持幂等，SSE 长连接端点直接放行
4. AiAgentController：创建 ResponseBodyEmitter、注册审批通道并立即发送 ack
5. Controller 组装 ExecuteCommandEntity，交给 Dispatch 异步执行

ack 会携带干预能力是否开启，前端据此决定是否显示执行中的操作栏。

2. 统一路由与懒装配

AgentDispatchService 负责：

• 用户未指定 Agent 时，调用 UnifiedAgentRouter 选择最合适的 agent_id
• 用户已经指定 Agent 时，跳过 Agent 选择，直接使用该 Agent 的策略和装配配置；可按 agent.dynamic-tools.infer-on-selected-agent 决定是否继续推断缺失工具能力
• 路由结果可携带 missing_tool_descs，由 agent.dynamic-tools 配置决定是否在本次请求中预补工具
• 执行阶段如果模型发现当前工具不足，可在 agent.request-tool.enabled=true 时调用 request_tool 动态装载真实 MCP 工具
• 首次使用 Agent 时通过 Armory 懒加载 ChatClient、Model、Advisor 和 MCP callback
• 从数据库读取 Agent 的 strategy，分派到 Fixed、Auto 或 Flow

🏃 三种执行模式

Fixed 模式

适合直接问答或单轮工具任务：

准备上下文 -> 注入 Advisor -> 合并工具 -> LLM 流式生成 -> 保存记忆 -> 输出

也支持 MCP 工具调用、RAG、长期记忆、steer 重做、answer_now 提前结束。

Auto 模式

适合目标明确但需要自主分析、执行和检查的任务：

Auto 会循环执行，直到任务完成或达到 maxStep。Step3 判断失败时，可携带结构化 critique 返回 Step2 修正。

Flow 模式

适合可拆解、存在依赖关系的复杂任务：

DAG 中依赖已经满足的步骤可以并行，不同 MCP Server 的工具可以并行，同一个 MCP Server 复用同一连接时保持串行。

Flow 还可以开启计划确认：Step2 生成计划、Step3 解析为 DAG 后先暂停，把计划以工具卡片形式展示给用户；用户可以直接确认，也可以编辑步骤标题、内容和依赖关系后再继续执行。这个能力只属于 Flow 策略，不影响 Fixed 和 Auto 的默认直跑流程。

🔁 Run ID 快照与步骤级重做

每次 Agent 运行都会生成一个 Run ID，用来串联本次请求的 SSE、ChatMemory、event_log 和 Redis 运行快照。

• 快照范围：Fixed 记录单次回答快照；Auto 记录 Step1-Step4；Flow 记录计划阶段和 Step4 中的 DAG 执行步骤。
• 存储方式：运行快照保存在 Redis，并设置 TTL；过期后需要重新发起任务，而不是沿用旧计划或旧工具结果。
• 前端入口：输入 /run 展示当前会话近期运行，只展开运行摘要；选择某个 Run ID 后再展示可重做步骤。
• 定点重做：输入 /runId-stepN 修正要求 后，系统继承源运行的 Agent 和前置步骤，并从目标步骤继续生成新回答。
• 历史记录：ChatMemory 和 event_log 记录 Run ID，刷新页面后仍能复制 Run ID；但真正能否重做以 Redis 快照是否仍有效为准。

🛠️ 动态 MCP 工具补充

固定给每个 Agent 挂大量工具，会增加上下文、工具幻觉和选错工具的概率。TAgent 将工具拆成"常驻工具"和"按请求动态补充工具"。动态补充支持两条互补路径：路由阶段根据 missing_tool_descs 预推断，或模型在真实执行中通过 request_tool 主动描述能力缺口。

UnifiedAgentRouter
  -> missing_tool_descs（路由预推断）
  或 Advisor / LLM
  -> request_tool(needs)（执行期补充）
  -> 每条能力描述生成 embedding
  -> PgVector 查询 mcp_tool_vector
  -> 每类能力取 Top-K
  -> 相对距离阈值过滤
  -> 多类结果并集去重
  -> 懒创建或复用 MCP callback
  -> 常驻工具 + 动态工具
  -> 注入本次请求 / run

工具资产由两部分组成：

• MySQL ai_mcp_tool_catalog：真实工具名、MCP、原始描述、中文描述和中文意图
• PgVector mcp_tool_vector：用于语义检索的工具向量

request_tool 属于元工具，不算业务执行工具；它可以在 Flow 的工具分析/规划阶段提前为后续 DAG 执行步补齐能力。路由预推断则适合在请求开始前补齐较明确的能力缺口。当前工具匹配采用 embedding-only，不回退 BM25 或 LLM rerank。向量服务不可用时宁可跳过动态补挂，也不盲目匹配无关工具。

🔧 MCP 工具治理与自动重连

MCP 调用不是直接执行裸 callback，而是经过 MeteredToolCallback、RobustToolCallingManager 和 McpClientRegistry 三层治理。

McpClientRegistry

Registry 维护 MCP Client、工具与 MCP 的映射、重建工厂、最近成功时间、连续失败次数和熔断状态。

自愈路径包括：

1. 工具调用前按需进行懒探活
2. 首次调用失败后执行有限重试
3. 超时后再次探活，判断连接仍存活还是已经死亡
4. dead-client 或发送失败时重建 MCP Client
5. 重建成功后刷新旧 MeteredToolCallback 内部 delegate
6. 同一 MCP 设置 10 秒重连冷却，避免连续抖动和重连风暴
7. 连续失败进入熔断状态时跳过无意义重连

重连后对模型暴露的 ToolDefinition 保持稳定，因此工具参数提示不会因 callback 切换而丢失。

📚 Advisor 链

Advisor 由数据库配置，并按 order 参与请求：

🧠 Agentic RAG

RAG Router 会先判断是否需要检索，再从四种策略中选择：

检索链路：

Query Planning
  -> PgVector 语义召回
  -> Elasticsearch BM25
  -> RRF 融合
  -> Cross Encoder / LLM Rerank
  -> Child 命中替换为 Parent Document
  -> 注入编号引用
  -> rag_evidence SSE

💾 四层记忆

长期记忆包含：

• 固定画像槽位
• 情景记忆语义召回
• exact match 与语义去重
• 单值覆盖、累加记忆合并
• 冲突判断
• 访问热度继承与冷记忆归档
• 同一轮多步骤共享召回快照

🎮 执行中干预

Auto、Flow、Fixed 三种模式均支持 steer、answer_now 和 cancel。

引导 steer

POST /api/v1/agent/steer
Content-Type: application/json

{
  "sessionId": "session_demo_001",
  "idea": "请重点从工程落地和风险控制角度分析"
}

行为：

• 中断当前正在生成的流，而不是等待步骤自然结束
• 保留当前 reasoning、半截输出和已有步骤结果
• 将新想法合并到有效用户问题
• 重做当前步骤，并将引导继续传递到后续步骤

🤔 主动追问 ask_user

当模型缺少完成任务所必需的信息，或用户意图存在多种合理理解需要拍板时，可以调用 ask_user 主动向用户追问。

流程：

Advisor + LLM
  -> ask_user tool_call
  -> user_input_required SSE
  -> 用户补充回填
  -> ask_user tool result
  -> 继续下一轮推理

设计边界：

• agent.user-input.enabled=false 时完全不广播 ask_user，默认不影响原链路
• UserInputGate 按 sessionId 限制追问次数，并支持超时自动放行
• ask_user 与人工审批互不复用 ID：审批管工具授权，ask_user 管需求澄清

👨‍💼 人工审批

高风险工具可配置为执行前审批：

1. 后端发送 human_approval_required SSE 事件
2. 前端显示工具名、参数和审批原因
3. 用户调用审批接口
4. 批准后执行，拒绝或超时则向模型返回结构化错误

POST /api/v1/agent/approval
Content-Type: application/json

{
  "approvalId": "approval-id-from-sse",
  "approved": true
}

📡 SSE 事件

📊 可观测性

TAgent 同时记录模型、工具和 Agent 步骤：

• LlmObservationRecorder：模型、耗时、Token、缓存 Token、billing scope
• ai_event_log：步骤输入输出、路由、工具、干预和最终结果
• Prometheus：LLM 与 MCP 指标
• ELK：结构化日志与 MDC 上下文
• Jaeger：跨 Controller、Step、LLM 和工具调用 Trace
• WireTraceRecorder：在不消费下游响应体的前提下记录流式 wire 信息

页面：

• 系统观测：http://localhost:8099/observe.html
• MCP 观测：http://localhost:8099/observe-mcp.html

📋 技术栈

• Java 17
• Spring Boot 3.4.3
• Spring AI 1.1.7
• MCP SDK 0.18.2
• MyBatis、MySQL
• PostgreSQL + pgvector
• Redis
• Elasticsearch
• Resilience4j
• Reactor、SSE
• Micrometer、Prometheus、Grafana、Jaeger、ELK

🏗️ 项目模块