TAgent

🚀 A Production-Grade AI Agent Engineering Framework

🇬🇧 English | 🇨🇳 中文

不只是简单的模型封装，而是覆盖 Agent 请求的完整生命周期：接入、路由、运行时装配、规划执行、RAG、记忆、MCP 工具治理、人工审批、执行中干预，到 SSE 流式输出和全链路观测。

📖 项目简介

TAgent 是一个基于 Java 17、Spring Boot、Spring AI 和 DDD 分层架构 构建的企业级 AI Agent 工程实践项目。

它覆盖了一次 Agent 请求从接入、路由、运行时装配、规划执行、RAG、记忆、MCP 工具治理、人工审批、执行中干预，到 SSE 流式输出和全链路观测的完整过程。

本仓库是脱敏后的公开版本，不包含真实密钥、运行日志、历史对话、临时报告、数据库备份和个人文件。

适合谁

• 想系统学习 Java / Spring AI Agent 工程化落地的开发者。
• 正在研究 MCP 工具治理、动态工具补挂、Agentic RAG、多层记忆的同学。
• 需要参考 流式 SSE、人工审批、执行中干预、主动追问 ask_user、可观测性完整链路的团队。

🎯 系统总览

主链路

用户请求
  -> Filter / SSE Controller
  -> UnifiedAgentRouter
  -> Fixed / Auto / Flow
  -> Advisor + LLM
  -> MCP 工具执行
  -> SSE 流式响应

主链之外的关键控制链

• 动态工具补充：路由判断缺失能力 → PgVector 从工具目录中匹配真实 MCP 工具 → 与 Agent 常驻工具合并
• 执行中干预：用户可发送 steer 重做当前步骤、answer_now 跳过剩余步骤、cancel 中止执行
• 主动追问：模型缺少关键信息时可调用 ask_user，通过 SSE 向用户收集补充信息，再回填继续执行

✨ 项目亮点

🔄 端到端请求流程

1. 接入与 SSE 建连

请求进入 POST /api/v1/agent/auto_agent 后依次经过：

1. MdcTraceFilter：写入 request、trace、user、tenant、session 等上下文
2. RateLimitFilter：按用户、会话或 IP 进行限流
3. IdempotencyFilter：同步请求支持幂等，SSE 长连接端点直接放行
4. AiAgentController：创建 ResponseBodyEmitter、注册审批通道并立即发送 ack
5. Controller 组装 ExecuteCommandEntity，交给 Dispatch 异步执行

ack 会携带干预能力是否开启，前端据此决定是否显示执行中的操作栏。

2. 统一路由与懒装配

AgentDispatchService 负责：

• 用户未指定 Agent 时，调用 UnifiedAgentRouter 选择最合适的 agent_id
• 用户已经指定 Agent 时，跳过 Agent 选择，但仍可推断缺失工具能力
• 路由结果同时返回 missing_tool_descs，用于后续动态补工具
• 首次使用 Agent 时通过 Armory 懒加载 ChatClient、Model、Advisor 和 MCP callback
• 从数据库读取 Agent 的 strategy，分派到 Fixed、Auto 或 Flow

🏃 三种执行模式

Fixed 模式

适合直接问答或单轮工具任务：

准备上下文 -> 注入 Advisor -> 合并工具 -> LLM 流式生成 -> 保存记忆 -> 输出

也支持 MCP 工具调用、RAG、长期记忆、steer 重做、answer_now 提前结束。

Auto 模式

适合目标明确但需要自主分析、执行和检查的任务：

Auto 会循环执行，直到任务完成或达到 maxStep。Step3 判断失败时，可携带结构化 critique 返回 Step2 修正。

Flow 模式

适合可拆解、存在依赖关系的复杂任务：

DAG 中依赖已经满足的步骤可以并行，不同 MCP Server 的工具可以并行，同一个 MCP Server 复用同一连接时保持串行。

🛠️ 动态 MCP 工具补充

固定给每个 Agent 挂大量工具，会增加上下文、工具幻觉和选错工具的概率。TAgent 将工具拆成"常驻工具"和"按请求动态补充工具"。

UnifiedAgentRouter
  -> missing_tool_descs
  -> 每条能力描述生成 embedding
  -> PgVector 查询 mcp_tool_vector
  -> 每类能力取 Top-K
  -> 相对距离阈值过滤
  -> 多类结果并集去重
  -> 懒创建或复用 MCP callback
  -> 常驻工具 + 动态工具
  -> 注入本次请求

工具资产由两部分组成：

• MySQL ai_mcp_tool_catalog：真实工具名、MCP、原始描述、中文描述和中文意图
• PgVector mcp_tool_vector：用于语义检索的工具向量

当前工具匹配采用 embedding-only，不回退 BM25 或 LLM rerank。向量服务不可用时宁可跳过动态补挂，也不盲目匹配无关工具。

🔧 MCP 工具治理与自动重连

MCP 调用不是直接执行裸 callback，而是经过 MeteredToolCallback、RobustToolCallingManager 和 McpClientRegistry 三层治理。

McpClientRegistry

Registry 维护 MCP Client、工具与 MCP 的映射、重建工厂、最近成功时间、连续失败次数和熔断状态。

自愈路径包括：

1. 工具调用前按需进行懒探活
2. 首次调用失败后执行有限重试
3. 超时后再次探活，判断连接仍存活还是已经死亡
4. dead-client 或发送失败时重建 MCP Client
5. 重建成功后刷新旧 MeteredToolCallback 内部 delegate
6. 同一 MCP 设置 10 秒重连冷却，避免连续抖动和重连风暴
7. 连续失败进入熔断状态时跳过无意义重连

重连后对模型暴露的 ToolDefinition 保持稳定，因此工具参数提示不会因 callback 切换而丢失。

📚 Advisor 链

Advisor 由数据库配置，并按 order 参与请求：

🧠 Agentic RAG

RAG Router 会先判断是否需要检索，再从四种策略中选择：

检索链路：

Query Planning
  -> PgVector 语义召回
  -> Elasticsearch BM25
  -> RRF 融合
  -> Cross Encoder / LLM Rerank
  -> Child 命中替换为 Parent Document
  -> 注入编号引用
  -> rag_evidence SSE

💾 四层记忆

长期记忆包含：

• 固定画像槽位
• 情景记忆语义召回
• exact match 与语义去重
• 单值覆盖、累加记忆合并
• 冲突判断
• 访问热度继承与冷记忆归档
• 同一轮多步骤共享召回快照

🎮 执行中干预

Auto、Flow、Fixed 三种模式均支持 steer、answer_now 和 cancel。

引导 steer

POST /api/v1/agent/steer
Content-Type: application/json

{
  "sessionId": "session_demo_001",
  "idea": "请重点从工程落地和风险控制角度分析"
}

行为：

• 中断当前正在生成的流，而不是等待步骤自然结束
• 保留当前 reasoning、半截输出和已有步骤结果
• 将新想法合并到有效用户问题
• 重做当前步骤，并将引导继续传递到后续步骤

🤔 主动追问 ask_user

当模型缺少完成任务所必需的信息，或用户意图存在多种合理理解需要拍板时，可以调用 ask_user 主动向用户追问。

流程：

Advisor + LLM
  -> ask_user tool_call
  -> user_input_required SSE
  -> 用户补充回填
  -> ask_user tool result
  -> 继续下一轮推理

设计边界：

• agent.user-input.enabled=false 时完全不广播 ask_user，默认不影响原链路
• UserInputGate 按 sessionId 限制追问次数，并支持超时自动放行
• ask_user 与人工审批互不复用 ID：审批管工具授权，ask_user 管需求澄清

👨‍💼 人工审批

高风险工具可配置为执行前审批：

1. 后端发送 human_approval_required SSE 事件
2. 前端显示工具名、参数和审批原因
3. 用户调用审批接口
4. 批准后执行，拒绝或超时则向模型返回结构化错误

POST /api/v1/agent/approval
Content-Type: application/json

{
  "approvalId": "approval-id-from-sse",
  "approved": true
}

📡 SSE 事件

📊 可观测性

TAgent 同时记录模型、工具和 Agent 步骤：

• LlmObservationRecorder：模型、耗时、Token、缓存 Token、billing scope
• ai_event_log：步骤输入输出、路由、工具、干预和最终结果
• Prometheus：LLM 与 MCP 指标
• ELK：结构化日志与 MDC 上下文
• Jaeger：跨 Controller、Step、LLM 和工具调用 Trace
• WireTraceRecorder：在不消费下游响应体的前提下记录流式 wire 信息

页面：

• 系统观测：http://localhost:8099/observe.html
• MCP 观测：http://localhost:8099/observe-mcp.html

📋 技术栈

• Java 17
• Spring Boot 3.4.3
• Spring AI 1.1.7
• MCP SDK 0.18.2
• MyBatis、MySQL
• PostgreSQL + pgvector
• Redis
• Elasticsearch
• Resilience4j
• Reactor、SSE
• Micrometer、Prometheus、Grafana、Jaeger、ELK

🏗️ 项目模块

🚀 本地运行

外部依赖

默认地址：

环境变量

# LLM 配置
LLM_BASE_URL=https://your-openai-compatible-endpoint
LLM_API_KEY=your-llm-key
LLM_MODEL=your-model

# 向量模型配置
EMBEDDING_BASE_URL=https://your-embedding-endpoint
EMBEDDING_API_KEY=your-embedding-key
EMBEDDING_MODEL=BAAI/bge-m3

# 数据库凭据
MYSQL_USERNAME=root
MYSQL_PASSWORD=your-mysql-password
PGVECTOR_USERNAME=postgres
PGVECTOR_PASSWORD=your-postgres-password

按需设置 MCP 和观测凭据：

GITHUB_PERSONAL_ACCESS_TOKEN=your-github-token
GRAFANA_API_KEY=your-grafana-key
CSDN_API_COOKIE=your-csdn-cookie
WEIXIN_API_APP_SECRET=your-weixin-secret

数据库迁移

增量脚本位于：

docs/dev-ops/sql-migrations

新环境应按版本顺序执行。动态工具功能至少需要 V041、V046、V047。

构建

mvn "-Dmaven.test.skip=true" package

项目包含依赖外部服务和账号环境的集成测试。普通本地构建可跳过测试，验收时再运行指定测试类。

启动

java -jar ai-agent-station-study-app/target/ai-agent-station-study-app.jar

默认端口：8099

• 对话页：http://localhost:8099/index.html
• Agent 配置：http://localhost:8099/agent-config.html
• 健康检查：http://localhost:8099/actuator/health

📤 流式请求