mineru-tianshu - MCP Servers | SkillsLLM

mineru-tianshu

by magicyuan876

Pending

天枢 - 企业级 AI 一站式数据预处理平台 | PDF/Office转Markdown | 支持MCP协议AI助手集成 | Vue3+FastAPI全栈方案 | 文档解析 | 多模态信息提取

576stars

73forks

Python

Added 12/27/2025

View on GitHub Download ZIP

MCP Serversdeepseek-ocrmarkitdownmcp-serverminerupaddleocr-vl

Installation

# Add to your Claude Code skills
git clone https://github.com/magicyuan876/mineru-tianshu

README.md

Tianshu 天枢

企业级 AI 数据预处理平台

支持文档、图片、音频等多模态数据处理 | GPU 加速 | MCP 协议

结合 Vue 3 前端 + FastAPI 后端 + LitServe GPU负载均衡

English | 简体中文

如果这个项目对你有帮助，请点击右上角 ⭐ Star 支持一下，这是对开发者最大的鼓励！

📝 最新更新

2025-12-10 ⚡ 大文件并行处理

✅ PDF 自动拆分功能：超过阈值（默认 500 页）的 PDF 自动拆分为多个子任务并行处理
- 可配置的分块大小（默认 500 页/块），显著提升大文件处理速度
- 实现父子任务系统：自动管理子任务状态并在完成后合并结果
- 智能结果合并：保留原始页码信息，按序合并 Markdown 和 JSON 输出
- 处理时间可缩短 40-60%（取决于硬件配置）
- 异步拆分：拆分操作在 Worker 中进行，API 接口秒级响应
✅ PDF 拆分配置（.env 新增）
- PDF_SPLIT_ENABLED: 是否启用自动拆分（默认 true）
- PDF_SPLIT_THRESHOLD_PAGES: 拆分阈值页数（默认 500）
- PDF_SPLIT_CHUNK_SIZE: 每个子任务处理页数（默认 500）
✅ Worker 内存管理
- WORKER_MEMORY_LIMIT: 容器硬内存限制（默认 16G）
- WORKER_MEMORY_RESERVATION: 内存软限制/预留（默认 8G）

2025-12-05 🗄️ RustFS 对象存储集成

✅ RustFS 对象存储：所有解析结果的图片自动上传到对象存储
- S3 兼容 API，基于 minio-py 实现
- 批量上传图片，自动生成公开访问 URL
- 短且唯一的文件名生成（时间戳 Base62 + NanoID）
- 按日期自动分组（YYYYMMDD/文件名.ext）

MCP Fundamentals for Building AI Agents

Model Context Protocol - how autonomous AI agents communicate and scale

sponsoredEducative6 hoursIntermediate

Comments (0)

to leave a comment.

No comments yet. Be the first to share your thoughts!

Related Skills

Fair-code workflow automation platform with native AI capabilities. Combine visual building with custom code, self-host or cloud, 400+ integrations.

183,625

mineru-server/
├── frontend/              # Vue 3 前端（TypeScript + TailwindCSS）
│   ├── src/               # 源码（api、components、views、stores、router）
│   └── vite.config.ts
│
├── backend/               # Python 后端（FastAPI + LitServe）
│   ├── api_server.py      # API 服务器
│   ├── litserve_worker.py # GPU Worker Pool
│   ├── mcp_server.py      # MCP 协议服务器
│   ├── auth/              # 认证授权（JWT、SSO）
│   ├── audio_engines/     # 音频引擎（SenseVoice）
│   ├── video_engines/     # 视频引擎（FFmpeg + OCR）
│   ├── format_engines/    # 格式引擎（FASTA、GenBank）
│   ├── remove_watermark/  # 水印去除（YOLO11x + LaMa）
│   └── requirements.txt
│
├── scripts/               # 部署脚本
│   ├── docker-setup.sh    # Linux/Mac 部署
│   └── docker-setup.bat   # Windows 部署
│
├── docker-compose.yml     # Docker 编排配置
└── Makefile               # 快捷命令

# 一键部署
make setup

# 或使用脚本
./scripts/docker-setup.sh    # Linux/Mac
scripts\docker-setup.bat     # Windows

# 常用命令
make start    # 启动服务
make stop     # 停止服务
make logs     # 查看日志

cd backend
bash install.sh              # Linux/macOS 自动安装
# 或 pip install -r requirements.txt

cd backend
python start_all.py          # 启动所有服务
python start_all.py --enable-mcp  # 启用 MCP 协议

cd frontend
npm install
npm run dev                  # http://localhost:3000

# 自定义启动
python backend/start_all.py \
  --api-port 8000 \
  --worker-port 9000 \
  --accelerator cuda \
  --devices 0,1 \
  --workers-per-device 2 \
  --enable-mcp --mcp-port 8002

cd backend
python start_all.py --enable-mcp  # MCP Server 端口 8002（默认）

{
  "mcpServers": {
    "mineru-tianshu": {
      "url": "http://localhost:8002/sse",
      "transport": "sse"
    }
  }
}