grps_trtllm - AI Agents | SkillsLLM

grps_trtllm

Name: grps_trtllm
Author: NetEase-Media

Pending

Higher performance OpenAI LLM service than vLLM serve: A pure C++ high-performance OpenAI LLM service implemented with GPRS+TensorRT-LLM+Tokenizers.cpp, supporting chat and function call, AI agents, distributed multi-GPU inference, multimodal capabilities, and a Gradio chat interface.

160stars

11forks

Python

Added 12/27/2025

View on GitHub Download ZIP

AI Agentsai-agentchatglmdeepseek-r1function-callinternvideo

Installation

# Add to your Claude Code skills
git clone https://github.com/NetEase-Media/grps_trtllm

README.md

grps-trtllm

GRPS + TensorRT-LLM 实现纯C++版，相比vllm serve更优性能的OpenAI LLM服务，支持Chat、Ai-agent、Multi-modal 、多卡推理等。

快速开始 | 模型列表 | 镜像列表 | 性能 | 预告

演示

说明

grps接入trtllm 实现更高性能的、支持OpenAI模式访问、支持Ai-agent以及多模态的LLM 服务：

通过纯C++实现完整LLM服务，包含tokenizer（支持huggingface, sentencepiecetokenizer）、llm推理 、vit等部分。
通过grps的自定义http功能实现OpenAI接口协议，支持chat和function call模式。
支持扩展不同LLM的prompt构建风格以及生成结果的解析风格，以实现不同LLM的chat 和function call模式，支持。

Agentic System Design

Design real-world AI agents - architectures, frameworks, and proven patterns

sponsoredEducative12 hoursIntermediate

Comments (0)

to leave a comment.

No comments yet. Be the first to share your thoughts!

Related Skills

everything-claude-code

by affaan-m

The agent harness performance optimization system. Skills, instincts, memory, security, and research-first development for Claude Code, Codex, Opencode, Cursor and beyond.

151,568

ai-agent

| supported model | llm_styler | chat | function_call | doc | |--------------------------------------------------------------------------|-------------|------|---------------|------------------------------------------------------| | Qwen3 | qwen3 | ✅ | ✅ | qwen3 | | DeepSeek-R1-DistillTinyR1-32B-Preview | deepseek-r1 | ✅ | ❌ | deepseek-r1-distill | | QwQ-32BQwQ-32B-AWQ | qwq | ✅ | ✅ | qwq | | QwQ-32B-Preview | qwq-preview | ✅ | ❌ | qwq-preview | | Qwen2.5-1MQwen2.5-CoderQwen2.5-MathQwen2.5 | qwen2.5 | ✅ | ✅ | qwen2.5 | | Qwen1.5-ChatQwen1.5-Moe-ChatQwen2-InstructQwen2-Moe-Instruct | qwen | ✅ | ✅ | qwen2 | | chatglm3 | chatglm3 | ✅ | ✅ | chatglm3 |
| glm4 | glm4 | ✅ | ✅ | glm4 | | internlm2_5-chatinternlm2-chat | internlm2 | ✅ | ✅ | internlm2.5 | | llama-3-instructllama-3.1-instruct | llama3 | ✅ | ❌ | llama3 | | phi-4 | phi4 | ✅ | ❌ | phi4 | | Phi-3, Phi-3.5 | phi3 | ✅ | ❌ | phi3 | | gemma-3(experimental) | gemma3 | ✅ | ❌ | gemma-3 |

|-- client                              # 客户端样例
|-- conf                                # 配置文件
|   |-- inference*.yml                  # 各类llm推理配置
|   |-- server.yml                      # 服务配置
|-- data                                # 数据文件
|-- docker                              # docker镜像构建
|-- docs                                # 文档
|-- processors                          # 远程处理器
|-- second_party                        # grps框架依赖
|-- src                                 # 自定义源码
|   |-- tensorrt                        # tensorrt推理后端
|   |-- vit                             # vit实现
|   |-- constants.cc/.h                 # 常量定义
|   |-- customized_inferer.cc/.h        # 自定义推理器
|   |-- llm_styler.cc/.h                # LLM风格定义，prompt构建，结果解析
|   |-- tokenizer.cc/.h                 # Tokenizer实现
|   |-- trtllm_model_instance.cc/.h     # TensorRT-LLM模型实例
|   |-- trtllm_model_state.cc/.h        # TensorRT-LLM模型状态
|   |-- utils.cc/.h                     # 工具
|   |-- main.cc                         # 本地单元测试
|-- third_party                         # 第三方依赖
|-- tools                               # 工具
|-- build.sh                            # 构建脚本
|-- CMakelists.txt                      # 工程构建文件
|-- .clang-format                       # 代码格式化配置文件
|-- .config                             # 工程配置文件，包含一些工程配置开关

git clone https://github.com/NetEase-Media/grps_trtllm.git
cd grps_trtllm
git submodule update --init --recursive

grps_trtllm

grps-trtllm

演示

说明

Related Skills

更新历史

文档教程

模型列表

工程结构

快速开始

拉取代码

创建容器