LLMIO

LLMIO 是一个基于 Go 的 LLM 负载均衡网关，为你的 LLM 客户端 ( claude code / codex / gemini cli / cherry studio / open webui ) 提供统一的 REST API、权重调度、日志记录与现代化管理界面，帮助你在一个服务中整合 OpenAI、Anthropic、Gemini 等不同模型能力。

架构图

LLMIO 架构图

功能特性

统一 API：兼容 OpenAI Chat Completions、OpenAI Responses 、Gemini Native 与 Anthropic Messages 格式，支持透传流式与非流式响应。
权重调度：balancers/ 提供两种调度策略(根据权重大小随机/根据权重高低优先)，可按工具调用、结构化输出、多模态能力做智能分发。
可视化管理后台：Web UI（React + TypeScript + Tailwind + Vite）覆盖提供商、模型、关联、日志与指标。
速率与失败处理：内建速率限制兜底与提供商连通性检测，保证故障隔离。
本地持久化：通过纯 Go 实现的 SQLite (db/llmio.db) 保存配置和调用记录，开箱即用。

部署

Docker Compose (推荐)

services:
  llmio:
    image: atopos31/llmio:latest
    ports:
      - 7070:7070
    volumes:
      - ./db:/app/db
    environment:
      - GIN_MODE=release
      - TOKEN=<YOUR_TOKEN>
      - TZ=Asia/Shanghai

docker compose up -d

Docker

docker run -d \
  --name llmio \
  -p 7070:7070 \
  -v $(pwd)/db:/app/db \
  -e GIN_MODE=release \
  -e TOKEN=<YOUR_TOKEN> \
  -e TZ=Asia/Shanghai \
  atopos31/llmio:latest

本地运行

前往 releases 下载对应操作系统及cpu架构的压缩包(版本大于0.5.13)，这里以 linux amd64 为例。

wget https://github.com/atopos31/llmio/releases/download/v0.5.13/llmio_0.5.13_linux_amd64.tar.gz

解压

tar -xzf ./llmio_0.5.13_linux_amd64.tar.gz

llmio

LLMIO

架构图

功能特性

部署

Docker Compose (推荐)

Docker

本地运行

Related Skills

环境变量

开发

API 端点