by Jason1008Jia
One SQL across every data silo. A distributed MPP engine featuring disk-spill stability, native Python UDF, and AI Agent.
# Add to your Claude Code skills
git clone https://github.com/Jason1008Jia/DojaoGuides for using ai agents skills like Dojao.
See how Dojao compares with popular alternatives.
Dojao is an open-source ai agents skill for AI coding assistants such as Claude Code, Codex CLI, and ChatGPT, built by Jason1008Jia. One SQL across every data silo. A distributed MPP engine featuring disk-spill stability, native Python UDF, and AI Agent. It has 53 GitHub stars.
Dojao's catalog security scan is still queued. You can run an instant dependency and prompt-injection check now with the "Scan for vulnerabilities" button above.
Clone the repository with "git clone https://github.com/Jason1008Jia/Dojao" and add it to your Claude Code skills directory (see the Installation section above).
Dojao is primarily written in Java. It is open-source under Jason1008Jia on GitHub, so you can review or fork the full source.
Yes. SkillsLLM lists many other AI Agents skills you can browse and compare side by side. Open the AI Agents category from the badge at the top of this page, or use the Related Skills and comparison links further down to weigh Dojao against similar tools.
No comments yet. Be the first to share your thoughts!
Available after the catalog security scan passes.
⚠️ Third-Party Software Notice
This skill is third-party open-source software developed and hosted independently on GitHub. SkillsLLM lists this project for discovery and does not control or maintain the underlying repository.
Any security checks, ratings, or warnings displayed by SkillsLLM are automated and limited in scope. They do not constitute a security certification or guarantee that the software is safe, error-free, or free from malicious code, vulnerabilities, compromised dependencies, or prompt-injection risks.
Review the source code, permissions, dependencies, and configuration before installing or running any third-party skill. Use is at your own risk. To the maximum extent permitted by applicable law, SkillsLLM is not liable for losses arising from third-party software.
The deep catalog scan for this skill is still queued. Run an instant dependency check now instead.
打破数据库之间的隔阂 —— 面向 AI 时代的数据科学计算引擎
English | 中文
Dojao 不是一个数据库,也不只是一个查询引擎。它是一个面向数据科学家和分析师的分布式计算引擎,能力分两层:
设计初衷只有一句话:让分析师用一条 SQL 打通散落在 MySQL / TiDB / Doris / PostgreSQL / SQL Server / Oracle / Hive / ClickHouse / Excel 里的数据,让数据科学家不写一行 JVM 语言就能把 Python 统计量 / 小模型直接当 SQL 函数用。
配套:单进程即可跑通(Master + Worker 同进程),也能独立组集群(Master / Worker,Arrow Flight 传输); 聚合 / 窗口 / 排序 / 排序归并 Join 自动溢写磁盘;算子自观测,内置 Web 控制台看每一次查询的进度、内存与溢写。
当前版本
0.1.0:核心能力可用(联邦查询 / 溢写 / 分布式执行 / Python UDF / AI 控制台), 已知边界集中在 「已知边界」 一节,建议先读再评估是否适配你的场景。
Dojao 站在「小集群 + 跨源 + 内存紧张 + 必须跑完」这个交叉区间当正解 —— 这正是 Trino / Spark 最难受的区间。
① 溢写是「减量」的,内存线不是悬崖
聚合 / 窗口 / 排序 / 排序归并 Join 在触线前自动落盘,而且落盘时先把数据变小:窗口 rn=1 按组裁到 N 行,
高基数 GROUP BY 用按 key 的 K 路归并(峰值内存与 key 总数无关)。
对比:Trino 官方把溢写标为 legacy,被迫溢写时可能慢几个数量级;Spark 的 spill 是「保量」的,数据规模不缩小。
② 一条 SQL 跨源联邦,并且自带向量检索
MySQL / TiDB / Doris / PostgreSQL / SQL Server / Oracle / Hive / ClickHouse / Excel 用三段名直接 join;
pgvector 向量列映射 FixedSizeList<Float32>,相似度函数在 SQL 里直接算。
对比:数据不用搬进数仓,也不必为向量检索额外维护一个专用向量库。
③ Python 直接当 SQL 函数,不写 JVM、不打 jar 函数跑在独立 sidecar 进程,与引擎用 Arrow Flight 交换列式数据;协议(DFP)语言中立,Python 只是参考实现。 对比:Trino 的函数只能写 Java 插件;Spark 的 pandas UDF 虽然也走 Arrow,但要跑在 Spark 集群上、受其生态约束。
④ 控制台内置 AI Agent,权限与引擎同一套 一条自然语言完成跨源取数、SQL 执行、图表与导出;工具按角色授权,DDL 必须人工确认。 对比:通常要另接一套问数产品,数据权限还得再对齐一遍。 细节见 AI 控制台。
⑤ 单进程即用,也能组集群
默认一个进程同时跑 Master 与 Worker,解压即用;扩容时加机器、改两行 conf,Worker 自动注册到 Master。
对比:Trino 要 coordinator + worker + 服务发现,Spark 要 driver + 集群管理器。
⑥ 慢在哪,看得见 执行计划 DAG 与算子级下钻、内存与溢写遥测、查询快照 —— 不用翻日志猜瓶颈。 这也是让 ①–⑤ 的取舍可验证的前提:溢写了多少、卡在哪一步,控制台里直接读,不用信宣传。
Hash 分区算子按分区数恒定并行 —— 消费端并行度与分区数绑定,不与 Worker 数绑定;Scan → Partition → Join → Sort 主链路全程并行。无法分布式执行的计划会显式回退 Master 单机,并在日志与计划中标注(不是静默串行)。
Arrow 列存储在内存中不动,只有行号在 Map / Sort 中重排;溢写时一次性重排输出。传输与溢写都走 Arrow 列式批量往返,不做跨语言逐行序列化。
溢写完全复用 AbstractSpillableOperator:新增算子只需实现 Slot 接口 + P2 输出逻辑,即自动获得溢写能力。
RootAllocator),索引在堆内,二者是同一笔预算(query.slot.memory);system.<role>.memory(节点内存总量),
heap / direct / query.slot.memory / query.direct.limit 全部派生、能算能打印;NodeMemory:算子 / 连接器 / transport 统一记账,超限只让查询失败,不让节点被内核杀掉;推导要点:
slot.memory是一笔混合账(堆内索引 + 堆外数据);堆只装索引 / 批量暂存 / 控制面,query.direct.limit为堆外使用封顶。
| 特性 | 说明 |
|---|---|
| 联邦查询 | 一条 SQL 跨 MySQL / TiDB / Doris / PostgreSQL / SQL Server / Oracle / Hive / ClickHouse / Excel 读取,三段名 catalog.schema.table |
| Python UDF / UDAF | Arrow 批处理 + Arrow Flight(gRPC)通信;装饰器注册;协议语言中立(见 UDF_PROTOCOL.md) |
| 磁盘溢写 | 窗口 / 排序 / 聚合 / 排序归并 Join 自动溢写;减量式溢写,多盘轮转,盘满保护 |
| 向量计算 | pgvector 等向量列映射 FixedSizeList<Float32>,内置 cosine_similarity / l2_distance / inner_product |
| 列裁剪 + 谓词下推 | 三层列裁剪(保险丝 / 需求传播 / analyzer 绑定);连接器自报谓词下推能力,杜绝静默多读 |
| 动态资源管理 | 查询级资源上限 + 准入排队 + 动态并行度(按数据量估算切片数)+ 资源回收 |
| 分布式执行 | Exchange 算子(Arrow Flight)+ Fragment 计划 + Coordinator 调度;稳态下数据不进 Master,无法分布式的计划回退 Master 并标注 |
| 轻量部署 | Java 21 + 虚拟线程;发行包解压即用,单进程即可跑通 Master + Worker |
| Web 控制台 | 查询监控 / 任务看板 / 内存与磁盘溢写观测 / 执行计划 DAG 与算子级下钻 / SQL 自动补全 / 函数与 Catalog 管理 / 深浅主题 |
| 客户端 | 自带 CLI 与 JDBC 驱动(dojao-jdbc-<version>-all.jar);支持查询取消 |
| AI Agent | 内置流式 ReAct 推理:思考 / 工具调用 / 观察过程逐字展示;13 个内置工具、按角色授权、DDL 人工确认;多轮会话持久化、按账号隔离、Skill 可裁剪工具集。详见 AI 控制台 |
Dojao 内置了一个现代化的 Web 控制台(深 / 浅两套主题),用于实时观测执行状态、监控底层资源以及进行 AI 智能问数。
支持跨源查询(如左侧的 hive 与 mysql_catalog),自动补全、高亮语法、查询耗时与结果实时反馈,并支持一键导出 CSV / Excel / 绘制图表。
实时查看集群运行状态,追踪每条 Query 的执行耗时、返回行数、状态(已完成 / 失败)以及执行详情。
直观展示集群的 CPU、物理内存、JVM 堆与线程。内存不足时的磁盘溢写过程全透明可见,彻底告别 OOM 黑盒。
内置流式 ReAct Agent。你只需用自然语言提问(如“帮我分析每日营业额”),AI 将自动规划、生成并执行 SQL,最终直接渲染出可视化图表。
| 模块 | 职责 |
|---|---|
dojao-grammar |
ANTLR 语法、语义分析(SemanticAnalyzer)、逻辑计划、优化器(列裁剪 / 谓词下推) |
dojao-core |
算子、表达式引擎、标量/聚合函数、执行、内存模型、溢写管线 |
dojao-spi |
连接器 SPI(ConnectorFactory / DojaoConnector / ScanReader / Split)+ 函数 SPI |
dojao-common |
Page 与 Arrow 公共类型 |
dojao-metastore |
元数据存储:Catalog 注册(含 owner / 可见性)+ 持久化函数;后端可选 SQLite / MySQL / PostgreSQL / SQL Server |
dojao-server |
Master / Worker / Arrow Flight 传输 / Exchange / 作业管理与调度 |
connector/* |
内置连接器:mysql / tidb / doris / postgresql / sqlserver / oracle / hive(Hive2·Hive3)/ clickhouse / excel |
dojao-ui |
Web 控制台(静态资源 + 监控 API)+ AI 业务绑定层(13 个工具、系统提示词、角色与技能、会话 / 配置 / 文件存储) |
dojao-cli |
命令行客户端 |
dojao-jdbc |
JDBC 驱动(另产出带依赖的 -all.jar) |
dojao-ai |
ReAct 推理内核,零 dojao-metastore / dojao-ui 依赖:流式推理、工具调用、多轮上下文(LangChain4j + OpenAI 兼容端点) |
dojao-dist |
发行包打包(assembly:bin / conf / lib / lib/connectors / python) |
python/ |
Python sidecar 参考实现(dojao_udf) |
git clone https://github.com/Jason1008Jia/Dojao.git
cd Dojao
mvn clean package -DskipTests
需要 JDK 21 与 Maven 3.9+。产物有两处:
dojao-dist/target/dojao-0.1.0.tar.gz —— 自包含发行包;dojao-jdbc/target/dojao-jdbc-0.1.0-all.jar —— 带依赖的 JDBC 驱动(单独分发,不在发行包内)。从 GitHub Releases 下载自包含发行包 dojao-0.1.0.tar.gz,
解压即用,内含 bin/(启动脚本,Windows 为 .cmd)、conf/dojao.conf(本机配置)、
lib/(引擎与共享依赖)、lib/connectors/(内置连接器插件)、python/(sidecar 参考实现)、
systemd/(服务单元样例)。默认 system.role = both(同机起 Master + Worker)。
tar -xzf dojao-0.1.0.tar.gz
cd dojao-0.1.0/dojao
./bin/dojao # 按 conf 里的 system.role 启动;也可 ./bin/dojao master|worker|both
Windows 用
bin\dojao.cmd,参数相同。
分布式部署(A = Master,B / C = Worker):每台机器各自编辑本机 conf/dojao.conf ——
A 机写 system.role = both(或 master)与 system.master.host = 0.0.0.0;
B / C 机写 system.role = worker、system.master.host = <A 机 IP>、system.worker.host = <本机 IP>。
各机分别启动 ./bin/dojao,Worker 会主动注册到 Master,无需节点清单;扩容只需在新机写好角色与
Master 地址后启动。完整步骤见 docs/deploy-linux.md。
# CLI(Arrow Flight,默认端口 6530);Windows 用 bin\dojao-cli.cmd
./bin/dojao-cli
# Web 控制台(默认端口 2380):浏览器打开
http://localhost:2380
-- 注册数据源(一次)
CREATE CATALOG hive USING hive WITH ('catalog.hive.metastore.uris' = 'thrift://localhost:9083');
CREATE CATALOG mydb USING mysql WITH ('catalog.mysql.jdbcUrl' = 'jdbc:mysql://localhost:3306/dga',
'catalog.mysql.username' = 'root', 'catalog.mysql.password' = '***');
-- Hive 埋点明细 ⋈ MySQL 用户维表,只读真正用到的列
SELECT u.city, COUNT(*) AS c, ROUND(SUM(b.amount), 2) AS gmv
FROM hive.dojao_test.ods_user_behavior b
JOIN mydb.dga.users u ON b.user_id = u.user_id
WHERE b.dt BETWEEN '2026-09-01' AND '2026-09-30' AND b.event_type = 'pay'
GROUP BY u.city
ORDER BY gmv DESC LIMIT 20;
上面的示例需要本机有 Hive 与 MySQL。只想验证引擎本身的话,用仓库里的 csvdir 示例连接器
(把本地目录当数据库,零第三方依赖,约 400 行):
# 1. 让 dojao-spi 进本地仓库(主仓库里执行一次)
mvn -pl dojao-spi -am install -DskipTests
# 2. 构建示例插件
mvn -f examples/dojao-connector-example/pom.xml package
# 3. 丢进部署目录,重启 Master / Worker
cp examples/dojao-connector-example/target/dojao-connector-csvdir-0.1.0.jar <部署目录>/lib/connectors/
-- 目录结构:<dir>/<schema>/<table>/part-000.csv(首行为表头,列类型一律 STRING)
CREATE CATALOG demo USING csvdir WITH ('catalog.csvdir.dir' = '/data/csv');
SELECT * FROM demo.sales.orders LIMIT 10;
内置连接器覆盖主流数据源,能力对齐(元数据探查 + 并行切片 + 列裁剪 + 可选谓词下推):
关系型 / OLTP(谓词型切片:主键或行范围,天然可并行)
| 连接器 | type() |
说明 |
|---|---|---|
| MySQL | mysql |
主键范围并行切片;支持写入 / CTAS / OVERWRITE |
| TiDB | tidb |
MySQL 线路协议与 information_schema;EXPLAIN estRows 行数估算;支持写入 / CTAS / OVERWRITE |
| PostgreSQL | postgresql |
ctid 范围切片;pgvector 向量列 → FixedSizeList<Float32>;支持写入 / CTAS |
| SQL Server | sqlserver |
主键 / 数值列范围 / OFFSET-FETCH 三级切片;tinyint(0..255)读成 SMALLINT;支持写入 / CTAS / OVERWRITE |
| Oracle | oracle |
主键 / 整数 NUMBER 列范围 / OFFSET-FETCH 三级切片;双引号标识符(字典名大小写不敏感解析);无精度 NUMBER CAST 成 NUMBER(38,10)、FLOAT 提升为 BINARY_DOUBLE;支持写入 / CTAS / OVERWRITE |
分析型 / OLAP(载荷型切片:文件 / stripe / 分片)
| 连接器 | type() |
说明 |
|---|---|---|
| Hive | hive / hive2 / hive3 |
ORC / Parquet / Text / ACID;HDFS 文件分组切片;支持写入与 ACID 事务表写入(delta_* 文件 + 六列包装 + 懒开事务 / 心跳提交) |
| ClickHouse | clickhouse |
列存 OLAP;MergeTree 建表与原子覆盖写 |
| Doris | doris |
MySQL 协议接入 FE(9030);DISTRIBUTED BY 建表、REPLACE WITH TABLE 原子覆盖 |
本地文件(单分区读取,零第三方依赖)
| 连接器 | type() |
说明 |
|---|---|---|
| Excel | excel |
目录下每个 .xlsx / .xlsm 是一个 schema、每张工作表是一个表;恒定单分区(ZIP + 一条 XML 流,切分只会重复解压);共享字符串 / 富文本、日期格式与 1904 日期系 |