NInfer 5070 Ti Laptop 12GB｜Qwen3.8-27B · 256K KVMem · 本地 AI Agent

在 RTX 5070 Ti Laptop 12GB 上运行 Qwen3.8-27B：KVMem 长上下文、RAM 历史 KV、MTP 投机解码，以及可选的 dsh 本地 Agent、免费联网搜索和浏览器工具。

这是基于 NInfer-all、NInfer 与沈三殊 KVMem 方案的 Windows 优化发行版，由 CSUNX233 维护。基础引擎、模型与量化技术属于各自上游；本仓库公开整合源码、本机修复、部署脚本和验证证据。完整来源与许可证 →

特别感谢：Bilibili UP 主 0xFFFF7

本项目所用的基础架构，下载自 Bilibili 的 0xFFFF7 提供的版本；此前遇到的死循环问题也是由他解决的。 感谢他的基础工作、修复与分享。这里继续公开本机后续适配和部署成果，也保留 NInfer、KVMem、Qwen、ISTA-DASLab 及其他上下游贡献者的归属。

256K 是配置的逻辑上下文容量。 已完成128K / 200K合成召回、生成历史与工具续接验证；6144档128K为5/5，200K为4/5，尚未跑满256K整模型压力测试。KVMem在长历史中选择部分页面参与注意力，不等同于全长稠密注意力。

维护者反馈200K日常使用稳定，重复任务更快。 工程测试进一步记录了6144档200K首次预填充424.62秒、完全重复112毫秒；冷预填充仍随长度增加而变慢，不能将日常观察理解为任何阶段都不降速。建议使用 xhigh 思考，启动预设与 dsh 默认均已配置。

强烈建议：针对 NInfer 禁用 CUDA 系统内存自动回退。 在 NVIDIA 控制面板的“管理 3D 设置 → 程序设置”中，添加本项目的 runtime/engine/ninfer-serve.exe，将 CUDA - Sysmem Fallback Policy 设为 Prefer No Sysmem Fallback。只设置该程序，保留全局设置。显存不足时驱动回退到 RAM 可能造成明显降速；本项目的 7 GiB Host KV 是引擎主动管理的 RAM 缓存，仍需保留。禁用驱动回退不会增加显存，不足时仍可能报错，启动前需预留显存。详细设置与排障 →

v0.1.4：工具调用与长上下文生成修复

下载v0.1.4。合入工具解析/截断错误回执、思考到回答的MTP采样边界、耦合抽样、NVFP4验证分区和FP16 GDN状态舍入修复。新增回答阶段独立惩罚计数，部署默认启用，回答presence仍为1；可用 AnswerPenaltyScope=carry-over 关闭。最终无探针引擎固定短题9/10→10/10，功能12/12、98K及六次工具续接7/7；这不是总体能力或速度承诺，误调用尚未根治。

夸克一键包包含引擎、两个ninfer模型及全部用户态运行依赖，只下载网盘包即可部署。 建议显存处理顺序：优先开混合显卡模式 → 对引擎关闭CUDA系统内存回退（溢出内存）→ 关闭无关后台应用 → 仍不足优先RK4V4 → 再适当配套缩小页池/检索窗口。详细设置。

本版提升、代价与验证 · 离线两模型整合包说明 · 安装提示词 · 纠错文档。GitHub附件不含权重，网盘整合包由维护者另行上传。Swift-1.5衍生模型适用单独许可，见模型与许可。

v0.1.3：NVFP4、长输入调度与累计缓存修复

历史版本：下载 v0.1.3。发布维护者当时引擎：NVFP4 KV，5070 Ti Laptop 专用 prompt 调度，以及 Host 重复副本 / Host-only 闲置缓存压力回收；延续此前的生成历史索引与缓存问句修复。公开页预算仍从 36864 / 3840 起步。

当前 NVFP4 配置相对此前 RK4V4 增加了一些显存占用；显存很紧张，可在 config/local.json 设置 "KVDType": "rk4v4" 并重启。 同一新版引擎支持两者，无需回滚 exe；缺少该字段的旧配置默认采用 NVFP4。切换方法

本轮 NVFP4 内部对照：128K / 200K 冷 prompt 耗时减少 18.86% / 26.66%，不代表 decode 同比提速；累计冷暖缓存后一次完成 512 行、六工具与 18/18 召回。Host 压力下可能淘汰闲置旧缓存，重访需重算。新测试使用维护者的 Huihui Swift-1.5 IQ3_XXS + MTP 变体，不能与旧版 GSQ-RCO 测量直接比较为量化质量提升；尚未证明 NVFP4 总体优于 RK4V4。更新说明 · 性能与边界 · 缓存压力修复

v0.1.2：补全生成历史索引，保护缓存问句续接（历史版本）

下载v0.1.2。该历史版本发布的引擎中，普通decode / MTP只索引主模型实际提交的历史；缓存问句在有新增历史的合法恢复时重评分，恰好到问句末尾的完全重复请求保留原排名。非评分分块融合QK norm + RoPE与旋转前K采集。

部署先从较小完整组合 36864页池 / 3840检索 起步，清理显存，通过短任务、缓存和工具续接后再逐档加大。 v0.1.2 RK4V4 的39168 / 6144是进阶档，当时CUDA启动余量约84MiB；128K首次/重复5/5，200K均4/5。64K三任务六工具调用续接约396–679ms，加权decode84.11tok/s。没有宣称全长全召回或整体提速。实测与边界 · 部署顺序 · Agent部署提示词

v0.1.1：修复检索上下文和工具续接（前一版）

下载 v0.1.1。修复长/短会话切换及缓存恢复时可能沿用其他上下文的检索索引；索引与排名随缓存检查点恢复，修正非对齐页追加、重复累加和缺失页计数。同步公开截图后的进度续接与取消透传补丁。

实测 62K 输入 → 累计 43,775 tokens 生成 → 工具调用 → 三轮续接，工具结果只新算 52 tokens，TTFT 915 ms，随后三轮 382–411 ms。没有新增 GPU buffer，xhigh、采样、MTP 和检索预算保持原样；新增索引快照使用 RAM。单次 49K 冷输入约慢 3%，不宣称整体提速；满 256K 压力及原 177K 截图任务行为尚未重放。优化、对照与边界 · 已有安装升级

实际作品：鹈鹕骑自行车，约 7 分钟

维护者使用本机模型生成的单文件动画，报告耗时约 7 分钟，HTML 原文件保持原样。纯 SVG + CSS + JavaScript，无外部依赖；这是一个实际生成样例，不是能力榜单分数或解码测速。

下载 / 查看 HTML 源文件 · 样例说明与运行方法

为什么值得试

• 12GB 笔记本运行 27B 模型。 使用 GSQ-RCO IQ3_XXS 权重、NVFP4 KV（可选 RK4V4）、36K GPU 页池和 7 GiB Host KV；历史 KV 保存在 RAM，按需调入。
• 长上下文保留快速续接。 修复大缓存接管的页预算、尾页写时复制与异步生命周期；一次 84,925-token 工具续接命中 84,873 tokens，仅新算 52 tokens，预填充约 814 ms。
• 显存留给模型。 检索索引从 GPU 移到 RAM，使用双缓冲预取；256K 索引约 256.25 MiB，GPU scratch 共 32 MiB，相对原 GPU 索引净省约 224.25 MiB。
• 为这张卡实测调度。 46 SM / cc1200 的指定 IQ2_S、IQ3_XXS、Q2_K 小矩阵路线；固定短任务两轮 A/B 总解码吞吐约 +2.44%，已有算子与输出一致性检查。
• 可选的完整本地 Agent。 dsh 网页、严格缓存守卫、工具结果裁剪优化、待办收尾提醒；新增工具验证与分步执行规则，引导模型在下一步明确时读取、实现、测试，保留 xhigh 和必要的深入思考。本地执行网页搜索/读取，Edge 浏览器按需启动，不要求付费搜索 API。接入、开关与验证 →
• 可选 CPU 视觉。 视觉编码可全部放 CPU，文字推理继续使用 GPU；图片首次编码明显增加延迟。视觉实测 →

实测速览

硬件：RTX 5070 Ti Laptop 12GB / i7-14650HX / 32GB RAM / Windows / NVIDIA 617.14。CUDA 13.0.48，MSVC 14.44.35207。模型为 Qwen3.8-27B-GSQ-RCO-IQ3_XXS-mtp 转换的 .ninfer。不同任务的投机接受率、功耗和缓存状态会改变结果。

这不是所有场景的保底速度。 最新调度优化没有证明预填充或 TTFT 普遍变快；原版与新版的完整对照、质量验证和局限见 实测报告。重复文本触发近乎全接受的 221 token/s 不作为普通 Agent 速度宣传。

后续可能的优化

动态 / 自适应 MTP 也许能继续提升 decode 速度，目前未在本机做对照验证，默认未启用。 它需要根据接受率调整草稿宽度，并核对额外验证计算、页预算和 CUDA Graph 成本；不能预先承诺收益或质量等价。当前优化范围

下载与运行

交给自己或 Agent 部署前，先读 部署与维护交接手册：包含可复制的 Agent 提示词、关键组件版本、显存准备、启动设置、分层验收、实际踩坑及处理办法。

1. 下载仓库源码 ZIP，解压到 D 盘等空间充足的位置；或使用下面的 Git 命令。
2. 准备 Windows x64、可用的 RTX 5070 Ti Laptop 12GB、32GB RAM、Node.js 24+、x64 VC++ 运行库，以及兼容 CUDA 13 的 NVIDIA 驱动。
3. 准备带 MTP 的 v3 .ninfer 模型。模型来源、精确文件与转换步骤 → 权重不包含在本仓库或 Release 中。
4. 在项目目录执行：

git clone https://github.com/CSUNX233/qwen3.8-27b-ninfer-5070tilaptop-kvmem-local-agent.git
cd qwen3.8-27b-ninfer-5070tilaptop-kvmem-local-agent
powershell -NoProfile -ExecutionPolicy Bypass -File .\setup.ps1 -ModelPath "D:\Models\qwen3.8-27b-gsq-rco-iq3-xxs.ninfer"
.\start.cmd

setup.ps1 从 Release 下载引擎，从 NVIDIA/BtbN 下载固定版本依赖，逐项核验 SHA-256，再安装固定版本 dsh。下载、缓存、会话与日志留在本项目目录。启动后自动打开带本机登录凭据的网页；关闭时运行 stop.cmd。

只用 API：安装时加 -SkipDsh，启动时执行 powershell -ExecutionPolicy Bypass -File .\start.ps1 -EngineOnly。

同时支持 /v1/chat/completions、/v1/responses 和 /v1/messages 等接口；具体兼容范围见 引擎服务文档。安装与排障 · 从源码编译

使用条件与边界

• 明确实测可用：RTX 5070 Ti Laptop 12GB。 本机已经稳定完成长任务与日常 Agent 使用；这是本仓库直接验证的设备。
• 推荐独显 + 核显混合模式。 桌面、网页和浏览器渲染尽量交给核显，独显显存留给推理引擎。当前启动预设按这种使用方式整理，脚本不会自动切换系统显卡模式。没有核显或混合模式也可以尝试，但启动前应关闭不需要的 GPU 程序和后台进程，预留足够显存。
• 其他 RTX 50 系、12GB 及以上显存的显卡欢迎尝试。 当前参数和预编译包以本机为准，尚未逐卡验证；非 50 系显卡需针对自己的 CUDA 架构重新编译，并调整显存预算。欢迎通过 Issue / PR 补齐其他显卡的编译方法、参数和实测结果。
• 代码以 Apache-2.0 开源；可以下载、修改、再分发和商用，须保留适用许可证、归属及修改说明。第三方目录、dsh 和外部运行库分别遵守各自许可；模型权重另遵守模型仓库条款。
• 预编译引擎为 Windows x64 / sm120a；主要验证设备就是 RTX 5070 Ti Laptop。其他显卡需要自行编译、调参和验证，不能直接套用速度或显存承诺。
• 该预设接近 12GB 显存预算；其他 GPU 程序和独显直连桌面可能影响启动。脚本不修改全局代理、驱动策略或其他程序的 GPU 设置。
• 长历史中段通过检索选择页面，保存了历史 KV 不代表每次生成都读取全部历史；检索预算、量化、原模型能力都会影响召回和回答质量。NVFP4 内部调度对照保持既有权重、KV 编码和检索预算；切换 KV 格式本身可能改变输出，已通过的检查不等同于完整能力评测。
• 只有相同 token 前缀才能复用缓存；改写历史、删思考、换模板或压缩会使变化部分重新计算。
• 搜索和浏览器后端在本机执行，访问互联网仍需网络。无付费 API 不等于离线搜索；网站验证码、限流和页面变化可能导致工具失败。
• 默认单并发、回环地址，本项目按个人本地部署提供。女娲及人物技能不会自动安装或启用。

项目导航

English: A Windows NInfer + KVMem distribution tuned on an RTX 5070 Ti Laptop 12GB: local Qwen3.8-27B IQ3_XXS inference, 256K configured logical context, RAM-backed KV, MTP speculative decoding, fast cached tool continuations, and optional DeepSeek Harness Agent/search/browser integration. Tested at 110K input and 62K+44K multi-turn continuation; full 256K end-to-end stress is pending. See English overview.

Keywords: RTX 5070 Ti Laptop · 12GB VRAM · Qwen 27B · Qwen3.8 · NInfer · KVMem · long context · speculative decoding · local LLM · local AI agent · DeepSeek Harness · Windows CUDA · 本地大模型 · 长上下文 · 笔记本推理。