2. AI 集群运维与高性能通信

本章涵盖从底层网络硬件到上层通信库的完整运维体系，包括高性能网络组网、GPU 基础监控运维以及分布式通信实战，为构建高吞吐的 AI 计算集群提供保障。详细内容请访问：AI 集群运维与通信。

• GPU 基础运维
  • 设备查询：Device Query
  • 误区解读：GPU 利用率指标分析
  • 状态监控：nvidia-smi 指南
  • 状态监控：nvtop 指南
• InfiniBand 高性能网络
  • 理论基础：IB 网络架构与协议
  • 网络运维：健康检查与性能监控实战
• NCCL 分布式通信测试
  • 理论基础：NCCL 教程
  • 实战指南：基准测试与多节点部署

3. 云原生 AI 基础设施

本章聚焦于云原生技术在 AI 领域的应用，探讨如何利用 Kubernetes、容器化、微服务等云原生技术栈构建高效、可扩展的 AI 基础设施。详细内容请访问：云原生 AI 平台。

3.1 Kubernetes AI 基础设施

Kubernetes 是云原生 AI 平台的操作系统。本模块深入解析 Kubernetes 在 AI 场景下的核心组件与扩展机制，涵盖从底层的容器运行时支持到上层的分布式作业调度。

• Kubernetes GPU 管理与 AI 工作负载：云原生 AI 基础设施建设指南与技术导图
• NVIDIA Container Toolkit 原理：容器使用 GPU 的底层机制深度解析
• Device Plugin 原理：Kubernetes 设备插件机制源码分析
• Kueue + HAMi 调度方案：云原生作业队列与细粒度 GPU 共享机制
• LWS (Leader Worker Set) 介绍：Kubernetes 原生的大模型分布式训练与推理调度抽象
• 分布式推理框架：基于 Kubernetes 的 LLM 推理架构设计
• Containerd 日志分析：云原生容器运行时的日志排查与分析

3.2 GPU 资源管理与虚拟化

GPU 是 AI 平台最昂贵的计算资源。本模块专注于 GPU 资源的精细化管理，包括虚拟化、切分、远程调用和池化技术，旨在最大化资源利用率。

基础系列文档：

• 第一部分：基础理论篇：构建技术认知框架，解析传统模式局限性与核心技术体系
• 第二部分：虚拟化技术篇：深入剖析硬件级、内核态与用户态虚拟化的核心实现机制
• 第三部分：资源管理与优化篇：探讨 GPU 切分、CUDA 流及 MPS 等高效资源调度与优化策略
• 第四部分：实践应用篇：涵盖环境部署、监控运维及云平台集成的生产落地指南

HAMi 专题：

• HAMi 资源管理使用手册：异构算力管理与隔离实战指南
• HAMi Prometheus 监控指标：构建完善的 GPU 虚拟化可观测性体系
• KAI vs HAMi 对比分析：深度对比原生 Kubernetes AI 调度器与 HAMi 方案
• Flex AI 介绍：探讨灵活异构算力环境下的前沿实践

代码实现与配置：

• 完整实现代码：GPU 调度器、虚拟化拦截与远程调用的参考实现代码
• 配置文件集合：提供适用于生产环境和多云平台的完整部署与配置参考

3.3 高性能分布式存储

数据是 AI 的燃料。本模块介绍如何利用 JuiceFS、DeepSeek 3FS 等云原生分布式文件系统，解决 AI 训练中海量小文件读取、模型检查点保存和跨节点数据共享的性能瓶颈。

• JuiceFS 分布式文件系统：数据与元数据分离的架构设计，兼容 POSIX 接口
  • 文件修改机制分析：底层数据一致性与写入流程解析
  • 后端存储变更手册：生产环境下的存储运维与数据迁移指南
• DeepSeek 3FS 设计笔记：高性能存储系统架构设计与特性分析
• NVIDIA ICMS 架构解析：面向推理的 KV Cache 存储层架构深度解析

4. 底层计算与异构编程

本章专注于 AI 系统的底层编程技术，涵盖 GPU 基础架构、CUDA 核心编程范式以及 DPU 的开发指南，为系统级开发者提供从入门到进阶的完整技术路径。

4.1 GPU 与 CUDA 编程

整合了 GPU 基础架构、CUDA 核心编程概念及丰富的学习资源。详细内容请访问：GPU 编程基础。

开发环境配置：

• NVIDIA 容器环境配置：NVIDIA Container Toolkit 原理与构建指南
• CUDA 镜像构建分析：大模型训练与推理框架的 GPU 镜像构建深度解析

核心编程范式：

• GPU 编程入门指南：并行计算基础与 CUDA 编程模型
• CUDA 核心概念详解：线程块、网格等基础概念的深度解析
• CUDA 流详解：CUDA 并发编程之流处理机制
• SIMT vs Tile-Based 编程模型对比：架构差异与演进分析

Tile-Based 编程：

• TileLang 快速入门：语法详解、算子开发实战与性能优化技巧

性能分析与调优：

• nvbandwidth 最佳实践：显存带宽与 PCIe 传输带宽测量指南

进阶学习资源：

• CUDA-Learn-Notes：涵盖 200+ 个 Tensor Core/CUDA Core 极致优化内核示例 (HGEMM, FA2 via MMA and CuTe)
• Nvidia 官方 CUDA 示例：官方标准范例库
• Multi GPU Programming Models：多卡编程模型示例

4.2 DPU 编程

介绍数据处理单元（DPU）在现代计算架构中的应用及编程框架。详细内容请访问：DPU 编程。

• DOCA 框架
  • DOCA 编程入门：涵盖架构简介、核心组件及典型场景编程实践

5. 大语言模型应用开发与编排

本章探讨在 AI 时代下新兴的应用层开发范式与工作流，重点关注如何利用各种编程语言、框架和编排工具构建复杂的 LLM 应用及 Agent 系统。详细的深度探讨可参考 大模型编程指南。

5.1 AI 时代的软件工程：范式转移与重构

随着大语言模型能力的爆发式增长，软件工程正从 Software 1.0/2.0 时代迈向以自然语言驱动、Agent 自主决策与推理为核心的 Software 3.0 时代。本节探讨了在 AI 辅助下新兴的编程范式与工作流，重点关注如何利用 AI 提升开发效率与代码质量：

• Agent First：软件工程的下一个范式转移 - 梳理编程范式的演变历史，探讨 Agent First 的核心理念与实战指南。
• 驾驭工程 - 深度解析如何构建驾驭系统，提升 AI 编程助手的可控性与效能。
• OpenSpec 实战指南 - Spec 驱动开发 (Spec-Driven Development) 的工程实践，演示了“意图 -> Spec -> AI -> 代码 & 验证”的新一代开发工作流。

5.2 Java AI 开发

本节主要介绍在 Java 生态系统中开发大语言模型应用的技术栈。Spring AI 作为官方主推的 AI 工程框架，极大地降低了企业级 Java 应用接入 AI 能力的门槛。

• Java AI 开发指南 - Java 生态系统中的 AI 开发技术总览。
• 使用 Spring AI 构建高效 LLM 代理 - 基于 Spring AI 框架的企业级 AI 应用开发实践。

5.3 LangGraph 开发

LangGraph 是一个用于构建有状态、多智能体应用程序的库。它通过引入图计算模型，完美解决了传统 LLM 应用在循环逻辑和状态持久化方面的瓶颈，特别适合构建需要多轮推理和自我反思的复杂 Agent 工作流。

• LangGraph 框架学习资源 - LangGraph 框架的学习资源与实践案例总览。
• LangGraph 简介 - LangGraph 的核心概念与入门指南。
• AI 客服系统实战 - 基于 LangGraph 构建的 AI 客服系统 Notebook 实战。

5.4 AI 工作流与编排

除硬编码框架外，无代码或低代码（No-Code/Low-Code）工具也是 AI 应用落地的重要途径，它们能大幅提升编排效率。

• Coze 部署和配置手册 - Coze 平台的私有化部署与配置指南。
• n8n 多智能体编排指南 - 基于 n8n 构建 Multi-Agent 系统。
• 开源大模型应用编排平台对比 - 主流应用编排平台的深度横评。

6. 机器学习基础

本部分基于开源项目，提供系统化的机器学习学习路径。涵盖从数学原理到代码实现的完整过程，为深入学习大模型打下坚实基础。

6.1 动手学机器学习

本节提供全面的理论讲解与代码实战。

动手学机器学习 - 全面的机器学习学习资源库，包含理论讲解、代码实现和实战案例。

核心特色：

• 理论与实践结合：以 NJU 课程为主线，辅以 SJTU 配套资源，从数学原理到代码实现的完整学习路径。
• 算法全覆盖：涵盖监督学习、无监督学习、集成学习、推荐系统、概率图模型及深度学习。
• 项目驱动学习：提供心脏病预测、鸢尾花分类、房价预测等实战案例。
• 工程化实践：深入特征工程、模型评估、超参数调优及特征选择。

6.2 参考资料

本节精选了数学基础、经典教材与实战平台资源，构建完整的知识图谱。

数学基础：

• 线性代数的本质 - 3Blue1Brown 可视化教程，直观理解线性变换与矩阵运算。
• MIT 18.06 线性代数 - Gilbert Strang 经典课程，深入矩阵分解与子空间理论。
• 概率论与统计学基础 - 掌握贝叶斯定理、最大似然估计与概率分布。

经典教材：

• 《统计学习方法》 - 李航著，系统阐述感知机、SVM、HMM 等核心算法的数学原理。
• 《机器学习》 - 周志华著（西瓜书），全面覆盖机器学习基础理论与范式。
• 《模式识别与机器学习》 - Bishop 著（PRML），贝叶斯视角的机器学习圣经。

在线课程与实战：

• Andrew Ng 机器学习课程 - Coursera 经典入门，强调直觉理解。
• CS229 机器学习 - 斯坦福进阶课程，深入数学推导。
• Kaggle - 全球最大的数据科学竞赛平台，提供真实数据集与 Notebook 环境。

7. 大语言模型理论与基础