AI Fundamentals
本仓库是一个全面的人工智能基础设施（AI Infrastructure）学习资源集合，涵盖从硬件基础到高级应用的完整技术栈。内容包括 GPU 架构与编程、CUDA 开发、大语言模型、AI 系统设计、性能优化、企业级部署等核心领域，旨在为 AI 工程师、研究人员和技术爱好者提供系统性的学习路径和实践指导。
- 适用人群：AI 工程师、系统架构师、GPU 编程开发者、大模型应用开发者、技术研究人员。
- 技术栈：CUDA、GPU 架构、LLM、AI 系统、分布式计算、容器化部署、性能优化。
Star History:
1. 硬件架构与互连技术
涵盖单机基础计算芯片（GPU、TPU）设计原理，PCIe、NVLink 高速互连总线协议，GPUDirect 跨节点直通技术，以及 NVIDIA GB300 NVL72 等异构融合超级芯片的系统级架构与延迟金字塔模型。详细内容请访问：硬件架构与互连技术。
- 基础计算芯片架构
- 深入理解 GPU 架构
- TPU 101：深度学习专用加速器架构解析
- GPGPU vs NPU：大模型推理训练对比
- Ascend950 稀疏注意力 Forward 算子与优化技术简析 — 深度求索官方 950 微架构解析（1 Cube + 2 Vector、L1 双 bank、FixPipe），DSA 稀疏注意力 prefill/decode 优化转载存档
- 高速互连与数据传输技术
- 异构融合架构与系统性能评估
2. AI 集群运维与高性能通信
构建高吞吐 AI 计算集群的完整运维体系，涵盖基于 Device Query、nvidia-smi 和 nvtop 的 GPU 状态监控，InfiniBand (IB) 网络架构与健康检查，以及 NCCL 分布式通信库的基准测试与多节点部署实战。详细内容请访问：AI 集群运维与通信。
- GPU 基础运维
- InfiniBand 高性能网络
- NCCL 分布式通信测试
3. 云原生 AI 基础设施
基于 Kubernetes 的 AI 基础设施构建方案，涵盖 NVIDIA Container Toolkit 与 Device Plugin 底层机制、Kueue/HAMi 细粒度 GPU 资源切分与池化、LWS/llm-d 分布式推理调度，以及 JuiceFS、DeepSeek 3FS 等高性能分布式存储系统的架构实践。详细内容请访问：云原生 AI 平台。
3.1 Kubernetes AI 基础设施
解析 Kubernetes AI 场景核心组件，包括容器运行时 GPU 支持底层机制、设备插件源码分析、Kueue 调度整合，以及基于 LWS 的大模型分布式训练与推理架构。
- Kubernetes GPU 管理与 AI 工作负载：云原生 AI 基础设施建设指南与技术导图
- NVIDIA Container Toolkit 原理：容器使用 GPU 的底层机制深度解析
- Device Plugin 原理：Kubernetes 设备插件机制源码分析
- Kueue + HAMi 调度方案：云原生作业队列与细粒度 GPU 共享机制
- LWS (Leader Worker Set) 介绍：Kubernetes 原生的大模型分布式训练与推理调度抽象
- 分布式推理框架：基于 Kubernetes 的 LLM 推理架构设计
- Containerd 日志分析：云原生容器运行时的日志排查与分析
3.2 GPU 资源管理与虚拟化
提供异构算力环境下的 GPU 资源精细化管理方案，涵盖硬件级/内核态/用户态虚拟化机制、CUDA 流与 MPS 调度优化，并提供 HAMi 资源隔离与 Flex AI 的生产环境落地配置。
基础系列文档：
- 第一部分：基础理论篇：构建技术认知框架，解析传统模式局限性与核心技术体系
- 第二部分：虚拟化技术篇：深入剖析硬件级、内核态与用户态虚拟化的核心实现机制
- 第三部分：资源管理与优化篇：探讨 GPU 切分、CUDA 流及 MPS 等高效资源调度与优化策略
- 第四部分：实践应用篇：涵盖环境部署、监控运维及云平台集成的生产落地指南
HAMi 专题：
- HAMi 资源管理使用手册：异构算力管理与隔离实战指南
- HAMi Prometheus 监控指标：构建完善的 GPU 虚拟化可观测性体系
- KAI vs HAMi 对比分析：深度对比原生 Kubernetes AI 调度器与 HAMi 方案
- Flex AI 介绍：探讨灵活异构算力环境下的前沿实践
代码实现与配置：
3.3 高性能分布式存储
针对 AI 训练中海量小文件读取与跨节点共享的性能瓶颈，解析 JuiceFS 数据与元数据分离架构、DeepSeek 3FS 高性能设计及面向推理的 ICMS (KV Cache) 存储层机制。
- JuiceFS 分布式文件系统：数据与元数据分离的架构设计，兼容 POSIX 接口
- DeepSeek 3FS 设计笔记：高性能存储系统架构设计与特性分析
- NVIDIA ICMS 架构解析：面向推理的 KV Cache 存储层架构深度解析
4. 底层计算与异构编程
系统级 AI 底层编程路径，剖析 GPU 并行架构、CUDA 线程/网格与流处理机制、SIMT 与 Tile-Based (TileLang) 编程模型对比，以及基于 DOCA 框架的数据处理单元 (DPU) 核心编程范式。
4.1 GPU 与 CUDA 编程
涵盖 NVIDIA 容器镜像构建、CUDA 线程块/网格与流并发机制、SIMT 与 Tile-Based 编程模型对比、TileLang 算子开发，以及 nvbandwidth 显存与 PCIe 带宽调优实战，并链接 200+ Tensor Core/CUDA Core 优化内核的进阶学习资源。详细内容请访问：GPU 编程基础。
开发环境配置：
- NVIDIA 容器环境配置：NVIDIA Container Toolkit 原理与构建指南
- CUDA 镜像构建分析：大模型训练与推理框架的 GPU 镜像构建深度解析
核心编程范式：
- GPU 编程入门指南：并行计算基础与 CUDA 编程模型
- CUDA 核心概念详解：线程块、网格等基础概念的深度解析
- CUDA 流详解：CUDA 并发编程之流处理机制
- SIMT vs Tile-Based 编程模型对比：架构差异与演进分析
Tile-Based 编程：
- TileLang 快速入门：语法详解、算子开发实战与性能优化技巧
性能分析与调优：
- nvbandwidth 最佳实践：显存带宽与 PCIe 传输带宽测量指南
进阶学习资源：
- CUDA-Learn-Notes：涵盖 200+ 个 Tensor Core/CUDA Core 极致优化内核示例 (HGEMM, FA2 via MMA and CuTe)
- Nvidia 官方 CUDA 示例：官方标准范例库
- Multi GPU Programming Models：多卡编程模型示例
4.2 DPU 编程
基于 DOCA 框架的数据处理单元 (DPU) 开发指南，解析架构组件与网络加速、零拷贝 DMA、控制平面卸载、压缩、NVMe 模拟及近数据处理等典型场景的编程实践。详细内容请访问：DPU 编程。
- DOCA 框架
- DOCA 编程入门：涵盖架构简介、核心组件及典型场景编程实践
4.3 华为 NPU 编程
基于昇腾 NPU 硬件特性和 CANN 软件栈的系统级编程路径，涵盖 Da Vinci 架构、PyTorch NPU 适配与迁移、MindSpore 原生框架、Ascend 工具链、自定义算子开发，以及 RAG pipeline、FlashAttention、Mini-GPT 和 LLM 推理（Qwen2.5-7B BF16 + LoRA 微调）等端到端实战。详细内容请访问：华为 NPU 编程入门。
- NPU 开发环境搭建 — CANN 驱动、torch_npu 安装与版本对齐
- RAG Pipeline on NPU — Embedding + FAISS + LLM 全链路 NPU 化
- LLM 推理 on NPU — Qwen2.5 本地推理、ChatML、NaN 诊断
- LoRA 微调 on NPU — BF16 + peft + 梯度检查点，HBM 峰值 16.4 GB
- 更多主题：Da Vinci 架构与 CANN 软件栈、PyTorch NPU 适配、MindSpore 框架、Ascend 工具链、Ascend C 自定义算子、NPU 性能分析、FlashAttention、Mini-GPT
5. 大语言模型应用开发与编排
探索以自然语言驱动与 Agent 自主决策为核心的 Software 3.0 开发范式，包含 Spring AI 企业级 Java 接入、LangGraph 有状态多智能体图计算模型，以及 Coze/n8n 无代码工作流编排技术。详细的深度探讨可参考 大模型编程指南。
5.1 Java AI 开发
剖析 Java 生态 AI 开发技术栈，通过 Spring AI 工程框架实现企业级 Java 应用对 LLM 能力的接入，并演示基于 Spring AI 构建高效 LLM 代理的工程实践。
- Java AI 开发指南 - Java 生态系统中的 AI 开发技术总览。
- 使用 Spring AI 构建高效 LLM 代理 - 基于 Spring AI 框架的企业级 AI 应用开发实践。
5.2 LangGraph 开发
LangGraph 通过图计算模型解决 LLM 应用在循环逻辑与状态持久化上的瓶颈，提供状态机机制以支持多轮推理、自我反思的复杂 Agent 工作流构建（如 AI 客服系统 Notebook 实战）。
- LangGraph 框架学习资源 - LangGraph 框架的学习资源与实践案例总览。
- LangGraph 简介 - LangGraph 的核心概念与入门指南。
- AI 客服系统实战 - 基于 LangGraph 构建的 AI 客服系统 Notebook 实战。
5.3 AI 工作流与编排
无代码/低代码（No-Code/Low-Code）AI 应用落地指南，包含 Coze 私有化部署配置、n8n 多智能体编排实践，以及 Dify、Ragflow 等主流开源编排平台的架构与商业许可对比。文章收录于 7.5 工作流编排与应用平台（文件在 `06_llm_theory_and_f