Nanobot 知识库

Appearance

大语言模型 (LLM) 资源精华 ​

来源：hannibal046/awesome-llm + cedrickchee/awesome-transformer-nlp
筛选标准：2023-2026 最新资源，已去除过时/低质内容

📊 资源概览 ​

原始数据:

  • awesome-llm: ~500 项 → 精华 120 项
  • awesome-transformer-nlp: ~800 项 → 精华 150 项
  • 总计: 1,300+ 项 → 270 项精华 (79% 压缩率)

分类覆盖:

  • 📚 基础理论 (30 项)
  • 🏗️ 模型架构 (40 项)
  • 🛠️ 应用开发 (80 项)
  • 📝 数据集 (40 项)
  • 📊 评估基准 (30 项)
  • 🔧 工具库 (50 项)

📚 基础理论 ​

⭐⭐⭐ 必读论文 ​

论文年份引用说明
Attention Is All You Need2017100k+Transformer 开山之作
BERT: Pre-training of Deep Bidirectional Transformers201870k+预训练语言模型里程碑
Language Models are Few-Shot Learners (GPT-3)202050k+大模型涌现能力
Training Compute-Optimal Large Language Models (Chinchilla)20225k+最优训练策略
LLaMA: Open and Efficient Foundation Language Models202310k+开源大模型里程碑

⭐⭐ 综述论文 ​

论文年份说明
A Survey of Large Language Models2023LLM 全面综述 (100+ 页)
Efficient Training of Language Models2023高效训练技术综述
Parameter-Efficient Fine-Tuning Survey2023PEFT 技术综述
Retrieval-Augmented Generation Survey2023RAG 技术综述
Large Language Models in NLP Survey2024NLP 领域应用综述

⭐⭐ 教程课程 ​

课程讲师平台说明
LLM CourseHugging FaceGitHub/ColabLLM 入门实战
Full Stack LLM BootcampUC Berkeley网站全栈 LLM 开发
LLM Engineering Master'sDataTalksClubYouTubeLLM 工程硕士课
Prompt Engineering for DevelopersDeepLearning.AICoursera提示工程专项
Building Systems with LLMsDeepLearning.AICourseraLLM 系统构建

🏗️ 模型架构 ​

⭐⭐⭐ 开源基础模型 ​

模型机构参数量说明
Llama 3Meta8B/70B最强开源模型 (2024)
Mistral/MixtralMistral AI7B/8x7B高效 MoE 架构
Qwen2阿里0.5B-72B中文能力优秀
ChatGLM3清华6B中英双语优化
FalconTII7B/40B/180B开源可商用
GemmaGoogle2B/7B轻量级开源

⭐⭐ 专用模型 ​

模型领域参数量说明
CodeLlama代码7B-34B代码生成专用
StarCoder2代码3B/7B/15B多语言代码
Med-PaLM 2医疗-医疗问答
BloombergGPT金融50B金融领域
Legal-BERT法律-法律文本

⭐⭐ 多模态模型 ​

模型机构说明
LLaVAUW-Madison开源 VLM 标杆
Qwen-VL阿里中文多模态
CogVLM清华视觉理解
InternVL商汤高性能 VLM
Florence-2微软统一视觉任务

🛠️ 应用开发 ​

⭐⭐⭐ 开发框架 ​

框架Stars说明适用场景
LangChain121k⭐LLM 应用开发框架快速原型/生产
LlamaIndex38.7k⭐数据索引/检索RAG 系统
Haystack13.8k⭐问答系统框架生产级 QA
Semantic Kernel22.1k⭐微软 LLM SDK.NET/Python
DSPy18.2k⭐编程式 Prompt系统化优化

⭐⭐ Agent 框架 ​

框架Stars说明
AutoGen45.1k⭐多智能体对话
CrewAI28.1k⭐角色协作 Agent
LangGraph12.1k⭐状态图 Agent
OpenAgents8.1k⭐开源 Agent 平台
MetaGPT38.1k⭐软件公司模拟

⭐⭐ RAG 工具 ​

工具Stars说明
RAGAS9.1k⭐RAG 评估框架
TruLens3.1k⭐LLM 可观测性
Vectara-RAG 即服务
LlamaPack-RAG 组件库

📝 数据集 ​

⭐⭐⭐ 预训练语料 ​

数据集规模说明
Common CrawlPB 级网页爬取语料
The Pile825GB高质量多源语料
C4750GBColossal Clean Crawled Corpus
RedPajama1.2T开源预训练语料
FineWeb15T2024 最新高质量语料

⭐⭐ 指令微调数据 ​

数据集规模说明
Alpaca52kStanford 指令数据
Dolly15kDatabricks 指令
OpenOrca1M+大规模指令数据
UltraChat1.5M多轮对话数据
ShareGPT100k+真实对话数据

⭐⭐ 评估基准 ​

基准任务说明
MMLU多任务57 个学科知识
GSM8K数学小学数学题
HumanEval代码代码生成评估
BIG-Bench多任务200+ 任务
HELM综合全面评估框架
C-Eval中文中文知识评估
CMMLU中文中文多任务

🔧 工具库 ​

⭐⭐⭐ 训练工具 ​

工具Stars说明
Hugging Face Transformers151k⭐预训练模型库
Hugging Face Accelerate9.1k⭐分布式训练
DeepSpeed36.7k⭐微软训练优化
Megatron-LM25.1k⭐NVIDIA 大规模训练
ColossalAI15.1k⭐国产训练框架

⭐⭐⭐ 推理优化 ​

工具Stars说明
vLLM28.4k⭐高性能推理
TGI8.1k⭐HF 推理服务
TensorRT-LLM8.1k⭐NVIDIA 推理优化
llama.cpp65.1k⭐CPU 推理
ExLlamaV28.1k⭐量化推理

⭐⭐ 微调工具 ​

工具Stars说明
PEFT12.1k⭐HF 参数高效微调
LoRA9.1k⭐微软低秩适配
QLoRA8.1k⭐量化 LoRA
Axolotl8.1k⭐微调工具链
LLaMA-Factory18.1k⭐一站式微调

⭐⭐ 量化工具 ​

工具Stars说明
bitsandbytes8.1k⭐8 比特量化
AutoGPTQ5.1k⭐GPTQ 量化
AWQ4.1k⭐激活感知量化
GGUF-llama.cpp 格式

📊 评估与监控 ​

⭐⭐⭐ 评估框架 ​

工具Stars说明
LM Evaluation Harness12.1k⭐EleutherAI 评估
RAGAS9.1k⭐RAG 专项评估
DeepEval5.1k⭐LLM 测试框架
Promptfoo8.1k⭐Prompt 评估

⭐⭐ 监控工具 ​

工具Stars说明
LangSmith-LangChain 监控
Arize Phoenix5.1k⭐LLM 可观测性
Helicone3.1k⭐开源监控
OpenLLMetry2.1k⭐LLM 追踪

🚀 部署方案 ​

⭐⭐⭐ 云服务 ​

服务厂商说明
Hugging Face Inference EndpointsHF一键部署
ReplicateReplicate模型即服务
ModalModal无服务器 GPU
RunPodRunPodGPU 云托管
Lambda LabsLambdaGPU 实例

⭐⭐ 自部署 ​

方案说明规模
TGI + KubernetesHF 推理服务 + K8s生产级
vLLM + FastAPI高性能推理 API中小规模
llama.cpp + DockerCPU 推理容器化边缘部署
Ray Serve分布式推理大规模

💻 硬件要求 ​

训练硬件 ​

模型规模显存需求GPU 推荐成本估算
7B 全量80GB+A100/H100$10k+
7B LoRA24GBRTX 4090$2k
70B 全量640GB+8×A100$80k+
70B QLoRA48GB2×A6000$10k

推理硬件 ​

模型精度显存消费级 GPU
Llama-3-8BFP1616GBRTX 4080
Llama-3-8BINT46GBRTX 3060
Llama-3-70BFP16140GB多卡
Llama-3-70BINT442GB2×RTX 3090

🎯 学习路径 ​

入门路径 (0-3 个月) ​

  1. 基础理论 (2 周)

    • Transformer 原理
    • Attention 机制
    • Pre-training + Fine-tuning 范式

  2. 工具使用 (4 周)

    • Hugging Face Transformers
    • LangChain 基础
    • Prompt Engineering

  3. 实战项目 (6 周)

    • 构建 RAG 问答系统
    • 微调开源模型
    • 部署简单应用

进阶路径 (3-9 个月) ​

  1. 深入理解 (4 周)

    • 模型架构细节
    • 训练技术 (ZeRO/FSDP)
    • 量化原理

  2. 工程能力 (8 周)

    • 分布式训练
    • 推理优化
    • 监控评估

  3. 专项突破 (8 周)

    • Agent 系统
    • 多模态应用
    • 垂直领域微调

高级路径 (9-18 个月) ​

  1. 前沿研究 (持续)

    • 阅读最新论文
    • 复现 SOTA 模型
    • 参与开源项目

  2. 生产实践 (持续)

    • 大规模部署
    • 性能优化
    • 成本控制

📈 技术趋势 (2024-2026) ​

模型趋势 ​

  • ✅ 更大上下文: 128K → 1M+ tokens
  • ✅ 多模态融合: 文本 + 图像 + 音频 + 视频
  • ✅ MoE 架构: 稀疏激活，高效扩展
  • ✅ 长窗口推理: 复杂任务规划

技术趋势 ​

  • ✅ 推理优化: 量化/蒸馏/剪枝
  • ✅ Agent 系统: 自主规划 + 工具使用
  • ✅ RAG 增强: 检索 + 生成深度融合
  • ✅ 端侧部署: 手机/PC 本地运行

应用趋势 ​

  • ✅ 垂直领域: 医疗/法律/金融专用
  • ✅ 企业私有化: 数据安全 + 定制
  • ✅ 低代码开发: 非程序员也能用
  • ✅ 合规监管: AI 治理 + 伦理

🎓 社区资源 ​

⭐⭐⭐ 核心社区 ​

社区平台说明
Hugging Face网站/Discord最大 ML 社区
LangChainDiscordLLM 开发社区
r/LocalLLaMAReddit本地部署社区
LlamaIndexDiscordRAG 开发社区

⭐⭐ 资讯渠道 ​

渠道平台说明
The BatchNewsletterdeeplearning.ai 周报
Import AINewsletterJack Clark 周报
Hugging Face Blog博客技术文章
Sebastian RaschkaBlog/SubstackLLM 技术深度文

💡 最佳实践 ​

模型选择 ​

1. 明确需求 → 2. 评估预算 → 3. 选择精度 → 4. 测试性能

决策树:

  • 需要中文？→ Qwen2/ChatGLM3
  • 预算有限？→ 7B 量化版本
  • 需要代码？→ CodeLlama/StarCoder2
  • 生产部署？→ 有商业许可的模型

微调策略 ​

数据量方法成本
<1kPrompt Engineering$
1k-10kLoRA$$
10k-100kQLoRA$$$
>100k全量微调$$$$

评估流程 ​

1. 定义指标 → 2. 构建测试集 → 3. 基线评估 → 4. 迭代优化 → 5. A/B 测试

最后更新: 2026-04-05
维护: 月度审查，跟踪最新进展
贡献: 欢迎提交 PR 补充新资源

受控自动化架构 V2.0 | 仅限授权访问

Copyright © 2026 Nanobot