GPT 系列模型演进史
概述 从 2018 年到 2025 年，GPT 系列用七年时间从一篇不太被看好的论文，变成了改变世界的产品。理解它的演进过程，就是理解 LLM 技术的核心发展脉络。 mermaid timeline title GPT 系列演进 2018 ...
AI
10 篇
Transformer 注意力机制详解
为什么需要注意力 在 Transformer 之前，处理序列数据的主流方案是 RNN 和 LSTM。它们按顺序逐个处理 token——第 3 个 token 必须等第 2 个 token 算完。 这个"必须等待"带来了两个致命问题：不能并行...
RAG 检索增强生成实战
RAG 解决了什么问题 LLM 有两个顽固问题：知识截止（训练数据只到某个日期）和幻觉（编造不存在的事实）。RAG（RetrievalAugmented Generation）用外部知识库解决了这两个问题——查询时实时检索相关文档，把文档内...
LoRA 微调入门
为什么需要 LoRA 全量微调 7B 模型需要 50+ GB 显存。LoRA 通过低秩分解将可训练参数减少 1000 倍。 核心原理 在预训练权重旁添加低秩矩阵 A 和 B： $$W' = W + \alpha \cdot AB$$ 其中 ...
Prompt Engineering 方法论
什么是 Prompt Engineering Prompt Engineering 是通过设计输入文本引导 LLM 产生期望输出的技术。随着模型能力增强，Prompt 技巧也在不断演进。 基础技巧 ZeroShot 直接提问，不提供示例。适...
Agent 设计模式
什么是 AI Agent AI Agent 是能够自主感知环境、制定计划、调用工具、执行行动的 AI 系统。和传统的"输入输出"LLM 不同，Agent 是多轮交互的——它会在思考和行动之间循环，直到完成任务。 mermaid graph ...
LLM 推理优化
推理为什么慢 LLM 推理是自回归的——每次生成一个 token，需要重新计算整个序列的注意力。这导致计算量随序列长度平方增长。 KV Cache 推理时将之前计算的 Key 和 Value 矩阵缓存起来，新 token 只需要计算增量部分...
多模态大模型现状
什么是多模态 多模态模型能够同时理解文本、图像、音频等多种输入。GPT4V 的发布标志着多模态 LLM 走向成熟。 主流架构 视觉编码器 + LLM 使用 ViT 等视觉编码器提取图像特征，通过投影层对齐到 LLM 的文本空间。LLaVA ...
用 Obsidian 做 AI 知识管理
为什么选 Obsidian Obsidian 基于本地 Markdown 文件，支持双向链接和知识图谱，天生适合构建个人知识体系。对于 AI 这样一个快速迭代的领域，Obsidian 的灵活性尤为重要。 我的 AI 笔记模板 markdow...
搭建个人 AI 第二大脑
第二大脑的概念 "第二大脑"是 Tiago Forte 提出的概念——用外部工具扩展人脑的记忆和思考能力。Obsidian 是笔记层，加上 AI 就是交互层。 mermaid flowchart LR OObsidian 笔记 Embedd...