我为什么开始写这个网站
初衷 我在学习和工作的过程中，曾经写过一些笔记，也用过很多写笔记的工具，这些笔记分散在不同的工具或者平台里，这里面有日记本，微信收藏，有道云笔记，Notion，One Note, Obsidian Vault等等。这些信息很分散，管理起来是...
全部文章
36 篇
GPT 系列模型演进史
概述 从 2018 年到 2025 年，GPT 系列用七年时间从一篇不太被看好的论文，变成了改变世界的产品。理解它的演进过程，就是理解 LLM 技术的核心发展脉络。 mermaid timeline title GPT 系列演进 2018 ...
Transformer 注意力机制详解
为什么需要注意力 在 Transformer 之前，处理序列数据的主流方案是 RNN 和 LSTM。它们按顺序逐个处理 token——第 3 个 token 必须等第 2 个 token 算完。 这个"必须等待"带来了两个致命问题：不能并行...
RAG 检索增强生成实战
RAG 解决了什么问题 LLM 有两个顽固问题：知识截止（训练数据只到某个日期）和幻觉（编造不存在的事实）。RAG（RetrievalAugmented Generation）用外部知识库解决了这两个问题——查询时实时检索相关文档，把文档内...
LoRA 微调入门
为什么需要 LoRA 全量微调 7B 模型需要 50+ GB 显存。LoRA 通过低秩分解将可训练参数减少 1000 倍。 核心原理 在预训练权重旁添加低秩矩阵 A 和 B： $$W' = W + \alpha \cdot AB$$ 其中 ...
Prompt Engineering 方法论
什么是 Prompt Engineering Prompt Engineering 是通过设计输入文本引导 LLM 产生期望输出的技术。随着模型能力增强，Prompt 技巧也在不断演进。 基础技巧 ZeroShot 直接提问，不提供示例。适...
Agent 设计模式
什么是 AI Agent AI Agent 是能够自主感知环境、制定计划、调用工具、执行行动的 AI 系统。和传统的"输入输出"LLM 不同，Agent 是多轮交互的——它会在思考和行动之间循环，直到完成任务。 mermaid graph ...
LLM 推理优化
推理为什么慢 LLM 推理是自回归的——每次生成一个 token，需要重新计算整个序列的注意力。这导致计算量随序列长度平方增长。 KV Cache 推理时将之前计算的 Key 和 Value 矩阵缓存起来，新 token 只需要计算增量部分...
多模态大模型现状
什么是多模态 多模态模型能够同时理解文本、图像、音频等多种输入。GPT4V 的发布标志着多模态 LLM 走向成熟。 主流架构 视觉编码器 + LLM 使用 ViT 等视觉编码器提取图像特征，通过投影层对齐到 LLM 的文本空间。LLaVA ...
用 Obsidian 做 AI 知识管理
为什么选 Obsidian Obsidian 基于本地 Markdown 文件，支持双向链接和知识图谱，天生适合构建个人知识体系。对于 AI 这样一个快速迭代的领域，Obsidian 的灵活性尤为重要。 我的 AI 笔记模板 markdow...
搭建个人 AI 第二大脑
第二大脑的概念 "第二大脑"是 Tiago Forte 提出的概念——用外部工具扩展人脑的记忆和思考能力。Obsidian 是笔记层，加上 AI 就是交互层。 mermaid flowchart LR OObsidian 笔记 Embedd...
AI 行业趋势观察
从模型竞赛到应用落地 过去两年，行业核心叙事是"谁做出了最强的模型"。现在这个叙事在变——模型能力趋于商品化，差异化的重心从模型本身转移到基于模型构建的应用。 这并不意味着模型不再重要。而是说，下一个阶段的竞争不是"谁能训练出最大的模型"，...
OpenAI vs Anthropic：两条路线
两条路线 OpenAI 和 Anthropic 代表了 AI 行业的两条核心路线。 OpenAI Anthropic 定位 产品平台 安全研究 代表产品 ChatGPT、GPT API Claude、Claude API 安全策略 RLHF...
国产大模型的竞争格局
开源是核心变量 国产大模型最值得关注的方向，不是谁拿了多少融资，而是开源生态的建立。 阿里通义千问系列全面开源后，国内开发者第一次有了可自部署的、免费用且性能不错的模型。这催生了大量的微调模型和应用生态。DeepSeek 的 MoE 架构和...
Apple Intelligence 意味着什么
Apple 的 AI 哲学 2024 年 WWDC 上，Apple 发布了自己的 AI 战略。和 OpenAI、Google 不同，Apple 的定位很清晰：AI 不是独立产品，而是系统能力。 这意味着 AI 被深度嵌入到 Siri、写作工...
开源 LLM 能否追上闭源
当前差距 在 MMLU、HumanEval 等标准基准上，开源模型正在快速追赶。但在复杂推理、指令遵循和安全性上，闭源模型仍有明显优势。 追赶路径 数据质量：开源模型的训练数据质量在提升，尤其是代码和数学数据 合成数据：GPT4 生成的高质...
英伟达的护城河有多深
CUDA 是最深的护城河 提到英伟达，大部分人想到的是 GPU 硬件。但真正让英伟达不可替代的，是 CUDA 软件生态。 CUDA 是一个开发者平台，提供了从底层驱动到高层框架的完整工具链。过去 15 年积累的库（cuBLAS、cuDNN、...
用 Ollama 在本地跑大模型
Ollama 是什么 Ollama 是由一家旧金山创业公司开发的本地 LLM 运行工具。它把模型下载、量化、推理封装成一条命令。 和直接跑 Hugging Face Transformers 相比：不需要写 Python、不需要管理 CUD...
搭建个人 RAG 知识库
为什么用低代码平台 Dify 和 FastGPT 封装了 RAG 的复杂技术栈，让个人开发者能在 10 分钟内搭建一个知识库问答系统。 Dify 实践 yaml 知识库配置: 文档格式: Markdown 切片大小: 500 tokens ...
LLM API 费用的那些坑
注意：LLM API 的定价变化非常频繁。本文中的价格信息为 2026 年 7 月的参考值，实际使用前请查看各厂商官网的最新定价页面。 计价方式 LLM API 按 token 计费。核心规则：输入 token 和输出 token 分别计价...
VSCode + Copilot 效率提升
核心能力 GitHub Copilot 不只是代码补全，它能理解上下文、生成函数、写测试和文档。 高效使用 Tab 补全：最基本也是最常用的方式 Ctrl+I：打开 Copilot Chat，用自然语言描述需求 选中代码 → Ctrl+I：...
给你的应用加一个 AI 聊天窗口
技术选型 前端 AI 聊天窗口的核心是流式响应——让用户看到逐字生成的效果。 实现要点 javascript async function chatmessages { const response = await fetch'https:...
AI 图像生成工具对比
三大主流方案 当前 AI 图像生成主要有三种路线： Midjourney：Discord 机器人 + Web 界面。以美学质量著称，提示词理解力强。通过社区反馈持续迭代。适合追求视觉效果的创作者。 DALL·E（OpenAI）：集成在 Ch...
Obsidian 入门指南
为什么选 Obsidian Obsidian 是一个基于本地 Markdown 文件的笔记工具。和 Notion 不同，你的数据完全在你自己的硬盘上，不依赖云端服务。 Markdown 基础 Obsidian 使用标准 Markdown 语...
Obsidian + AI 插件的 5 种玩法
五大 AI 插件 Smart Connections 自动计算笔记之间的语义相似度，推荐你可能想链接的笔记。比手动 更智能。 Text Generator 基于 LLM 的文本生成。选中一段文字，让 AI 帮你续写、总结或改写。 Copil...
《Attention Is All You Need》论文精读
论文背景 2017 年 Vaswani 等人发表的这篇论文只有 6000 多字，却彻底改变了 NLP 和整个 AI 领域。 核心创新 论文最大的创新是用 SelfAttention 替代了 RNN。RNN 的问题是不能并行计算，SelfAt...
读完《Deep Learning》的 10 个收获
关于这本书 《Deep Learning》2016 年出版，至今仍是 AI 领域最重要的教科书之一。 十个关键收获 1. 表示学习：深度学习的核心不是分类，而是学习好的表示 2. 反向传播：链式法则的工程实现，所有神经网络的训练基础 3. ...
Andrew Ng《AI For Everyone》课程笔记
课程的独特价值 Andrew Ng 的《AI For Everyone》是 Coursera 上最受欢迎的 AI 入门课。它不讲代码，而是教非技术人员理解 AI 的边界。 核心概念 1. 监督学习：AI 最成功的范式，从输入到输出的映射 2...
CS229 机器学习课程回顾
课程概述 CS229 是 Stanford 的经典机器学习课程，由 Andrew Ng 主讲。和偏重实践的 CS231n 不同，CS229 更强调数学和算法原理。 知识体系 监督学习 线性回归、逻辑回归、SVM、决策树、集成方法 学习理论 ...
《为什么伟大不能被计划》读后感
核心论点 Stanley 的核心观点是：真正的突破性创新很少来自目标驱动，而是来自基于兴趣的探索。 对 AI 研究的启示 深度学习本身就是"探索"的结果。Hinton 坚持神经网络 30 年，当时没人认为这是正确的方向。如果一切都以短期目标...
LLM 幻觉问题研究现状
什么是幻觉 幻觉是 LLM 生成不基于训练数据或上下文的虚构内容。这是当前 LLM 最受关注的问题之一。 幻觉的成因 训练数据的噪声和不一致性 最大似然训练目标不直接优化事实性 解码策略（如 topp sampling）引入的随机性 缓解方...
AGI 离我们还有多远
两派观点 Sam Altman 认为 AGI 可能在 510 年内到来。Yann LeCun 认为自回归 LLM 不是通向 AGI 的正确路径。 当前瓶颈 推理能力：LLM 在复杂推理中仍有局限 世界模型：缺乏对物理世界的理解 持续学习：无...
AI 会不会取代程序员
没有人知道答案，但数据在说话 GitHub 在 2024 年的调研显示：使用 GitHub Copilot 的开发者完成任务平均快 55%。85% 的受访者表示对代码质量更有信心。这些数据来自真实的工程环境，不是实验室。 但这和"取代程序员...
AI 开源 vs 闭源之争
开源的真正意义 Meta 开源 Llama 不是慈善，而是一种竞争策略。更多开发者使用 Llama → 更多改进反馈 → 模型变得更好 → 威胁闭源厂商的地位。 安全争论 开源模型可以被任何人下载、修改和部署，这引发了安全担忧。但同时，开源...
从《Her》到 ChatGPT：AI 陪伴的十年
电影中的 AI 2013 年 Spike Jonze 的《Her》描绘了一个能与人类建立情感连接的 AI 操作系统 Samantha。电影中没有视觉界面，只有声音和对话。 十年后的现实 ChatGPT 的语音模式已经非常接近《Her》的对话...
从 Obsidian 看工具与思维方式
工具改变认知 用 Obsidian 之前，我的笔记是线性的——文件夹 → 子文件夹 → 文件。用 Obsidian 之后，知识变成了网络——每个概念都是一个节点，节点之间的连线代表关联。 这不是工具的改变，是思维方式的改变。 双向链接的力量...