《Attention Is All You Need》论文精读
论文背景 2017 年 Vaswani 等人发表的这篇论文只有 6000 多字，却彻底改变了 NLP 和整个 AI 领域。 核心创新 论文最大的创新是用 SelfAttention 替代了 RNN。RNN 的问题是不能并行计算，SelfAt...
学习笔记
6 篇读完《Deep Learning》的 10 个收获
关于这本书 《Deep Learning》2016 年出版，至今仍是 AI 领域最重要的教科书之一。 十个关键收获 1. 表示学习：深度学习的核心不是分类，而是学习好的表示 2. 反向传播：链式法则的工程实现，所有神经网络的训练基础 3. ...
Andrew Ng《AI For Everyone》课程笔记
课程的独特价值 Andrew Ng 的《AI For Everyone》是 Coursera 上最受欢迎的 AI 入门课。它不讲代码，而是教非技术人员理解 AI 的边界。 核心概念 1. 监督学习：AI 最成功的范式，从输入到输出的映射 2...
CS229 机器学习课程回顾
课程概述 CS229 是 Stanford 的经典机器学习课程，由 Andrew Ng 主讲。和偏重实践的 CS231n 不同，CS229 更强调数学和算法原理。 知识体系 监督学习 线性回归、逻辑回归、SVM、决策树、集成方法 学习理论 ...
《为什么伟大不能被计划》读后感
核心论点 Stanley 的核心观点是：真正的突破性创新很少来自目标驱动，而是来自基于兴趣的探索。 对 AI 研究的启示 深度学习本身就是"探索"的结果。Hinton 坚持神经网络 30 年，当时没人认为这是正确的方向。如果一切都以短期目标...
LLM 幻觉问题研究现状
什么是幻觉 幻觉是 LLM 生成不基于训练数据或上下文的虚构内容。这是当前 LLM 最受关注的问题之一。 幻觉的成因 训练数据的噪声和不一致性 最大似然训练目标不直接优化事实性 解码策略（如 topp sampling）引入的随机性 缓解方...