标签: 注意力机制

Transformer 注意力机制详解

为什么需要注意力 在 Transformer 之前，处理序列数据的主流方案是 RNN 和 LSTM。它们按顺序逐个处理 token——第 3 个 token 必须等第 2 个 token 算完。 这个"必须等待"带来了两个致命问题：不能并行...