注意力机制最新综述解读（last revised 12 Jul 2021）

注意力机制最新综述解读（last revised 12 Jul 2021）
论文连接
[参考翻译]沈子恒的博客-CSDN博客_注意力机制
1.介绍
  注意力模型（AM）最早应用于机器翻译[1],现在神经网络领域应用广泛。注意力机制可以根据人的视觉机制进行解释，比如说驾车经过路口时驾驶员通常会更加关注路边的行人和其他车辆驾驶情况，而注意力机制能在计算中实现类似的效果。总地来说，注意力机制能动态地调整输入内容的权重，从而更加关注有助于完成当前任务的数据。
  注意力机制有三大优势：1）解决多任务任务最先进方法，如机器翻译、问题回答、情绪分析、词性标记、对话系统；2）提高神经网络可解释性；3）克服循环网络中随输入增加带来的性能下降。
2.注意力基础
3.注意力模型

Fig.2 编码器-解码器体系结构：（a）传统（b）注意模型

  图2（a）为sequence-to-sequence模型，由

注意力机制最新综述解读（last revised 12 Jul 2021）最先出现在Python成神之路。