Transformer —— 由 Google 的钻研人员在 2017 年的《Attention Is All You Need》[1] 中提出。其首先在 NLP 畛域中取得了 SOTA 的体现,之后也逐渐的被运用到 CV 及其他畛域里,照旧展显露夺目的矛头!网络上已有很多乐于贡献的博主、大佬们经过文章、视频等方式详细解释了 Transformer 的全体架构,对我的学习起到了极大的协助。本文着重于以下两点:
© 版权声明
Transformer —— 由 Google 的钻研人员在 2017 年的《Attention Is All You Need》[1] 中提出。其首先在 NLP 畛域中取得了 SOTA 的体现,之后也逐渐的被运用到 CV 及其他畛域里,照旧展显露夺目的矛头!网络上已有很多乐于贡献的博主、大佬们经过文章、视频等方式详细解释了 Transformer 的全体架构,对我的学习起到了极大的协助。本文着重于以下两点: