NIPS 2017 · Aprendizado de máquina
Atenção é tudo o que você precisa
Como você quer ler este artigo?
As três versões contam a mesma história — o Transformer, a arquitetura que trocou recorrência por atenção — com a mesma evidência do artigo original. Só a profundidade da explicação muda.
Sem fórmulas, direto ao pontoBásicoPara quem quer entender a ideia central do Transformer sem precisar de matemática — analogias, linguagem direta, os mesmos números do artigo.ComeçarIntuição e formalismo lado a ladoIntermediárioPara quem já viu redes neurais antes: os mecanismos explicados com alguma notação, sempre traduzida em prosa.ComeçarNotação completa, nuance técnicaAvançadoA leitura mais próxima do artigo original: equações, argumentos de variância e as ressalvas que os próprios autores fazem.Começar
O artigo em seis números
Tudo o que segue está no artigo original de 2017. Cada número traz o local exato de onde veio.
- 28,4
- BLEU em inglês→alemão (newstest2014), +2,0 sobre o melhor resultado anteriorFonte: Tabela 2, p. 8
- 41,0
- BLEU em inglês→francês — melhor modelo único publicado até entãoFonte: Tabela 2, p. 8
- 12 h
- de treino em 8 GPUs P100 para o modelo base atingir o estado da arteFonte: §5.2, p. 7
- 8 × 64
- cabeças de atenção paralelas, de 64 dimensões cada, somando d_model = 512Fonte: §3.2.2, p. 5
- 6 + 6
- camadas idênticas no codificador e no decodificador, sem recorrência nem convoluçãoFonte: §3.1, p. 2–3
- O(1)
- operações sequenciais por camada de auto-atenção, contra O(n) na recorrenteFonte: Tabela 1, p. 6