self-attention mechanism
Ciência da Computação
Linguística
Tecnologia da Informação
Verbete 1 de 1
substantivo
Contexto: "The introduction of the Transformer model by Vaswani et al. [3] marked a significant milestone in NMT. This architecture, based on self-attention mechanisms, allows for parallel processing of input data, resulting in faster and more accurate translations."
Fonte: Zhannura Manapbayeva, Gulkhadisha Zaurbekova, Karlygash Ayazbekova, Aigul Kazezova, & Kunsulu Pirmanova. (2024). AI in Literary Translation: ChatGPT-4 vs. Professional Human Translation of Abai’s Poem “Spring.” Procedia Computer Science, 251, 526–531.
Fonte: Zhannura Manapbayeva, Gulkhadisha Zaurbekova, Karlygash Ayazbekova, Aigul Kazezova, & Kunsulu Pirmanova. (2024). AI in Literary Translation: ChatGPT-4 vs. Professional Human Translation of Abai’s Poem “Spring.” Procedia Computer Science, 251, 526–531.
Termo equivalente: mecanismo de autoatenção; mecanismo de intra-atenção; mecanismo de self-attention
Definição: "Self-attention is just the application of the attention mechanism to a single sequence [81]. In order to attach a meaningful representation (encoding) with it, the selfattention layer determines the interdependence of different words in the same sequence. We are now looking for scores between the elements of the sequence, instead of an inputoutput sequence association/alignment. It is considered as a key element of the Transformer’s design. Self attention is also called intra-attention [115–117]"
Fonte: Nassiri, K., Akhloufi, M. Transformer models used for text-based question answering systems. Appl Intell 53, 10602–10635 (2023).
Fonte: Nassiri, K., Akhloufi, M. Transformer models used for text-based question answering systems. Appl Intell 53, 10602–10635 (2023).
Definição em português: "a autoatenção é apenas a aplicação do mecanismo de atenção a uma única sequência [81]. Para anexar uma representação significativa (codificação) a ela, a camada de autoatenção determina a interdependência de diferentes palavras na mesma sequência. Agora estamos procurando escores entre os elementos da sequência, em vez de uma associação/alinhamento entre sequência de entrada e saída. É considerada um elemento-chave do design do Transformer. A autoatenção também é chamada de intra-atenção [115–117]."