Что такое Механизм внимания (Attention)

Механизм внимания — способность нейронной сети фокусироваться на наиболее релевантных частях входных данных при обработке каждого элемента. Self-attention позволяет модели учитывать связи между всеми словами в предложении одновременно. Multi-head attention разделяет внимание на несколько «голов», каждая из которых отслеживает разные типы зависимостей. Этот механизм — основа архитектуры трансформера и причина успеха современных языковых моделей.