Что такое BERT (Bidirectional Encoder Representations from Transformers)

BERT — модель от Google (2018), обучающаяся понимать контекст слова с обеих сторон одновременно (двунаправленно). В отличие от GPT, BERT не генерирует текст, а анализирует его — классифицирует, извлекает сущности, определяет тональность и отвечает на вопросы по тексту. BERT произвёл революцию в поиске Google, улучшив понимание естественного языка в запросах. Производные модели: RoBERTa, ALBERT, DistilBERT широко используются в NLP-задачах.