Что такое GPT (Generative Pre-trained Transformer)

GPT — серия генеративных языковых моделей от OpenAI, основанных на архитектуре трансформера. GPT-1 (2018) содержал 117M параметров, GPT-4 (2023) — предположительно более триллиона. Модели обучаются предсказывать следующий токен в тексте, а затем настраиваются через RLHF. GPT стал нарицательным термином для AI-чат-ботов. ChatGPT, построенный на GPT-4, стал самым быстрорастущим продуктом в истории, набрав 100 миллионов пользователей за два месяца.