Что такое Фундаментальная модель (Foundation Model)

Фундаментальная модель — большая модель, предобученная на широком наборе данных и адаптируемая к множеству задач без обучения с нуля. Термин введён Стэнфордским университетом в 2021 году. Фундаментальные модели (GPT-4, Claude, Gemini, Llama) обучаются один раз на триллионах токенов, затем fine-tuning адаптирует их под конкретные задачи. Это изменило парадигму ML: вместо создания модели под каждую задачу используется одна базовая модель с настройкой.