Децентрализованное обучение больших моделей: запуск INTELLECT-2 покрывает границы возможного

startup Prime Intellect начал обучение INTELLECT-2, 32-миллиардной модели, обученной в распределённой среде. Это продолжение экспериментов с меньшими моделями — INTELLECT-1 (10 млрд параметров) и INTELLECT-1Б (1 млрд), — что уже привлекло 18 участников из Америки, Австралии и Европы. Успех с INTELLECT-2 показывать, что в апреле 2025 года могут появиться модели с 30+ млрд параметров в распределённом формате, а к декабрю — и модели до 100 млрд.

Главная причина важности — такая децентрализация изменит игровое поле в гонке за AGI. Сейчас крупные компании, вроде OpenAI и Google, объединяют огромные ресурсы, создавая обладателей практически монополий. Но по мере совершенствования децентрализованных методов эти крупные игроки столкнутся с конкуренцией от расширяющихся федераций организаций, объединяющих compute-ресурсы по всему миру, что может радикально изменить экономику развития сверхинтеллекта.