Исследователи Microsoft сделали значительный шаг в развитии моделей искусственного интеллекта, создав BitNet b1.58 2B4T, самую масштабную 1-битную модель на сегодня. Эта инновация открывает новые возможности для работы на маломощном оборудовании, благодаря своей способности обрабатывать веса в виде всего трех значений: -1, 0 и 1. Это упрощает процесс квантования, позволяет значительно сократить потребление памяти и ускоряет вычисления.
BitNet b1.58 2B4T имеет 2 миллиарда параметров и обучена на колоссальных 4 триллионах токенов, что соответствует 33 миллионам книг. Интересно, что по результатам тестов модель показала сопоставимые результаты с другими ИИ, такими как Llama 3.2 от Meta и Gemma 3 от Google, но при этом превосходит их по скорости работы и потреблению ресурсов.
Тем не менее, модель имеет ограниченную совместимость, так как требует использования специального фреймворка bitnet.cpp и не поддерживает GPU, что может ограничить ее широкое применение. Об этом можно узнать больше в полных материалах исследования.
*компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена