OpenAI опубликовала технический разбор нового протокола MRC (Multipath Reliable Connection), который предназначен для улучшения работы сетей суперкомпьютеров, на которых обучаются крупные модели искусственного интеллекта. Протокол был разработан в сотрудничестве с такими компаниями, как AMD, Intel и NVIDIA, и направлен на ускорение синхронного обучения, что особенно важно для frontier-моделей.
MRC позволяет разделять потоки данных на пакеты, которые распределяются по множеству маршрутов одновременно, что минимизирует задержки и повышает эффективность. Это решение поможет избежать узких мест, характерных для традиционных сетевых архитектур.
OpenAI уже использует MRC на своих суперкомпьютерах и отмечает, что протокол позволяет быстро устранять проблемы с сетевыми путями, что зависит от его способности функционировать даже в условиях, когда часть соединений выходит из строя.
С появлением MRC сетевые задержки в крупных системах станут гораздо менее ощутимыми, что важно для оптимизации ресурсов при обучении ИИ. OpenAI также передала спецификацию протокола в Open Compute Project для более широкого использования на рынке.
*компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена