Новая гибридная нейросеть HART ускоряет генерацию изображений в разы

Учёные из MIT и NVIDIA создали HART — инновационный метод для быстрого и качественного создания изображений. Он сочетает преимущества моделей диффузии, которые дают очень точные картинки, с автретросегрессивными моделями, которые работают быстрее. HART сначала использует быстрый прогноз по крупным деталям, а затем добавляет мелкие, высокочёткие штрихи, что позволяет достигать уровня качества больших моделей при меньших ресурсах — примерно в девять раз быстрее и с меньшей нагрузкой на вычислители. Эта технология открывает новые возможности для тренировки роботов, разработки игр и улучшения визуальных материалов, сохраняя баланс между скоростью и детализацией. В будущем HART планируют применить и к видео и аудио — всё ради более интеллектуальных и доступных средств к созданию мультимодальных изображений.