Команда исследователей из Google недавно представила работу, в которой раскрывается, как диффузионные модели способны создавать новые данные, проявляя своеобразную креативность. Это стало возможным благодаря тому, что нейросети обучаются на «сглаженной» версии функции оценки, что позволяет моделям интерполировать между точками данных в скрытом многообразии.
Диффузионные модели, как показали исследования, используются для генерации изображений и открытия молекул, создавая высококачественные, новые изображения из случайного шума. Исследователи проанализировали механизм, который стоит за этой способностью, и выяснили, что креативность является естественным следствием обучения нейросетей.
Они показали, что путем регуляризации во время обучения происходит «сглаживание» функции оценки, что позволяет моделям лучше обобщать данные и создавать новое, а не просто запоминать обучающие выборки. Это открытие открывает новые горизонты в понимании того, как работать с генеративными ИИ.
*компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена