Исследователи Alon Levkovitch и Eliya Nachmani разработали новейший метод синтеза бинаурального звука из монофонических записей, не требуя при этом обучения на бинауральных данных. Это решение становится ключевым для расширенной и виртуальной реальности, где необходима высокая степень погружения.
Человеческий мозг способен локализовать источники звука, используя пространственные аудиокосы. Однако большинство существующих методов синтеза звука основаны на сложных математических моделях и требуют наличия обширных данных. Новая технология, названная ZeroBAS, использует машинное обучение для создания бинаурального звука из монофонических источников. Она включает в себя геометрическое временное искажение и модуляцию амплитуды, выделяя звуковые характеристики, которые помогают создать иллюзию объема звука.
Использование ZeroBAS показывает значительные результаты, сопоставимые с традиционными методами, несмотря на отсутствие предварительно обученных бинауральных данных. Исследование также представляет новый набор данных, TUT Mono-to-Binaural, который показывает универсальность подхода в различных акустических условиях.
Такой подход может значительно улучшить качество звука в кино, играх и системах виртуальной реальности, обеспечивая более естественное восприятие звукового опыта.