Класс! 🎼 Могут ли программы помочь музыкантам создавать новые мелодии с помощью эмоций? Да! И одним из таких проектов уже занимается выпускник бакалавриата ИТМО Гарри Прошян 😱
Гарри создал приложение Face Music Control, оно позволяет управлять звуком разных музыкальных инструментов с помощью эмоций — и всё это прямо во время игры. Проще говоря, сервис делает звучание мелодии более близким к тому, что хотел выразить автор.
Работает всё так:
1⃣ Пока человек играет на музыкальном инструменте, сидя перед веб-камерой, его изображение передается детектору.
2⃣ Дальше сервис предобрабатывает его и распознает лицо.
3⃣ Затем нейронная сеть определяет эмоцию человека, преобразовывает результат анализа в сообщение MIDI-формата и отправляет его цифровой звуковой рабочей станции.
4⃣ В результате в зависимости от эмоций изменяется звук инструмента .
Подробнее о разработке Гарри и других интересных решениях для создания музыки с помощью эмоций — в материале ITMO.NEWS: news.itmo.ru/ru/education/trend/news/12758