Интересное

Как ИИ распознаёт настроение музыки в коротких видео

TikTok и аналогичные сервисы ежедневно принимают сотни миллионов клипов, и для поиска, рекомендаций и рекламы каждому треку требуются метки настроения. Разметчики такой объем не осиливают, а стандартные аудиоанализаторы созданы под полноформатные песни, а не под фрагменты на 8−30 секунд с голосом поверх музыки и шумами. SALF-Net объединяет два «уха»: акустический модуль, предварительно обученный на крупном музыкальном корпусе, и языковую модель, которая читает слова песни. Во время обучения текст время от времени «прячут», так что без него — скажем, у инструментальных композиций — система продолжает работать.

Насколько хороша SALF-Net по сравнению с другими?

SALF-Net распознаёт настроение музыки в коротких видео за 7 миллисекунд - изображение номер один
SALF-Net распознаёт настроение музыки в коротких видео за 7 миллисекунд — изображение номер один

Новую модель проверили на свежей коллекции из 30 000 роликов с человеческой разметкой: SALF-Net обошла и узкоспециализированные решения, и аудиоверсии гигантских ИИ — Qwen-Audio от Alibaba и Audio Flamingo от NVIDIA. Специалисты сочли 61,8% выданных меток точно подходящими, а ошибок у новинки вдвое меньше, чем у соперников. Иногда система дополняет авторские теги удачными соседями: к «энергичной» музыке танцевального челленджа она прибавляет «мотивирующую» и «вечериночную».

Облегченная версия сохраняет 95% качества полной модели, но расходует на один ролик 11 миллисекунд, а после дополнительного сжатия — семь. Одна видеокарта среднего класса позволяет размечать свыше 12 млн роликов в сутки.

«Слияние звукового и текстового каналов, при котором текст может отключаться, превращает лабораторное преимущество в систему, которая выдерживает отсутствие текстов песен, инструментальные треки и запись, перегруженную речью», — пояснили авторы исследования.

Дополнительная опора — психологическая шкала Рассела: у каждой эмоции есть координаты «приятно — неприятно» и «спокойно — бодро», и предсказание этих координат помогает расставлять метки точнее. Текст песни выручает сильнее всего там, где поется о чувствах, — с метками вроде «романтики» и «разбитого сердца», — а темп и энергию музыка передает и без слов. Пока словарь меток фиксированный и англоязычный, а новые сетевые настроения система не распознает, так что разработчикам есть куда расти.

Читать так же:  Как часто нужно очищать смартфон от микробов

Вопросы и ответы

Сколько роликов в сутки может разметить облегчённая версия SALF-Net на одной видеокарте?

SALF-Net распознаёт настроение музыки в коротких видео за 7 миллисекунд - изображение номер два
SALF-Net распознаёт настроение музыки в коротких видео за 7 миллисекунд — изображение номер два

Облегчённая версия обрабатывает один ролик за 11 миллисекунд, а после дополнительного сжатия — за семь. На одной видеокарте среднего класса она способна размечать свыше 12 миллионов роликов в сутки.

Зачем в SALF-Net используется психологическая шкала Рассела?

Шкала задаёт каждой эмоции координаты по осям «приятно — неприятно» и «спокойно — бодро». Предсказание этих координат помогает системе точнее расставлять метки настроения для музыкальных фрагментов.

Какие ограничения есть у текущей версии SALF-Net?

Словарь меток пока фиксированный и только англоязычный, а новые сетевые настроения система не распознаёт. Авторы признают, что в этих направлениях разработчикам ещё предстоит работать.

Статьи по теме

Back to top button