|
| |
|
На: Постановка ИИ - задачи: "Фонотрон"
Добавлено: 20 фев 18 9:11
|
Автор: r
Тут начинать надо с того, что сразу отбросить FFT и думать ему свою замену. |
|
В данной задаче польза от FFT может быть только в случае нахождения энергии спектра - дешево и сердито. Да и то с оговорками, типа того, что его равномерная сетка частоты нафиг не нужна, нужна логарифмическая, ну или допустим в барках. А для анализа оно безусловно никак не годится. Иногда тупая фильтрация и стат. анализ могут дать 100 очков вперед этому унылому FFT.
|
|
|
|
На: Постановка ИИ - задачи: "Фонотрон"
Добавлено: 20 фев 18 9:19
|
Автор: гость
распознавать инструменты, аккорды, мелодию и голоса.. |
|
Для голоса, чтобы распознать, ещё и контекст нужен. Был тут у меня телек с голосовым поиском в Ютюбе. Типа нажимаешь кнопочку на пульте и говоришь в него, а пульт по блютусу связан с телеком. Да, все хорошо распознает, но вот беда - только на русском. Запрашиваю названия известных рок групп - все ОК, пока не добрался до группы Thin Lizzy. Как я только не пытался это произнести - лучшее что распознает, это "сын Лизы". Смешно.
|
|
|
|
На: Постановка ИИ - задачи: "Фонотрон"
Добавлено: 21 фев 18 1:52
|
Автор: dr2chek В данной задаче польза от FFT может быть только в случае нахождения энергии спектра - дешево и сердито. Да и то с оговорками, типа того, что его равномерная сетка частоты нафиг не нужна, нужна логарифмическая, ну или допустим в барках. А для анализа оно безусловно никак не годится. Иногда тупая фильтрация и стат. анализ могут дать 100 очков вперед этому унылому FFT. |
|
Это так. Но и "тупые" методы тоже не подойдут. Задача разделения музыки на инструментальные каналы (или еще круче разделение голосов на каналы) - самая сложная, пожалуй, в области звука. И должна быть сделана правильно.
|
|
|
|
На: Постановка ИИ - задачи: "Фонотрон"
Добавлено: 21 фев 18 2:13
|
d.> ещё и контекст нужен.
т.е. сверху вниз голоса тут не в cмысле вокала (задача отделения голоса как раз более-менее решена), а в смысле мелодических компонентов - и та трудность что голоса мелодии могут быть в одной инструментальной партии, а могут принадлежать разным инструментам. ----------
no> выпадает из всего колорита.
ну бывает же такой забеленный каракуль.. - выделяется скорее тем что не разделена на области разной степени освещенности как вроде должна быть.. если немного расфокусировано взглянуть на кадр, то области этих спектрально чистых цветов кажутся искусственными, наложенными - цвета должны быть более 'запачканными' и приглушенными и как бы переходящими друг в друга (типо колористическое выравнивание в рассеяном свете) (наверное что-то подобное будет иметь место и при реконструкции партий и реконструкции партитурного звучания по 'рафинированным' партиям).
даже если раскраску делать автоматически, то прослеживание одного объекта облегчено что поток данных с самого начала многомерен (2d даже без диспрантности - а в действительности есть и дополнитльные измерения типа единства движения), а аудиопоток еще нужно разложить в дополнительные измерения (тоже иерархически организованные).
идеальное решение это когда поток раскладывается не на фурье (или вайвлет) компоненты, а 'cразу' в инструментальные партии (типо полифонический слух это глубокие обратные связи 'cверху' (обученные) на нейрооператоры низкоуровневых фильтров..)..
хотя по любому - одно дело выделить сопровождение главной партии и практическую невозможность разделить большой симфонический оркестр когда он дружно грянет..
|
|
|
|
На: Постановка ИИ - задачи: "Фонотрон"
+1
Добавлено: 21 фев 18 2:34
|
Автор: 188.170.81 одно дело выделить сопровождение главной партии и практическую невозможность разделить большой симфонический оркестр когда он дружно грянет.. |
|
Задача - разделить на партии, а не на инструменты, что много легче, т.к. некоторые группы играют в унисон.
|
|
|
NO. Сообщений: 10700 |
|
|
На: Постановка ИИ - задачи: "Фонотрон"
Добавлено: 21 фев 18 2:59
|
По-моему не очень сложная задача. Только добавить адаптивности и правильно обучать. Проблема только если требуется решить по-старинке. Обучение тоже не сложное, наверно любой метод подойдет, хоть knn. Но думаю GAN будет лучше. Важно не как учить, а чему. Про музыку кто-то говорил, что ей учат как если бы художников учили только перерисовывать чужие картины.
|
|
|
|
На: Постановка ИИ - задачи: "Фонотрон"
Добавлено: 21 фев 18 3:43
|
r> отбросить FFT
зря что ли приведена ссылка на обзор коржа? - там и про то чем дополнить и чем заменить фурье. ----------
NO> не очень сложная задача
еще недавно no говорил о неразделимости двух скрипок.. cейчас, конечно, вовсю экспериментируют с нейронным распознаванием инструментов и аккордов.. трудность в общей архитектуре нейросистемы и способе ее обучения (ср. длительного и объемного - отсюда и вычислительный ресурс потребоваться может слишком большой) - а архитектура может оказаться и гибридной - с cектором символических представлений рассматриваемых на доске объявлений гипотез о разделениях и идентификациях. Генеративность это обязательный компонет в такого рода обучениях - учитель должен оценивать качество обученности (по способности репродуцирования и варьирования) и способность к генерации может способствовать интенсификации обучения (самообучение на вариациях, cпособствующих построению более обобщенных моделей (гл. образом неявных)).
|
|
|
NO. Сообщений: 10700 |
|
| |
| |
|
На: Постановка ИИ - задачи: "Фонотрон"
Добавлено: 21 фев 18 4:15
|
вообще общая архитектура будет сложной и из-за того что разделение вряд ли может быть за один проход - потребуется сложная операционалистика в рабочем поле - типо нужно будет гулять по записи в поисках более-менее ненасыщенных участков, cольных партий, как бы искать опорные участки (более-менее надежно разложенные) для дальнейшего анализа.. где поднаддать снизу, где цепляться за прослеживание мелодических и ритмических линий..
|
|
|
NO. Сообщений: 10700 |
|
| |
|
На: Постановка ИИ - задачи: "Фонотрон"
Добавлено: 21 фев 18 4:56
|
да, и оно последним редуцируется - скоро вместо олега-kаким-мы-его-помним у нас будет только нечто меховое фундаментально звукоизвлекающее..
|
|
|
|
На: Постановка ИИ - задачи: "Фонотрон"
Добавлено: 21 фев 18 5:37
Изменено: 21 фев 18 5:38
|
Стоит задать вопрос: машина вообще может слышать звуки так же как мы ? Ведь для нее даже располосованный спектр - набор цифр в худшем случае и картинка в лучшем, но не звук(!). (Опять qualia ? Со зрением, кстати, та же беда - смотрит и нихрена не видит.)
|
|
|
NO. Сообщений: 10700 |
|
|
На: Постановка ИИ - задачи: "Фонотрон"
Добавлено: 21 фев 18 5:46
Изменено: 21 фев 18 5:51
|
Я Вам как звукоследопыт акустоследователю рекомендую ещё раз и с особым вниманием пройтись по закоулкам звукой дорожки. Дабы выявить и запротоколировать умышленно озвученное. Враг не спит, нота тембру не товарищ, у них особенная стать.
|
|
|
|