Оптичният микрофон, разработен от изследователи на CMU, вижда звук както никога досега

Система от камери, разработена от изследователи от университета Карнеги Мелън, може да види звуковите вибрации с такава прецизност и детайлност, че може да реконструира музиката на един инструмент в група или оркестър.

Дори и най-мощните и насочени микрофони не могат да елиминират близките звуци, околния шум и ефекта на акустиката, когато улавят аудио. Новата система е разработена в Училището по компютърни науки Институт по роботика (RI) използва две камери и лазер, за да усети високоскоростни повърхностни вибрации с ниска амплитуда. Тези вибрации могат да се използват за реконструкция на звук, заснемане на изолирано аудио без изводи или микрофон.

„Измислихме нов начин за виждане на звука“, каза той Марк Шейниннаучен сътрудник след докторантура в лабораторията за осветление и изображения (ILIM) в РИ. “Това е нов тип система за камери, ново устройство за изображения, което може да види нещо невидимо с просто око.”

Екипът завърши няколко успешни демонстрации на ефективността на тяхната система при усещане на вибрации и качеството на звуковата реконструкция. Те заснеха изолирано аудио на отделни китари, свирещи по едно и също време, и отделни високоговорители, свирещи едновременно различна музика. Те анализираха вибрациите на камертон и използваха вибрациите на торба Doritos близо до високоговорител, за да уловят звука, идващ от високоговорителя. Тази демонстрация отдава почит на предишната работа, извършена от изследователи от MIT, които разработиха един от първите визуални микрофони през 2014 г.

Видео: https://www.youtube.com/embed/_pq0d1oxtA0

CMU системата драстично подобрява предишни опити за улавяне на звук с помощта на компютърно зрение. Работата на екипа използва обикновени камери, които струват малка част от високоскоростните версии, използвани в минали изследвания, като същевременно осигуряват по-високо качество на записа. Системата с двойна камера може да улавя вибрации от обекти в движение, като например движенията на китара, докато музикант я свири, и едновременно да усеща отделни звуци от множество точки.

„Направихме оптичния микрофон много по-практичен и използваем“, каза той Шриниваса Нарасимхан, професор в РИ и ръководител на ИЛИМ. “Направихме качеството по-добро, като същевременно намалихме разходите.”

Системата работи, като анализира разликите в моделите на петна от изображения, заснети с подвижен затвор и глобален затвор. Алгоритъм изчислява разликата в спекъл моделите от двата видео потока и преобразува тези разлики в вибрации, за да реконструира звука.

Моделът на петна се отнася до начина, по който кохерентната светлина се държи в пространството, след като се отрази от грапава повърхност. Екипът създава модела на петна, като насочва лазер към повърхността на обекта, произвеждащ вибрациите, като тялото на китара. Този модел на петна се променя, когато повърхността вибрира. Подвижен затвор улавя изображение, като го сканира бързо, обикновено отгоре надолу, произвеждайки изображението чрез подреждане на един ред пиксели върху друг. Глобалният затвор заснема изображение в един екземпляр наведнъж.

Проучването, “Оптично разпознаване на вибрации с двоен затвор”Получи награда за най-добър документ на 2022 IEEE / CVF конференция за компютърно зрение и разпознаване на образи (CVPR) в Ню Орлиънс. Присъединяването към Шейнин и Нарасимхан към изследването бяха Дориан Чан, и д-р. студент по компютърни науки и Матю О’Туласистент в РИ и Катедра по компютърни науки.

CVPR е водещата конференция за компютърно зрение. На конференцията бяха представени 8 161 доклада и бяха приети около една четвърт от тях. От тях само 34 бяха включени в краткия списък за награди за най-добра хартия.

„Тази система прокарва границата на това, което може да се направи с компютърното зрение“, каза О’Тул. “Това е нов механизъм за улавяне на висока скорост и малки вибрации и представя нова област на изследване.”

По-голямата част от работата в областта на компютърното зрение се фокусира върху системи за обучение за разпознаване на обекти или проследяването им в космоса – изследвания, важни за напредването на технологиите като автономни превозни средства. Това, че тази работа позволява на системите да виждат по-добре незабележими, високочестотни вибрации, отваря нови приложения за компютърно зрение.

Системата с двоен затвор и оптична вибрационна система на екипа може да позволи на звуковите инженери да наблюдават музиката на отделните инструменти без смущенията на останалата част от ансамбъла, за да настроят фино цялостния микс. Производителите биха могли да използват системата, за да наблюдават вибрациите на отделните машини в заводския етаж, за да открият ранни признаци на необходима поддръжка.

„Ако колата ви започне да издава странен звук, знаете, че е време да я прегледате“, каза Шейнин. „Сега си представете заводски етаж, пълен с машини. Нашата система ви позволява да наблюдавате здравето на всеки, като усещате вибрациите му с една-единствена стационарна камера.

Повече информация за изследването, включително връзка към хартията и фигури, възпроизвеждащи звуци, възстановени от системата, е налична на CMU Imaging уебсайт.

/ Публично съобщение. Този материал от изходната организация/автор(и) може да бъде с характер на момент, редактиран за яснота, стил и дължина. Изразените възгледи и мнения са на автора(ите). Вижте изцяло тук.