Новоразработеният оптичен микрофон вижда звук както никога досега

Марк Шейнин (вляво) и Дориан Чан бяха част от изследователски екип на CMU, който разработи система от камери, която може да вижда звуковите вибрации с такава прецизност, че може да улавя изолирано аудио от отделни китари, свирещи едновременно. Кредит: Университет Карнеги Мелън

Система от камери, разработена от изследователи от университета Карнеги Мелън, може да види звуковите вибрации с такава прецизност и детайлност, че може да реконструира музиката на един инструмент в група или оркестър.

Дори и най-мощните и насочени микрофони не могат да елиминират близките звуци, околния шум и ефекта на акустиката, когато улавят аудио. Новата система, разработена в Института по роботика на Училището по компютърни науки (RI), използва две камери и лазер за усещане на високоскоростни повърхностни вибрации с ниска амплитуда. Тези вибрации могат да се използват за реконструкция на звук, заснемане на изолирано аудио без изводи или микрофон.

„Ние изобретихме нов начин да виждаме звука“, каза Марк Шейнин, научен сътрудник след докторантура в Лабораторията за осветяване и изображения (ILIM) в RI. “Това е нов тип система за камери, ново устройство за изображения, което може да види нещо невидимо с просто око.”

Екипът завърши няколко успешни демонстрации на ефективността на тяхната система при усещане на вибрации и качеството на звуковата реконструкция. Те заснеха изолирано аудио на отделни китари, свирещи по едно и също време, и отделни високоговорители, свирещи едновременно различна музика. Те анализираха вибрациите на камертон и използваха вибрациите на торба Doritos близо до високоговорител, за да уловят звука, идващ от високоговорителя. Тази демонстрация отдава почит на предишната работа, извършена от изследователи от MIT, които разработиха един от първите визуални микрофони през 2014 г.

CMU системата драстично подобрява предишни опити за улавяне на звук с помощта на компютърно зрение. Работата на екипа използва обикновени камери, които струват малка част от високоскоростните версии, използвани в минали изследвания, като същевременно осигуряват по-високо качество на записа. Системата с двойна камера може да улавя вибрации от обекти в движение, като например движенията на китара, докато музикант я свири, и едновременно да усеща отделни звуци от множество точки.

„Направихме оптичния микрофон много по-практичен и използваем“, каза Шриниваса Нарасимхан, професор в RI и ръководител на ILIM. “Направихме качеството по-добро, като същевременно намалихме разходите.”

Системата работи, като анализира разликите в моделите на петна от изображения, заснети с подвижен затвор и глобален затвор. Алгоритъм изчислява разликата в спекъл моделите от двата видео потока и преобразува тези разлики в вибрации, за да реконструира звука.

Моделът на петна се отнася до начина, по който кохерентната светлина се държи в пространството, след като се отрази от грапава повърхност. Екипът създава модела на петна, като насочва лазер към повърхността на обекта, произвеждащ вибрациите, като тялото на китара. Този модел на петна се променя, когато повърхността вибрира. Подвижен затвор улавя изображение, като го сканира бързо, обикновено отгоре надолу, произвеждайки изображението чрез подреждане на един ред пиксели върху друг. Глобалният затвор заснема изображение в един екземпляр наведнъж.

Към Шейнин и Нарасимхан в изследването се присъединиха Дориан Чан и д-р. студент по компютърни науки и Матю О’Тул, асистент в катедра RI и компютърни науки.

„Тази система прокарва границата на това, което може да се направи с компютърното зрение“, каза О’Тул. “Това е нов механизъм за улавяне на висока скорост и малки вибрации и представя нова област на изследване.”

По-голямата част от работата в областта на компютърното зрение се фокусира върху системи за обучение за разпознаване на обекти или проследяването им в космоса – изследвания, важни за напредването на технологии като автономни превозни средства. Това, че тази работа позволява на системите да виждат по-добре незабележими, високочестотни вибрации, отваря нови приложения за компютърно зрение.

Системата с двоен затвор и оптична вибрационна система на екипа може да позволи на звуковите инженери да наблюдават музиката на отделните инструменти без смущенията на останалата част от ансамбъла, за да настроят фино цялостния микс. Производителите биха могли да използват системата, за да наблюдават вибрациите на отделните машини в заводския етаж, за да открият ранни признаци на необходима поддръжка.

„Ако колата ви започне да издава странен звук, знаете, че е време да я прегледате“, каза Шейнин. „Сега си представете заводски етаж, пълен с машини. Нашата система ви позволява да наблюдавате здравето на всеки, като усещате вибрациите му с една-единствена стационарна камера.


Скициране на форма въз основа на нейния звук


Повече информация:

Марк Шейнин и др. Оптично разпознаване на вибрации с двоен затвор(2022)

Предоставена от
Университет Карнеги Мелън

Цитат:
Новоразработеният оптичен микрофон вижда звук както никога досега (2022 г., 21 юни)
извлечен на 21 юни 2022 г
от https://techxplore.com/news/2022-06-newly-optical-microphone.html

Този документ е обект на авторско право. Освен всяка честна сделка с цел частно проучване или проучване, не
част може да бъде възпроизвеждана без писмено разрешение. Съдържанието е предоставено само за информационни цели.