Az MIT kutatói a Microsofttal és az Adobe céggel közösen olyan új módszert dolgoztak ki a beszédhangok lehallgatásához, amelyhez még mikrofonra sincs szükség. Megoldásuk egy speciális, másodpercenként több ezer képkockát rögzíteni képes (nagysebességű) digitális kamerát használ.
Ennek a megoldásnak az a lényege, hogy egy egyedi algoritmus segítségével képileg rögzítik azokat a rendkívül apró, szabad szemmel nem látható rezgéseket, amelyeket a hanghullámok keltenek tárgyakban. Ezek elemzésével utólag képesek rekonstruálni az eredeti beszédet, zenét vagy egyéb zajokat.
Az MIT által rögzített demonstráció videóban először egy szobanövény leveleinek rezgését vizsgálják, a második kísérlethez pedig egy üres chipses zacskót használnak a lehallgatáshoz. Azért ilyen könnyű tárgyakat, mert ezeket képesek olyan mértékben megrezgetni a hanghullámok, hogy azokat már mérni lehessen, egy betonfal esetében ez nem lenne lehetséges. Mindkét esetben kizárólag képi információk rögzítésével képesek visszanyerni a hangokat közel öt méteres távolságból.
A kísérlethez használt digitális kamera másodpercenként 2-6 ezer képkockát tud rögzíteni, ami jóval magasabb a tipikus otthoni készülék hatvan képkockás sebességéhez képest. A kutatók szerint azonban a módszer nem igényli a jelenlegi legfejlettebb, akár százezer kép/másodperces kamerákat, pedig már ilyenek is léteznek.
A videón megnézheti, hogy működik a módszer
De még egy ilyen fejlett kamerával is rendkívül nehéz érzékelni a levelek rezgését, a kutatók videója szerint még lassított visszajátszás esetén is csak egy pixel méretének századrészének megfelelő nagyságban rezegetik a hangullámok a leveleket. A kutatók azonban egy olyan megoldást találtak, amely a teljes felvétel minden pontját elemzi, és így kimutathatók a rezgések.
Ahogy azt a videón is bemutatják, ha nem is tökéletes eredetiségében - kissé búgó alapzaj mellett -, de képesek rekonstruálni a képről a növény közelében lejátszott zenét.
Második kísérletük során a kutatók egy hangszigetelő üveg mögül filmeztek egy földön heverő chipses zacskót, és képesek voltak reprodukálni a közelében elhangzott beszédet. A reprodukált hang ebben az esetben sem tökéletes, leginkább egy robotéra hasonlít, de az elhangzó szavak értelmezhetők. A megoldás akár egy laptophoz csatlakoztatott fülhallgató esetén is működik: ezzel a módszerrel a kutatók képesek voltak felismertetni a géppel, hogy a távolban látható fülesen épp az Ice ice Baby című szám szól.
Meglepő módon képesek voltak egy hagyományos, boltban megvehető digitális tükörreflexes fényképezőgéppel felvett, 60 fps-sel felvett videóból is kinyerni a hanginformációkat a képérzékelő szenzorok egyedi vezérlésével
Bár ilyen készülékekkel a hangreprodukció nagyon rossz minőségű, és nem is mindig jár sikerrel, egyes esetekben ennek ellenére is beválik.