【音】無音の映像から音を取り出す技術…物体の振動からその場の音声再現に成功 MITなどの研究チーム [2014/08/12]
■ このスレッドは過去ログ倉庫に格納されています
http://sankei.jp.msn.com/wired/news/140812/wir14081206300001-n1.htm
(本文)
音が生じたとき、人間の目には見えなくても、あらゆる物の表面にごくわずかな振動が起こる。鉢植えやスナ
ック袋の映像から周囲の会話等を再構築する技術を、MITなどの研究チームが開発した。
http://www.youtube.com/watch?v=FKXOucXB4a8
音が生じたとき、人間の目には見えなくても、あらゆる物の表面にはごくわずかな振動が起こる。画像上にとら
えられたこの振動情報を使って、その場の音を再構築できるアルゴリズムが開発された。
研究チームはこのアルゴリズムを使って、防音ガラスの向こう側にあるスナック菓子の袋を約4.6mの距離から撮
影した動画から、内容がわかる話し声を取り出してみせた。
論文の筆頭著者であり、マサチューセッツ工科大学(MIT)の博士課程で学ぶエイブ・デイヴィスは、「(音が
生じるときの)振動によって、人間の肉眼には見えない、かすかな視覚信号が生じる」と説明する。
MITの研究者、マイクロソフト、およびアドビからなる研究チームは、水やアルミホイル、鉢植えの葉といった
物から、有効な音声信号を取り出すことに成功した。
このアルゴリズムがうまく機能するには、映像の周波数が音声の周波数よりも高い必要がある。そのため研究者
チームは、まずは2,000〜6,000fpsで動画を撮影した。これは、市販されているハイスピードカメラが実現でき
るフレームレートよりかなり高い。
さらに研究者チームは、通常のデジタルカメラでの実験も試した。そして、60fpsで撮影した動画から、音声を
再構築することに成功した。この場合の再構築された音声も、会話に参加している複数の人々の特徴を確認でき
るほどの音質だった。
この技術は犯罪捜査や諜報活動などに利用できるだろうが、デイヴィス氏は科学的研究にも使えると考えている。
物から音を再構築することで、その物自体について知ることも可能なはずだというのだ。音への反応は物によっ
て違う。そのため研究チームは現在、さまざまな物について、物の音に対する反応から、物の素材と構造の特性
を突き止めようとしている。
この研究成果は、8月11日から14日までヴァンクーヴァーで開催される国際会議兼展示会「SIGGRAPH(シーグラ
フ)2014」で発表される。
http://s2014.siggraph.org/
0002名無しのひみつ@転載は禁止
2014/08/12(火) 11:00:21.70ID:xtDiy6s30003名無しのひみつ@転載は禁止
2014/08/12(火) 11:04:33.32ID:4P+LVtrx>チームは、まずは2,000〜6,000fpsで動画を撮影した。これは、市販されているハイスピードカメラが実現でき
>るフレームレートよりかなり高い。
ちょっと前提がですね…
0004名無しのひみつ@転載は禁止
2014/08/12(火) 11:05:12.26ID:bsJWxdMq取り出せるデータはフレーム数の半分以下。2000fpsだと1000Hzが限界。
普通のビデオ映像だと30fpsだから上限は15Hz。人間には聞こえねえw
0005名無しのひみつ@転載は禁止
2014/08/12(火) 11:17:50.63ID:mLmMe5Lr再構築することに成功した。この場合の再構築された音声も、会話に参加している複数の人々の特徴を確認でき
るほどの音質だった。
0006名無しのひみつ@転載は禁止
2014/08/12(火) 11:23:15.25ID:bUfNlRp6こんな機能カメラに付けるぐらいなら普通に高性能集音マイク付けた方が早いんじゃないか?
0007名無しのひみつ@転載は禁止
2014/08/12(火) 11:40:48.59ID:qjOByf6x会話のフレーズのひな形とかを動画上の振幅の強弱のパターンに当てはめるんだろうけど
まさにデジタル読唇術
0008名無しのひみつ@転載は禁止
2014/08/12(火) 11:45:12.65ID:bkJlhIRj0009名無しのひみつ@転載は禁止
2014/08/12(火) 11:46:28.84ID:EqEEA/DH0010名無しのひみつ@転載は禁止
2014/08/12(火) 11:51:58.96ID:8CGW0m+R0011名無しのひみつ@転載は禁止
2014/08/12(火) 12:16:48.04ID:SHBW/FVy0012名無しのひみつ@転載は禁止
2014/08/12(火) 12:17:28.31ID:g/IZt8zH0013名無しのひみつ@転載は禁止
2014/08/12(火) 12:22:02.61ID:QYGhkXsV0014名無しのひみつ@転載は禁止
2014/08/12(火) 12:27:38.69ID:yzWCafl5静止衛星から盗聴できるってことだよな。
0015名無しのひみつ@転載は禁止
2014/08/12(火) 13:05:18.82ID:O9Vgr+vX0016名無しのひみつ@転載は禁止
2014/08/12(火) 13:16:05.51ID:cWq/1isKよりも使いやすいちっさいものが映像内にあるだけでいいのか
場所によってはとても使えそう
0017名無しのひみつ@転載は禁止
2014/08/12(火) 13:21:48.42ID:PXKPdfmb0018名無しのひみつ@転載は禁止
2014/08/12(火) 13:28:35.11ID:bsJWxdMqフレームの差分から音声震動を取り出すんじゃなくて、デジカメの走査線移動から音声を取り出すのか。
それなら60fpsでなく、30fpsでも走査線次第で高音域でも疑似的に取り出せるな。
あとは人間の耳に、その合成音がどのような音として聞こえるかの問題か。
0019名無しのひみつ@転載は禁止
2014/08/12(火) 13:38:49.85ID:aCuYesZr0020名無しのひみつ@転載は禁止
2014/08/12(火) 14:02:45.84ID:5DQXCDYmあー、なるほどねー。ということはローリングシャッターのCMOSカメラ限定でCCDには使えないってことか。
自分は物体の共振周波数の違いとそれによる振幅の変化から音声を再構成するのか、とか勝手に想像してた。
今youtube見たら原理説明してたんだね。
0021名無しのひみつ@転載は禁止
2014/08/12(火) 14:25:42.93ID:0n3UuoAM要するに・・・
どういうことだってばよ
0022名無しのひみつ@転載は禁止
2014/08/12(火) 14:33:01.90ID:zV4E0RH9最後まで読めよ
0023名無しのひみつ@転載は禁止
2014/08/12(火) 14:38:07.16ID:kvHeP1Bl警察や検察、公安が欲しがりs。。。。。。。。。。。。。。。。。
0024名無しのひみつ@転載は禁止
2014/08/12(火) 14:59:47.49ID:cgYbJez10025名無しのひみつ@転載は禁止
2014/08/12(火) 15:38:51.74ID:BbbVFvMK0026名無しのひみつ@転載は禁止
2014/08/12(火) 15:42:52.16ID:a+l0AFZkフランソワーズ失職ってことらしい
0027名無しのひみつ@転載は禁止
2014/08/12(火) 16:00:18.57ID:6fvYHKGbもっと精密な音声分析ができるんじゃね? なにも盗聴器使わなくてもその家の住人の
会話は丸聞こえになるんだろうな
0028名無しのひみつ@転載は禁止
2014/08/12(火) 16:12:58.37ID:8UUerK3U0029名無しのひみつ@転載は禁止
2014/08/12(火) 16:20:45.06ID:NxXPcuPG0030名無しのひみつ@転載は禁止
2014/08/12(火) 16:21:11.10ID:X0qJN4KD盗聴・・・いわゆるスパイ活動にとても役立つんでは?
今までも似たような方法でやってたと思うけど。
0031名無しのひみつ@転載は禁止
2014/08/12(火) 16:32:08.42ID:VFptCjny0032名無しのひみつ@転載は禁止
2014/08/12(火) 16:36:53.87ID:bsJWxdMqこれは地味に役立つぞ。
本来、音声が記録されてない防犯カメラから音声を取り出せる。
口パクかどうかを判定できる。
インタビューで背中を向けて話してる人の声が、あとからアテレコされてないか判定できるw
0033名無しのひみつ@転載は禁止
2014/08/12(火) 16:40:33.73ID:6fvYHKGbハイスピードカメラはかなり高価だから防犯カメラのように多く設置できないよ
0034名無しのひみつ@転載は禁止
2014/08/12(火) 16:50:27.87ID:QYGhkXsV60fpsでもできたって書いてあるぞ
0035名無しのひみつ@転載は禁止
2014/08/12(火) 17:11:26.17ID:as5/hQBt0036名無しのひみつ@転載は禁止
2014/08/12(火) 17:13:16.73ID:BnMhnIYI0037名無しのひみつ@転載は禁止
2014/08/12(火) 17:38:17.52ID:+GdPGj0M是非研究を続けてくれ
0038名無しのひみつ@転載は禁止
2014/08/12(火) 17:52:53.97ID:hql5nSsM0039名無しのひみつ@転載は禁止
2014/08/12(火) 18:18:46.09ID:kU6u/ZBs車輪の再発明か?
0040名無しのひみつ@転載は禁止
2014/08/12(火) 18:42:16.41ID:AkgapAJH0041名無しのひみつ@転載は禁止
2014/08/12(火) 18:45:00.92ID:8UUerK3Uこの技術を使わないと盗聴出来ない場面が思いつかんかった
別に最初から音を取ればいいだけの話だし…
映像のみしか取得できない状況てあるかな?
>>32
防犯カメラの画質じゃ厳しそう
最近の高画質の防犯カメラは、そもそも音声もセットで録音してる場合が多いしなあ
0042名無しのひみつ@転載は禁止
2014/08/12(火) 19:09:09.44ID:pdWJqxWf0043名無しのひみつ@転載は禁止
2014/08/12(火) 19:31:44.53ID:fddk3Dw90044名無しのひみつ@転載は禁止
2014/08/12(火) 19:43:19.93ID:7+pEQ326盗聴器なんて対象者の行動を事前に調べて取り付ける必要がある上に発見される可能性もある
この技術が完成すればたまたま立ち寄ったカフェとか、集音マイクで拾えない室内とか、唇が読めない角度とかでも盗聴できるかも知れない
その場で音を拾えなくても「映像さえ残ってれば良い」というのは便利
極端な話で言えばスパイ衛星の映像から音声を取り出して屋外なら地球上どこでも盗聴が可能になるとか
0045名無しのひみつ@転載は禁止
2014/08/12(火) 20:07:59.21ID:JPZYuN7Bって思ったのは俺だけじゃ無いはず。、
0046名無しのひみつ@転載は禁止
2014/08/12(火) 20:14:23.52ID:YzBTjxVw元から 001の世話がメイン
0047名無しのひみつ@転載は禁止
2014/08/12(火) 20:22:56.15ID:FTKnP5Y3あー、そんな感じの技術なのか
60fpsで何重にも折りたたまれてしまった会話領域の音声情報をまともに復元出来るとは
思えないけれど、確かにひとかたまりのパターンとしてならマッチングできそうだね
あるいは、空間的に振動を拾って合成したりするのかな
例えば500Hz程度なら、1mくらいの範囲合成できればいけるような気がする
この場合は、画像の範囲が狭いほど低周波領域がエイリアシング、
画像の解像度が低いほど高周波領域がエイリアシングになるのかな
0048名無しのひみつ@転載は禁止
2014/08/12(火) 20:43:50.34ID:5DQXCDYmだからローリングシャッター利用してるんだっての。
0049名無しのひみつ@転載は禁止
2014/08/12(火) 20:58:11.56ID:beXP6X5Yhttp://itest.2ch.net/test/read.cgi/newsplus/1407843066/-100
電子シャッターがどうとかわからんが、
この辺どうなる?
0050名無しのひみつ@転載は禁止
2014/08/12(火) 21:23:13.50ID:kjPDESVm最後まで読もうね
0051名無しのひみつ@転載は禁止
2014/08/12(火) 21:34:10.40ID:FTKnP5Y3ああ、youtubeに説明合ったのか
これなら被写体サイズとかも関係無いわけね
この場合は、上はピクセルごとの走査間隔、
下はフレームごとの走査している時間がエイリアシングの条件に関係するのか
0052名無しのひみつ@転載は禁止
2014/08/12(火) 21:36:47.37ID:qFJ5wqKk0053名無しのひみつ@転載は禁止
2014/08/12(火) 21:52:24.20ID:uWPFh7DXサンプリング定理からすると20Hzの振動がギリギリ再構築できるくらい?
可聴域の下限だけど実際の音の課長生きがいも使って高音部を推測するとかそんなの?
0054名無しのひみつ@転載は禁止
2014/08/12(火) 21:57:15.39ID:qFJ5wqKk何でそうなるんだよ・・・。ビデオの説明を見とらんのか?
解像度が効いてくるんだよ。
0055名無しのひみつ@転載は禁止
2014/08/12(火) 22:15:00.82ID:Xc/owbmA地面から「タスケテ」と聞こえたとか恐ろしい事も起こるのか
0056名無しのひみつ@転載は禁止
2014/08/12(火) 22:18:15.75ID:GaygUdte0057名無しのひみつ@転載は禁止
2014/08/12(火) 22:55:47.71ID:WC9GzXrR0058名無しのひみつ@転載は禁止
2014/08/12(火) 23:47:54.78ID:MrYDVTkg0059名無しのひみつ@転載は禁止
2014/08/12(火) 23:59:50.29ID:Cxa2xRBvこの板ではよくあること
0060名無しのひみつ@転載は禁止
2014/08/13(水) 00:03:33.36ID:pPBc28Abそして他人の失敗をあげつらってる奴も
実はスレの先を読むと自分も「最後まで読んでない」というムジナ仲間w
ホント、この板ではよくあること
0061名無しのひみつ@転載は禁止
2014/08/13(水) 00:38:31.71ID:ksgfFQazというの架空技術をドラマ、FRINGEでやってた
0062名無しのひみつ@転載は禁止
2014/08/13(水) 00:42:49.54ID:BrQX0P390063名無しのひみつ@転載は禁止
2014/08/13(水) 03:03:57.29ID:iUKjyBCU0064名無しのひみつ@転載は禁止
2014/08/13(水) 04:40:39.61ID:sLlNMHgg0065名無しのひみつ@転載は禁止
2014/08/13(水) 07:44:25.28ID:69YcaDwz0066名無しのひみつ@転載は禁止
2014/08/13(水) 08:37:58.67ID:K54h8Usa0067名無しのひみつ@転載は禁止
2014/08/13(水) 08:46:54.03ID:yIfiHs7g> 木さん石さんの声が聞こえるんですね
早速解析してみました!
木 「切らないで〜!ギャー!」
石 「蹴らないで〜!ギャー!」
0068名無しのひみつ@転載は禁止
2014/08/13(水) 08:48:53.27ID:gnumab+zグーグルアースで盗聴されちゃうのか:(;゙゚'ω゚'):
0069名無しのひみつ@転載は禁止
2014/08/13(水) 09:18:18.57ID:F3G126nf0070名無しのひみつ@転載は禁止
2014/08/13(水) 11:28:45.15ID:xCApfVlJ60fpsからでも取り出せるって画期的じゃないのか
ただ現代、レーザー盗聴器とかもあるからそこまで使い道が見つからんのが問題
0071名無しのひみつ@転載は禁止
2014/08/13(水) 12:29:39.03ID:ZSzf0Zwu防犯カメラなんて5fpsとか1fpsの世界
0072名無しのひみつ@転載は禁止
2014/08/13(水) 12:48:16.72ID:sJU46gqU> 石 「蹴らないで〜!ギャー!」
石2「もっと蹴って、うふ〜ん」
0073名無しのひみつ@転載は禁止
2014/08/13(水) 12:49:29.40ID:f3XhO29lすげえええええ
ノーベル賞やな
0074名無しのひみつ@転載は禁止
2014/08/13(水) 13:52:54.23ID:zXGmTFxEhttp://toragi.cqpub.co.jp/Portals/0/backnumber/2013/04/p119.pdf
これが出きるのだから、たいした話でもないと思うよ
0075名無しのひみつ@転載は禁止
2014/08/13(水) 13:54:46.74ID:8hn1mK4o音声を拾い出すとは次元が違う
0076名無しのひみつ@転載は禁止
2014/08/13(水) 21:06:41.71ID:zcdFOKpTWebカメラじゃなくて奥行き検出ができるKinectカメラじゃん。脈拍の検出は赤外線使ってるし。
今回は普通のカメラでサブピクセル単位の変位を検出しているのがキモだから、それとは違うでしょ。
0077名無しのひみつ@転載は禁止
2014/08/14(木) 02:42:18.48ID:pJkFozL50078名無しのひみつ@転載は禁止
2014/08/14(木) 02:51:06.08ID:XjLnYmr+ガラスの向こうが完全防音なら効果はあるだろうが、盗聴の目的ではシチュエーションが相当限られちゃうね
テレビや個人ビデオで撮りためた映像から部屋の中の音を再現するとかそういう用途なら使えそう
0079名無しのひみつ@転載は禁止
2014/08/14(木) 19:14:41.70ID:rXB+E0/L大気の揺らぎとかで精度が狂ったりするのかのう
0080名無しのひみつ@転載は禁止
2014/08/14(木) 20:03:29.80ID:kVpvHvL4これから技術が発展しても厳しいレベルだ
0081名無しのひみつ@転載は禁止
2014/08/14(木) 20:51:04.34ID:4/+luVo50082名無しのひみつ@転載は禁止
2014/08/14(木) 21:37:43.43ID:jXwa5Y340083名無しのひみつ@転載は禁止
2014/08/15(金) 03:24:45.72ID:4hwsmEUw走査線つまり横方向の揺らぎから、その場の空気の振動を拾うって事になるが
問題は、その走査線が次にその場所に来るまで1/60秒かかるから、その点の正確な振動は拾えず、60Hzのブツ切り音になる
しかし、走査線は次の1/60で次の下のラインに行くし、最近のデジカメはHD動画も撮れるから、すぐ下のラインの揺らぎからも補完データが取れる
何気にNSAやFBIやCIAのみで独占して来た技術臭いが、何でここまで大々的に発表したんだろ?
0084名無しのひみつ@転載は禁止
2014/08/15(金) 03:49:39.85ID:LaRB1xQo0085名無しのひみつ@転載は禁止
2014/08/15(金) 03:56:43.02ID:IMotTLqv0086名無しのひみつ@転載は禁止
2014/08/15(金) 04:35:00.54ID:3kUkPDww0087名無しのひみつ@転載は禁止
2014/08/15(金) 05:22:49.69ID:AWZzUARa走査線じゃなくてローリングシャッター。イメージ的には似てるけど。
「次の1/60で次の下のラインに行く」とか意味不明。
0088名無しのひみつ@転載は禁止
2014/08/15(金) 12:48:21.81ID:KQr1Qsfh0089名無しのひみつ@転載は禁止
2014/08/15(金) 13:12:15.24ID:8nanobim0090名無しのひみつ@転載は禁止
2014/08/16(土) 17:27:12.77ID:sts+A1JE60fpsの防犯カメラとかデータの保存にどんなサーバーを要するんだろうか
0091名無しのひみつ@転載は禁止
2014/08/17(日) 16:20:20.85ID:xplCgqEeてか、この技術、今頃開発したことになってんの?w
大昔からあるだろw
0092名無しのひみつ@転載は禁止
2014/08/17(日) 19:38:18.35ID:tBQzesOB高確率でMITネタなんだよな。
日本発ってのは本当に少ないよね。
0093名無しのひみつ@転載は禁止
2014/08/18(月) 16:32:17.08ID:IMsMzMAb日本は真面目にやれで一蹴される国だからな
0094名無しのひみつ@転載は禁止
2014/08/18(月) 16:40:09.19ID:F9wg9kUm日本でもそういう発明は多いけど、バカな経営陣が潰すんだよな。
有名なところでは光ファイバー。「そんなことができるはずがない」と実物を見ず、その間に特許が切れた。
すぐ点灯する蛍光灯。「で、早く点いて何の役に立つ?」で商品化されなかった。
太陽電池。開発者が何を思ったかそれで乾電池の要らない懐中電灯を作ったから、「夜中に太陽が出るか!」でお蔵入りw
この時、開発者が充電を思いついてれば、もしかしたらw
0095名無しのひみつ@転載は禁止
2014/08/18(月) 17:02:09.23ID:GdNZbFP6向こうだと開発者側もこれで一発当てるわって、直ぐにベンチャー企業建てりするしな
0096名無しのひみつ@転載は禁止
2014/08/19(火) 05:32:29.96ID:Zbeb9jai0097名無しのひみつ@転載は禁止
2014/08/19(火) 05:38:48.28ID:StViDVde0098名無しのひみつ@転載は禁止
2014/08/19(火) 10:06:48.62ID:ECTecN2q0099名無しのひみつ@転載は禁止
2014/08/19(火) 11:54:34.47ID:H5oP7dwv事実は異なるようだ
0100名無しのひみつ@転載は禁止
2014/08/19(火) 12:01:17.68ID:NREV1Et6あの会社の体制、その後のgdgdな対応みたらまっさきに逃げるのも全然納得できる
逃げないで果敢に戦ったとか言われても嘘だろwwwってしか出てこないよ
0101名無しのひみつ@転載は禁止
2014/08/19(火) 12:23:02.16ID:BJ2qTT9Xそもそも乾電池も日本人の発明じゃん。
シカゴ万博に出品したらアメリカ人にパクられて,ライセンス料もなにも払ってもらえなかった。
0102名無しのひみつ@転載は禁止
2014/08/19(火) 13:33:35.45ID:JhFpAClHhttp://fox.2ch.net/test/read.cgi/poverty/1408410734/
0103名無しのひみつ@転載は禁止
2014/08/19(火) 14:09:50.25ID:gRRUj4Vzここの板のスレを貼れよ
http://anago.2ch.net/test/read.cgi/scienceplus/1407765751/
0104名無しのひみつ@転載は禁止
2014/08/20(水) 01:32:46.08ID:f/a6JlWn0105名無しのひみつ@転載は禁止
2014/08/20(水) 18:55:51.68ID:3GxynnaFイルカ「そんな物イルカ?」
コウモリ「(聞かなかった事にしよう)」
0106名無しのひみつ@転載は禁止
2014/08/20(水) 19:42:39.16ID:5dI80Gg1電波使うよりいいかも
0107名無しのひみつ@転載は禁止
2014/08/20(水) 19:44:27.49ID:fFX+JOu50108名無しのひみつ@転載は禁止
2014/08/21(木) 15:20:08.13ID:+7nRozHv0109名無しのひみつ@転載は禁止
2014/08/22(金) 00:51:47.01ID:1+HWJ2Mw最後まで読めよ
0110名無しのひみつ@転載は禁止
2014/08/22(金) 00:55:21.51ID:67phPMZsレーザー?要りません
0111名無しのひみつ@転載は禁止
2014/08/22(金) 09:37:19.42ID:LS6OClZCむしろ過去の技術的な知識を持ってる人の方が、この発明はマユツバにしか読めないんじゃない?
最後まで読んでも、これっぽっちの記事の書き方だと……。
それほどのエポックメイキングな発想なんだが……。
0112名無しのひみつ@転載は禁止
2014/08/22(金) 10:19:36.47ID:G0OesQSAいや>>3はそういうツッコミでは無いだろ
明らか最後まで読んでないだけやんw
0113名無しのひみつ@転載は禁止
2014/08/29(金) 13:48:07.61ID:PCnsEwAcてゆうか、ドラえもんの道具にあったと思う
0114名無しのひみつ@転載は禁止
2014/08/29(金) 14:13:34.30ID:ujNYs0Cb0115名無しのひみつ@転載は禁止
2014/08/29(金) 14:20:52.20ID:QS587Wq4役にたちそう。
0116名無しのひみつ@転載は禁止
2014/08/30(土) 08:50:15.53ID:AzwFPl4nこの条件なら解像度の悪い監視カメラに映像+音声付けて記録した方が安上がりかもな
0117名無しのひみつ@転載は禁止
2014/08/30(土) 16:16:33.19ID:Z5WNJKVG固有震動は関係ない。原理的に解像度が高ければ高音域まで再現できるだけで、画質が低くても低音域を取り出せると思う。
0118名無しのひみつ@転載は禁止
2014/09/02(火) 08:13:34.35ID:mpCpUCGUhttp://www.businessnewsline.com/biztech/201409011903110000.html
0119名無しのひみつ@転載は禁止
2014/09/19(金) 02:46:00.43ID:/JJQ955Rおもしろそうだな。
■ このスレッドは過去ログ倉庫に格納されています