スマホは何を手がかりに音を聞き分けるか？
～メディア探索技術における音の分析方法について～

6/20(水)の総合メディア概論は、NTTコミュニケーション科学基礎研究所の泉谷知範氏でした。彼は私の大学院時代の後輩に当たります。彼の勤めるNTTの研究所は、工芸大の厚木キャンパスと車で5分程度の目と鼻の先なので、散歩がてらに来てもらいました。

意外と面白かったのが、NTTの会社組織の話です。NTTという会社は実は、事業をほとんどやっていなくて、NTT東日本、NTT西日本、NTTコミュニケーションズ、NTTドコモなどの会社の持ち株親会社であるとのこと。唯一NTTが持っている事業所が、研究所だそうで、NTTの社員とは、ほとんどが研究所の社員ということになるそうです。

さて、泉谷氏は現在、音楽情報検索が専門で、スマートフォンなど携帯端末のカメラやマイクを利用して、音楽や映像の検索をする技術を開発しておられ、今回は，主に音を使って音楽やテレビ番組などを探索する実演デモなどで、最新の技術などを紹介し，そこで使われている音の分析方法の基本について解説されました。

CDの曲名やタイトルなどがネット経由で自動で入力される仕組みは、曲の秒数だけで検索しているそうです。

音の検索自体は、結構いろんなサービスがあり、mobion music(2011), Shazam(2008), あてメロ(2005-2007)などがあります。

音の検索の基本として、波形が違っても人間に聞こえる音は同じという根本原理を矩形波の例を使って実演しておられました。要するに人間は、波形を聞いているのではなく、周波数構成、スペクトログラムを聞いているのだという説明です。この事実は、改めて面白いですね。

さて、Aphex Twin の Windowlicker が紹介されていて、アーティストがスペクトログラムの中に画像を埋め込んだ音楽を見せていました。ノイズミュージックでは、有名な人です。

課題は、10年後のスマホはどうなっているかというもの。10年前には、現在のスマホはまったく予測不可能だったので、10年後のスマホって本当に分からないですよね。