北原鉄朗

研究の背景と目的

現在の計算機に最も欠けている機能の1つに，実世界の認識があげられるでしょう．我々人間は，目や耳を通じて常に外の世界を認識し，行動選択に役立てています．一方，映像や音を計算機に取り込むことは容易になったものの，そこに何が映っているのか，何の音なのかを認識することは，計算機にとっては至難の技です．特に音の認識は，単一話者による音声の認識はさかんに研究されてきましたが，音声以外の色々な音が時には同時に鳴る，といった状況は非常に苦手であるのが現状です．

音の認識の研究では2つの事柄を考える必要があります．(1)観測されるのは通常混合音であること，そして(2)時系列メディアであるということです．混合音が観測されるといっても，音源分離技術で混合前の音を完全に取り出せれば話は簡単です．しかし，混合音を歪みなく分離するのはほとんど不可能で，完全な音源分離を前提としないアプローチが必要です．また，音の認識が音が完全に鳴り終わってから始まるようでは用途が限られるので，音を観測しながら認識できなくてはなりません．

本研究では，混合音の代表例として音楽（多重奏）を取り上げ，音楽の認識のための工学モデルの実現を目指しています．ここでキーとなるのは「時系列メディアの予測性」です．音楽が楽しいのは，先の展開をある程度予測でき，その予測が適度に当たり，適度に外れるからだと言われています．つまり，人は音楽を常に予測しながら聴いています．この予測しながら聴く様をベイジアンネットなどの確率モデルを用いて実現していきます．

3つの課題

この「予測型音楽聴取モデル」の実現には，次の3つの課題に取り組む必要があります．

1つは混合音に対する信号処理です．これは，私が学生時代に進めていた多重奏に対する楽器音認識の研究成果に基づいて実現します．私の楽器音認識研究のメジャーな研究成果であるInstrogramでは，多重奏を半音ごとの隠れマルコフモデル（HMM）で解析することで，「いつ，どの高さでどの楽器の音が鳴った可能性が高いか」を計算できます．

2つめの課題は音楽表現の様々な抽象度に対応した予測モデルの構築です．音楽は，周波数成分，音符，和音などと様々な抽象度で表現され，それぞれに対して予測がはたらいています．ですので，音楽の予測モデルは，複数レイヤーで並行に予測を走らせることができなければなりません． 現在は，初期検討として，伴奏システムや編曲システムという具体的な応用システムを念頭に置き，音符（メロディ）レベルと和音レベルに的をしぼって検討しています．

3つめは，これらの信号処理技術や予測モデルを見通し良く実装するフレームワークです．このフレームワークの実現のため，音楽の様々な知識表現をXMLで記述するためのフレームワーク「CrestMuseXML」と，そのデータの処理モジュールを見通し良く実装できるデータフロー型APIを搭載したツールキット「CrestMuseXML Toolkit」を開発しています．

その他にも，音楽情報検索や楽器演奏支援などの応用研究も行っています．

音楽情報処理研究のためのフレームワークCrestMuseXMLの開発

これまで音楽情報処理に関する様々な研究がなされてきたが，音楽データの表現形式は個々の研究におけるシステム設計者が個別に定めていたため，統一性がなく，種々のコンポーネント技術の再利用は困難でした．本研究では，様々な音楽データを記述するための共通の枠組み「CrestMuseXML」とその枠組みを利用するためのオープンソースソフトウェア「CrestMuseXML Toolkit」を開発し，種々の音楽情報処理研究の成果物の相互利用の促進をはかっています．

  1. 北原 鉄朗, 片寄 晴弘: "CrestMuseXML (CMX) Toolkit ver.0.40について", 情報処理学会 音楽情報科学 研究報告,2008-MUS-75-17, Vol.2008 , No.50, pp.95--100, May 2008. [Paper in pdf]

  2. 北原 鉄朗, 橋田 光代, 片寄 晴弘: "音楽情報科学研究のための共通データフォーマットの確立を目指して", 情報処理学会 音楽情報科学 研究報告,2006-MUS-66-12, Vol.2007, No.81, pp.149--154, August 2007.

多重奏の音楽音響信号に対する楽器音認識および音楽情報検索への応用

同じ楽曲でも異なる楽器で演奏すると聴いたときの印象が変わるように，どんな楽器で演奏されたかという情報は，その楽曲の雰囲気を表すのに重要な要素だと考えられます．我々は，我々が開発した楽器存在確率の時間・周波数表現Instrogramに基づく楽器音認識技術を用い，ユーザが指定した楽曲に雰囲気（楽器構成）の似た楽曲を検索するシステムを構築しています．また，この技術の音楽可視化やエンターテインメントへの応用も研究しています．

  1. Tetsuro Kitahara, Masataka Goto, Kazunori Komatani, Tetsuya Ogata, and Hiroshi G. Okuno: "Instrogram: Probabilistic Representation of Instrument Existence for Polyphonic Music", IPSJ Journal, Vol.48, No.1, pp.214--226, January 2007. [Paper in pdf] (第3回IPSJ Digital Courier船井若手奨励賞)(also published in IPSJ Digital Courier Vol.3, No.1, pp.1--13)

  2. 北原 鉄朗, 後藤 真孝, 駒谷 和範, 尾形 哲也, 奥乃 博: "Instrogram: 発音時刻検出とF0推定の不要な楽器音認識手法", 情報処理学会 音楽情報科学 研究報告,2006-MUS-66, Vol.2006, No.90, pp.69--76, August 2006. [Paper in pdf]

  3. 戸谷 直之, 北原 鉄朗, 片寄 晴弘: "楽器構成に着目した楽曲サムネイルとプレイリスト生成機能つき音楽プレイヤー", インタラクション2008（インタラクティブ発表）, pp.173--174, March 2008.

ベースラインからの特徴抽出および音楽情報検索への応用（共同研究）

現在の音楽情報検索研究の多くは，スペクトル包絡などの低次の特徴量を用いており，演奏の内容を適切にとらえているとは言えません．本研究では，音楽の三大要素のうちの2つであるリズムとハーモニーの双方において重要な役割を担う「ベースパート」に着目し，ベースラインからの特徴抽出とその音楽情報検索への応用に取り組んでいます．

  1. Yusuke Tsuchihashi, Tetsuro Kitahara, and Haruhiro Katayose: "Using Bass-line Features for Content-based MIR", Proceedings of the 9th International Conference on Music Information Retrieval (ISMIR 2008), pp.620--625, September 2008. [Paper in pdf]

  2. 土橋 佑亮, 北原 鉄朗, 片寄 晴弘: "音響信号を対象としたベースラインからの音楽ジャンル解析", 情報処理学会 音楽情報科学/音声言語情報処理 研究報告, 2008-MUS-74-38, 2008-MUS-SLP-70-38, Vol.2008, No.12, pp.217--224, February 2008.

Bayesian Networkを用いた音楽推論アーキテクチャ（共同研究）

自動作曲，自動編曲，楽曲解釈，自動伴奏といった音楽情報処理タスクは，階層的音楽表現ネットワークにおける既知のノードから未知のノードの推論と考えると，同じモデルで説明することができます．本研究では，各種音楽情報処理タスクを行う統一的アーキテクチャの実現を目指し，現在は，コードボイシングと予測型自動伴奏を取り上げ，タスクごとの課題の洗いだしを行っています．

  1. 勝占 真規子, 北原 鉄朗, 片寄 晴弘, 長田 典子: "ベイジアンネットワークを用いたコード・ヴォイシング推定システム", 情報処理学会 音楽情報科学/音声言語情報処理 研究報告, 2008-MUS-74-29, 2008-MUS-SLP-70-29, Vol.2008, No.12, pp.163--168, February 2008.

N-gramを用いた即興演奏の旋律適否判定および即興演奏支援システムへの応用（共同研究）

ユーザの即興演奏を監視し，音楽的に不適切かどうかを判定し，不適切なら他の音に補正するという新たな演奏支援システムを開発しました．これまでに様々な演奏支援研究がありましたが，即興演奏を扱ったものは少なく，「楽器演奏経験はあるが，即興演奏は敷居が高い」という方々に対してその敷居を低くし，即興演奏の楽しみを実感していただくのは困難でした．本システムを利用することで，多少音楽的に不自然な旋律を弾いてもスピーカーからは音楽的に自然な旋律が出力されますので，初心者でも臆することなく，即興演奏の楽しさを実感することができます．

  1. 石田 克久, 北原 鉄朗, 武田 正之: "N-gramによる旋律の音楽的適否判定に基づいた即興演奏支援システム", 情報処理学会論文誌, Vol.46, No.7, pp.1549--1559, July 2005. [Paper in pdf]