188bet159.65

産総研について ニュース アクセス 調達情報 研究成果検索 採用情報 報道・マスコミの方へ メディアライブラリー お問い合わせ   ENGLISH EN 研究相談・研究データ・ 研究ユニット紹介研究者の方へ プロジェクト相談・ 研究依頼・各種協業相談ビジネスの方へ 産総研ってどんなとこ？ 科学の扉を開こう！一般の方へ 科学の楽しさ、産総研が 取り組んだ製品や事例のご紹介 ENG 研究者 ビジネス 一般 マガジン   研究者の方へ 研究相談・研究データ・ 研究ユニット紹介 ビジネスの方へ プロジェクト相談・ 研究依頼・各種協業相談 一般の方へ 産総研ってどんなとこ？ 科学の扉を開こう！ 科学の楽しさ、産総研が取り組んだ製品や事例のご紹介 産総研について ニュース アクセス 調達情報 研究成果検索 採用情報 報道・マスコミの方へ メディアライブラリー お問い合わせ サイトマップ ご利用条件 プライバシーポリシー 個人情報保護 ホーム > 研究成果検索 > 研究成果記事一覧 > 2013年 > ウェブ上の音楽コンテンツの関係性を可視化する音楽視聴支援システム ツイート 発表・掲載日：2013/08/27 ウェブ上の音楽コンテンツの関係性を可視化する音楽視聴支援システム －誰でも利用できる音楽視聴支援サービス「Songrium」を一般公開－ ポイント 動画共有サービス上の音楽動画60万件の関係性を明らかにする音楽視聴支援サービスを公開 オリジナル楽曲とそれに触発されて生まれた派生作品群との関係性を自動抽出して可視化 オリジナル楽曲間の関係性を「矢印タグ」として誰でも任意に追加でき、音楽発見に活用可能 概要 　独立行政法人 産業技術総合研究所【理事長 中鉢 良治】（以下「産総研」という）情報技術研究部門【研究部門長 伊藤 智】後藤 真孝 首席研究員、メディアインタラクション研究グループ 濱崎 雅弘 主任研究員、中野 倫靖 主任研究員らは、動画共有サービス上に無数にある音楽コンテンツやコンテンツ相互の関係性を可視化し、ユーザーが関係性を意識した音楽鑑賞ができる多機能な音楽視聴支援サービス「Songrium（ソングリウム）」（http://songrium.jp)を2013年8月27日に一般公開し、実証実験を開始する。 　動画共有サービスの普及により、クリエイターが創作した膨大な数の音楽コンテンツが公開されているが、ユーザーがそれらの中から関心のある動画を見つける手がかりとして、音楽コンテンツ同士が持つ関係性、例えばオリジナル楽曲と派生作品との間にある派生関係や、楽曲の類似関係、クリエイターの人間関係など多様な関係性を活用できる音楽視聴支援システムはなかった。 　今回産総研が開発したSongriumはウェブマイニング技術および音楽理解技術に基づき、動画共有サービス（ニコニコ動画、YouTube）上の音楽動画60万件の関係性を抽出し可視化するシステムである。これは派生関係を可視化する「惑星ビュー」機能や、楽曲間の関係性をユーザーが自由に追加できる「矢印タグ」機能、曲調や歌声の特徴に基づく楽曲群や派生作品群の可視化機能をもつ音楽視聴支援システムであり、誰でも利用できるウェブ上のサービスとして公開した。ユーザーは一連の可視化機能によって明らかになる多様な関係性を手掛かりに楽曲や派生作品と出会うことができる。さらに試聴を容易にするサビ出し機能や、さまざまな形態でSongriumを利用するためのインタフェース（自動連続再生、スマートフォン対応、ブラウザ拡張）も実現した。 　なお、本研究は独立行政法人 科学技術振興機構(JST) 戦略的創造研究推進事業(CREST)の研究課題（研究代表者 後藤 真孝）の一環として行われた。この成果は、2013年10月31日～11月1 日に産総研つくばセンター（茨城県つくば市）で開催する「産総研オープンラボ」にて展示される。 関係性を意識した音楽鑑賞ができる多機能な音楽視聴支援サービス「Songrium（ソングリウム）」 開発の社会的背景 　動画共有サービスの普及により、プロ・アマを問わず多くのクリエイターが音楽コンテンツを創作し、公開するようになった。さらにオリジナル楽曲の創作だけでなく派生作品の創作も広がり、歌う、演奏する、曲に合わせて踊るといった創作活動を録画した動画が、日々、派生作品として数多く公開され、広く鑑賞されている。これらのオリジナル楽曲と派生作品との関係を可視化することができれば、それぞれの音楽コンテンツを単独のものとしてではなく、その関係も含めて楽しむことができる。 　音楽には派生以外にもさまざまな関係性があり、たとえば類似関係（歌詞のテーマや社会背景、曲調、雰囲気、演奏楽器などが同じか似ている）やクリエイターの人間関係（楽曲の作者・歌手・演奏者が同じ、あるいは、友人・師弟・同所属）などを人々が意識すれば、より豊かな鑑賞につながる。これらの関係性は従来の音楽鑑賞サービスや動画共有サービスでは明示的に扱われることが少なく、検索要求に合致する音楽を見つける音楽情報検索や、次に聴きたいと思う音楽を見つける音楽推薦でも、多様な関係性への理解を深める研究はなかった。このように音楽コンテンツの関係性は、膨大な数の音楽コンテンツの中から興味のある音楽を見つける手がかりとして十分には活用されていなかった。 研究の経緯 　産総研では、動画共有サービスにおいてオリジナル作品に触発されたクリエイターがさまざまな派生作品を創作する協調的創造活動を対象にし、作品間のつながりの大きさやどのような関係性を持つかを分析するウェブマイニング技術を研究開発してきた。また、ウェブ上の楽曲の中身を音楽理解技術で可視化する能動的音楽鑑賞サービス「Songle（ソングル）」（http://songle.jp）を開発し、公開して実証実験を進めてきた（2012年8月29日 産総研・JSTプレス発表）。 　こうした研究成果の蓄積から、ウェブ上の音楽コンテンツの関係性を可視化することで、より豊かな鑑賞を可能にする音楽視聴支援システムというアイデアが生まれた。このアイデアに基づくシステムを、動画共有サービス（ニコニコ動画）上に公開された歌声合成関連動画を対象コンテンツとして限定し、ベータ版として2012年8月より研究者向けに試験公開してきた。今回、可視化機能、楽曲の中身の解析の高度化、自動連続再生、複数の動画共有サービス上の音楽コンテンツ（ニコニコ動画上の歌声合成関連動画、YouTube上の音楽関連動画）への対応などの諸機能を完成させ、実証実験のために一般向けに公開を開始することとした。 　この研究は独立行政法人 科学技術振興機構（JST）戦略的創造研究推進事業（CREST）「共生社会に向けた人間調和型情報技術の構築」研究領域における研究課題「コンテンツ共生社会のための類似度を可知化する情報環境の実現（研究代表者 後藤 真孝）」の一環として行われた。 研究の内容 　ウェブ上の動画共有サービスで公開されている音楽コンテンツ（オリジナル楽曲を収録した動画や、その派生作品となる動画）間の関係性を可視化し、さまざまな「つながり」を意識しながら鑑賞できるシステムを開発し、音楽視聴支援サービス「Songrium（ソングリウム）」（http://songrium.jp）として公開する。Songirumは、以下の3つの特長を持つ。 1. 音楽コンテンツのつながりを意識した鑑賞を実現する「関係性ブラウジング」 　ウェブマイニング技術により、動画共有サービス上のオリジナル楽曲を発見して登録するとともに、それと派生関係にある作品群を自動的に抽出して登録する。そして、自動抽出された楽曲と派生作品との関係を「惑星ビュー」によって可視化する。さらにそうした派生関係に加え、オリジナル楽曲間の任意の関係性を「矢印タグ」として可視化することができる（図1）。矢印タグはユーザーが誰でも付与して共有することができる。ユーザーがSongriumに登録された楽曲を選ぶと、関係性が可視化された画面を見ながら、元の動画共有サービス上にある楽曲やその派生作品の動画をストリーミング再生して楽しむことができる。 　「惑星ビュー」では、派生作品の種類や視聴回数が色やサイズなどで直感的に表されており、楽曲によって見た目が大きく変わる（図2）。このような派生作品群の可視化により、オリジナル楽曲を視聴しているだけでは気付きにくい派生作品を発見できる。さらにオリジナル楽曲がどのような種類の派生作品を生み出してきたかも知ることができる。 　「矢印タグ」は、ある楽曲が別の楽曲に対してどのような関係にあるのかをテキストで自由に記述して共有する仕組みである。一般的なソーシャルタギングではコンテンツ単体に対してタグ付けするのに対し、矢印タグは二つのコンテンツ間の関係に対してタグ付けできる特長を持つ。同一作者の次回作やデビュー作のようなウェブマイニング技術で発見できる関係については、矢印タグとして自動生成される。それに加えて、ユーザーが自由に矢印タグを追加できるインタフェースによって、自動処理では発見が難しい楽曲間の多様な関係も共有することができる。 図1　オリジナル楽曲の「惑星ビュー」と「矢印タグ」の表示例 中心の丸いサムネイル画像がオリジナル楽曲を、その周りを回転するカラフルな複数の円形図形が派生作品群を示している。楽曲を中心とした同心円はそれぞれが派生作品の回転軌道を表している。回転半径は派生作品の投稿時期を示しており、新しい派生作品ほど外側にある。円形図形の大きさは派生作品の再生回数、色は派生作品の種類（例えば青色は楽曲を歌唱した派生作品、赤色は楽曲に合わせて踊った派生作品）を意味する。中央の楽曲に向けて伸びているオレンジ色の直線は矢印タグを示しており、矢印タグ上にある丸いサムネイル画像はつながったもう一方の楽曲を示している。この矢印タグをたどることで次々に楽曲を視聴できる。例えば同一作者の今作・次回作関係を示す「Pの次回作」という矢印タグをたどれば作品を発表順に聴くことができ、ユーザーが付与した「こちらも好きかも」という矢印タグは、いわば人力の音楽推薦として機能する。   図2　オリジナル楽曲によって異なる惑星ビューの例 「惑星ビュー」によって示される派生作品群は、それらの色や回転半径、回転速度によって、派生作品の量や種類が異なることが一目でわかる。派生作品群全体の色は、オリジナル楽曲に対する派生関係の傾向を表している。例えば歌唱の派生作品を示す青色の回転軌道が目立つ楽曲であれば、歌いたくなる楽曲だとわかり、踊りを付けた派生作品を示す赤色の回転軌道が目立つ楽曲であれば、踊りたくなる楽曲だとわかる。   2. 楽曲の中身を自動解析した結果を利用した音楽星図、サビ出し機能などによる鑑賞支援 音楽理解技術によって楽曲の中身を自動的に解析した結果を利用した以下の鑑賞支援機能により、より豊かな鑑賞を可能にする。 （a）音楽星図：楽曲の曲調を分析し、2次元平面上で曲調の似た曲を近くに配置することで、Songriumにすでに登録された音楽動画60万件のうちオリジナル楽曲にあたる10万曲を俯瞰できる「音楽星図」を実現した（図3）。曲調が似た曲を発見したいときには、音楽星図上で近くに存在する楽曲をクリックすると、それが中央に移動してきて視聴できる。 （b）歌声の男女度：同一楽曲をさまざまな歌手が歌唱した派生作品群（以下、歌唱動画）に対して、歌声の音響的特徴から男女度（男声らしいか女声らしいかを示す指標）を自動推定し、その結果を可視化する機能を実現した（図4）。この機能によって、男女度の違いを俯瞰しながら歌唱動画の派生作品群を聴き比べることができる。ただし、ニコニコ動画上の音楽コンテンツのみに対応している。 （c）サビ出し機能：楽曲中で一番代表的な盛り上がる主題の部分である「サビ」を容易に見つけて試聴できる「サビ出し機能」を実現した（図5）。これはSongleの「サビ出し機能」と連携している。自動解析したサビの位置の誤りにユーザーが気付いた場合は、それをSongle上のインタフェースで訂正することで、Songrium上の表示も正しくなる。 図3　楽曲の曲調を自動解析して「音楽星図」として可視化した例 約10万曲のオリジナル楽曲が、曲調の近さに基づいて2次元平面上に配置されている。地図サービスのように、マウス操作でスクロールやズーミングをして楽曲を探索できる。再生回数の多い楽曲は丸いサムネイル画像で表示されている。画面左下のフィルター機能により、今月のランキング入り楽曲、任意のタグを持つ楽曲などをハイライトさせることもでき、この例では最近追加された楽曲が緑色でハイライトされている。   図4　楽曲を歌唱した派生作品における歌声の男女度分布の表示例 歌唱動画の派生作品は、動画共有サービス上で作品数も視聴回数も多く、人気が高い。一つのオリジナル楽曲に対して数百や数千の歌唱動画があることも珍しくない。歌唱動画同士では曲自体には違いがないので、声質や歌い方の違いが重要となる。画面中央の赤や青の円形図形は歌唱動画を表しており、上にあるほど歌声の女声らしさが高く、下にあるほど男声らしさが高い、と自動推定されている。このように歌声の声質を可視化することで、ユーザーは歌声の違いを意識しながらさまざまな歌唱動画を聴き比べやすくなる。   図5　サビ出し機能の使用例 楽曲構造を可視化することで、任意のサビ区間や繰り返し区間を押してジャンプしながら効率的に試聴できる。左下の「サビJUMP」ボタンを押して「次のサビ区間の頭出し再生」もできる。   3. 音楽視聴支援サービスを多様なインタフェースで利活用 　ウェブマイニング技術、音楽理解技術、さらにユーザー入力によって得られた関係性をより多くのユーザーに利用してもらうために、多様なインタフェースを用意した。 （a）自動連続再生インタフェース「バブルプレーヤー」：ユーザーが指定した期間に投稿された楽曲群を自動連続再生できる。投稿日時順に楽曲が次々と出現して増えていく様子をアニメーション表示しつつ、再生回数などユーザーが指定した条件を満たした楽曲群の一部分を順次再生して紹介することで、一つのムービーのように視聴することができる（図6）。これにより動画共有サービス上のトレンドの変遷を容易に俯瞰できる。ただし、ニコニコ動画上の音楽コンテンツのみに対応している。 （b）スマートフォン対応インタフェース：スマートフォンからでも快適にSongriumを閲覧できるように、可視化機能を簡素化した専用モードを用意した。 （c）ブラウザ拡張「Songrium Extension」：「ブラウザ拡張」機能に対応したウェブブラウザを使用しているユーザーに対して、Songrium専用のブラウザ拡張を提供する。これによりSongriumにアクセスしなくても、動画共有サービス上でオリジナル楽曲や派生作品を閲覧するだけで、直接、Songriumの機能の一部を使用できる（図7）。 図6　指定期間のオリジナル楽曲群をムービーのように鑑賞する「バブルプレーヤー」の画面例 ユーザーが期間を指定すると、動画共有サービスにその間に投稿された楽曲群が投稿日時順に現れ、投稿された楽曲群の変遷を俯瞰できる。楽曲はそれぞれ一つのバブル（着色された円形図形）で表されており、楽曲の投稿に合わせて次々とバブルが増えて集まっていくアニメーションが表示される。バブルの色は使用されている歌声合成ソフトウェアの歌声ライブラリの種類を、大きさは再生回数を表している。さらに、ユーザーが別途指定した条件を満たす楽曲はサビ区間が短時間再生されるため、バブルが増える過程でどのような楽曲が投稿されていたかを視聴して確認できる。バブルの表示の背景には、当時の関連イベントがテキスト表示される。   図7　動画共有サービス上で直接主要な機能を使用できる「Songrium Extension」の画面例 動画共有サービスの動画プレーヤーの下にサビ出し機能が挿入して表示される（左図）。その右隣の操作パネルから、惑星ビューや矢印タグを見ることができる。さらに派生作品群に関して、タグの要約表示（タグクラウド）や投稿日時順のグラフ表示（派生ヒストリー）を見ることもできる（右図）。 今後の予定 　誰でもウェブブラウザから利用できる音楽視聴支援サービス「Songrium（ソングリウム）」の持続的な研究開発・運用を進めていく。今回開発した、楽曲の関係性を発見するウェブマイニング技術や楽曲の中身を自動解析できる音楽理解技術を、産業界と連携して、音楽情報検索や音楽推薦、音楽配信サービスなど、さまざまな応用に展開していく予定である。 用語の説明 ◆動画共有サービス 誰でも動画を投稿・公開・視聴できるウェブ上のサービス。代表的な動画共有サービス（ニコニコ動画とYouTube）では外部プレーヤー機能が提供されており、外部のウェブページに埋め込んで動画を再生できる。Songriumでは、この機能を用いることで動画ストリーミング再生を実現している。 [参照元へ戻る] ◆可視化 従来の楽曲群の可視化機能では、ある特定の関係性（楽曲の曲調の類似関係や、アーティストの人間関係など）をもとに2次元平面に配置したり、ネットワーク図で表したりしていたが、本来、音楽コンテンツが持つ関係は多種多様である。Songriumでは、さまざまな関係をユーザーが自由に「矢印タグ」として記述して共有・可視化でき、さらに「惑星ビュー」「音楽星図」などの異なる可視化機能を併用することで、多様な関係をユーザーが把握できる点が新しい。[参照元へ戻る] ◆音楽コンテンツ この研究では、音楽コンテンツは音楽を含む動画（音楽関連動画）を意味する。音楽コンテンツは動画共有サービス上で人気コンテンツの一つであり、プロ・アマを問わず、オリジナル楽曲の動画が数多く投稿されている。それだけでなく、そうしたオリジナル楽曲を他の人が歌ったり、演奏したり、ダンスをしたりした動画も派生作品として投稿されている。[参照元へ戻る] ◆音楽視聴支援システム 膨大な数の音楽コンテンツの中から潜在的に関心のある音楽に出会うための支援をするシステム。書誌データを用いた音楽情報検索や、視聴履歴を用いた音楽推薦などが従来研究されてきた。楽曲間のさまざまな関係性は重要であるにもかかわらず、従来はその関係性の一部を限定的に扱うことが多く、音楽が持つ多様な関係性を一元的に扱えていなかった。 Songriumでは、人々が自由に関係に名前を付けて矢印タグとして共有できるようにして、さまざまな関係性を扱えるようにした。[参照元へ戻る] ◆ウェブマイニング技術 ウェブ上の不定形な情報から、必要とする価値ある情報を抽出する技術である。不特定多数の人々によって作られたウェブ上の情報の多くは、内容や品質、フォーマットなどがばらばらである。Songriumでは対象となる音楽コンテンツのタグや説明文、関連ウェブサイト上のテキストを解析することで、その動画の種類や関係性を抽出する。[参照元へ戻る] ◆音楽理解技術 楽曲の中身を自動的に解析することができる技術である。動画共有サービス上の動画に含まれる楽曲は音響信号で表現されている。Songriumで使用する産総研の音楽理解技術は、その音響信号を解析して、サビ区間や繰り返し区間、曲調の類似度、歌声の男女度（男声らしさ、女声らしさ）など音楽特有の特徴を自動抽出できる。[参照元へ戻る] ◆ブラウザ拡張 ウェブブラウザに機能を追加するプログラム。エクステンションやアドオンと呼ばれることもある。ユーザーはSongrium Extensionをインストールしたウェブブラウザで動画共有サービスにアクセスするだけでSongriumの主要な機能を使用できる。Songriumに明示的にアクセスしなくても、ブラウザ拡張によってより多くのユーザーに日常的に利用してもらうことができる。[参照元へ戻る] ◆Songle（ソングル） 「Songle (ソングル)」（http://songle.jp）とは、楽曲の可視化機能やサビ出し機能を使用することで、より能動的で豊かな音楽鑑賞ができるウェブ上のサービスである。楽曲の中身を音楽理解技術で自動解析した際に生じた誤りを、ユーザーが手動で自発的に訂正し、その結果を共有できるインタフェースを備えている。今回、Songriumと連携するために、これまでMP3形式の音響信号ファイルにしか対応していなかったSongleを、新たに動画共有サービス（ニコニコ動画とYouTube）にも対応できるように拡張した。Songriumに登録された楽曲は自動的にSongleにも登録されて解析される。サビ区間や繰り返し区間の解析誤りに気付いたSongriumのユーザーがSongle上で訂正すると、Songriumにも反映される。さらに、派生作品として同一楽曲がSongleに何度も登録されても問題がないように、それらの自動解析結果がSongle上で自動的に紐付けられるように新規拡張した。同一楽曲のうち一つを訂正すれば、紐付けられたすべてが改善して見えるようになっている。[参照元へ戻る] ◆歌声合成 歌声を自動的に合成する技術である。さまざまな声質（歌声ライブラリ）の歌声合成ソフトウエアが市販されており、それらを用いた数多くの音楽コンテンツが動画共有サービス上に公開されている。歌声ライブラリにはキャラクターが設定されていることが多く、クリエイターがキャラクターに合わせた楽曲を作ったり、イラストや映像表現を付け加えたりするなど、音楽にとどまらない多彩な創作活動を生み出している。[参照元へ戻る] ◆ベータ版 開発途上にテストの目的で提供される試用版である。Songriumでもこれまでにベータ版を試験公開して不具合を改善してきたが、新たな機能と共に、2013年8月27日に一般公開する。[参照元へ戻る] 関連記事インターネット上の楽曲の中身を自動解析する音楽鑑賞システム楽曲の中身を自動解析する音楽鑑賞システム [ PDF：894KB ] お問い合わせお問い合わせフォーム 産総研について アクセス 調達情報 研究成果検索 採用情報 報道・マスコミの方へ メディアライブラリー お問い合わせ English ニュース お知らせ一覧 研究成果一覧 イベント一覧 受賞一覧 研究者の方へ はじめての方へ 研究成果検索 研究情報データベース お問い合わせ 採用情報 ビジネスの方へ はじめての方へ 研究成果検索 事例紹介 協業・提携のご案内 お問い合わせ AIST Solutions 一般の方へ はじめての方へ イベント情報 スペシャルコンテンツ 採用情報 お問い合わせ 記事検索 産総研マガジンとは 公式SNS @AIST_JP 産総研チャンネル 公式SNS @AIST_JP 産総研 チャンネル サイトマップ このサイトについて プライバシーポリシー 個人情報保護の推進 国立研究開発法人産業技術総合研究所 Copyright © National Institute of Advanced Industrial Science and Technology （AIST） （Japan Corporate Number 7010005005425）. All rights reserved.