" "

作品詳細

YouTube meets WebMIDI.

作品を見る

YouTube を MIDIコントローラーやLeap Motion 等のハードウェアからコントロールするWeb アプリです(Mac/Win の Chromeで動作します)。YouTube動画を同時に2ストリーム再生できるようになっており、2つの動画をDJ感覚で自由にミックスやスクラッチすることができます。 また、マイク入力の音声をビジュアライズすることもできますので、VJ(Visual Jockey)のようなパフォーマンスをすることも可能です。是非マイクの付いたパソコンでお試しください。

制作者の情報
作者(チーム名)
サスカッチ (@sascacci)
エントリー済みの賞
技術的なアピールポイント
API としては、Web MIDI API、Web Audio API、WebRTC、YouTube API、LeapJS、Canvas を使っています。
まず、MIDIコントローラーから出力された信号をWeb MIDI APIで受けてYouTube APIを叩き、動画を制御しています。WebRTCは getUserMedia()を使いマイクの音声をWeb Audio APIに流し込んでいます。Web Audio API の Analyzer Node から音声の解析情報を取得して、Canvasに描画しています。Leap Motion は、手を動かすことにより YouTube の音量バランスや背景のパターンなどが変化します。また、センサーにかざした手を握ることにより、動画再生が停止します。
アプリ全体の構成については添付の画像2をご覧下さい。
ちなみに、左側のYoutube動画は、自作の Music Video。右側は、朝日新聞の系列である ANN news チャンネルです。
企画上のアピールポイント
『Web of Things』
Web とモノ(ハードウェア)がつながる時代が始まりました。これまで Web は単に見るツールでソフトウェアだけで完結していましたが、モノ(ハードウェア)とつながることにより、新たな世界が広がってきています。
その中でも Web MIDI API は象徴的な存在だと思っています。

『MIDI』
楽器演奏のようなパフォーマンスをする場合、フィジカルなインターフェイスがとても重要になってきます。例えばそれは、ピアノであれば鍵盤であり、ドラムであればパッドであり、DJであればツマミやフェーダーです。クリックやタッチ操作では得られないフィジカルなフィードバックが、エモーショナルなパフォーマンスをつくりだします。
MIDI が誕生して 31 年。世界中には様々な MIDI 機器が存在します。Web MIDI API が誕生してからは、まだ 1 年あまりですが、その誕生により世界中の MIDI 機器がブラウザーとつながることが可能になりました。これは本当に素晴らしいことだと思います。

<<< 自由記入欄につづく >>>
自由記入欄
<<< 企画意図のつづき >>>
『そして、パフォーマンス可能なプラットフォームへ』
Web MIDI API を使うことによりブラウザーは、パフォーマンス可能なプラットフォームになりました。鍵盤やパッド、DJ コントローラなど使い慣れた MIDI 機器を接続して、ダイレクトに Web をリアルタイム・コントロール出来ます。ブラウザーの新たな1ページが始まろうとしているのです。
本アプリは、Web コンテンツの代表格である Youtube を MIDI(ハードウェア)からコントロールするWebアプリです。
Web とモノとが融合する可能性を体感して頂ければ幸いです。

最後に、下記のリンクは 5jcup ハッカソン#1でプレゼンしてたときの動画です。(17:35あたりから)
合わせてご覧下さい。
http://youtu.be/lquJBPva3tg?t=17m35s