©️松竹
2022 年 10 月 ３ 日 (月) から 25 日 (火) まで大阪松竹座で開催された歌舞伎公演「日本怪談 (Ｊホラー) 歌舞伎」貞子×皿屋敷で、 MR (Mixed Reality、複合現実) 技術を用いた画期的な実証実験が行われました。参加者を公募して 10 月 17 日 (月) から 24 日 (月) の期間に行われたこの実証実験では、客席後方の専用席に座った参加者がマイクロソフトの MR ヘッドセット HoloLens 2 を装着して歌舞伎を鑑賞。字幕や映像演出などをリアルの舞台上に重ねて視聴する、新たな観劇の型を体験しました。
未来のエンタメを見据えて次世代コンテンツを追求
制作の松竹株式会社は、事業開発本部 イノベーション推進部 新事業共創室 マネージャーの富田 剛史氏が「近年、私たちの基幹事業であるライブエンターテイメント事業において、デジタル技術を活用してその可能性を広げることをテーマに取り組んでいます。」と語るとおり、AR (Augmented Reality) 技術を用いて歌舞伎を視聴するアプリ開発や 360 度動画コンテンツなど、リアルとバーチャルが融合した次世代型エンタテインメント創造事業に力を注いでいます。
その一環として企画されたのが今回の MR 歌舞伎鑑賞会でした。「昨今注目されてきたバーチャルやメタバースといった文脈に、いかにライブの要素を付け加えるかを検討した結果、 MR がその答えのひとつだという答えに辿り着きました」(富田氏)。
この公演は、片岡 愛之助さん、今井 翼さん、中村 壱太郎さん、中村 莟玉さんらが出演。歌舞伎の伝統的な演目である「播州皿屋敷」と現代ジャパニーズホラーを代表するキャラクター「貞子」のコラボレーションが話題となっていました。実は富田氏はホラーコンテンツが大好きとのこと。「“貞子”は私にホラーの面白さを教えてくれた、思い入れの強いキャラクターなんです」。MR 鑑賞会の対象が本作になると知ったときには運命を感じ、「魅力的なコンテンツをお客さまにお届けしよう」と心に決めたそうです。
伝統芸能に新たな要素を加える大きなチャレンジ
構想を聞いたときの印象を、「歌舞伎に MR を組み合わせる発想にまず驚きました」と語るのは、MR デザインと CG 制作を担当した株式会社 HERE. の CEO である土井 昌徳氏。「でも同時に、これが実現すればいろいろな可能性が広がるのではないかととてもワクワクした気持ちを抱きました」。初めての試みであり正解が見えないなか、松竹や協力企業とディスカッションを重ねて、ふさわしい見せ方や表現を模索していきました。
表現方法を検討するにあたり、台本だけではイメージしきれなかった部分も多く、初日の幕が開いてからも作業は続きました。なかでも苦労したのは情報の取捨選択だったそうです。「普段は主に音声で表現される情報を視覚化するわけですが、視覚は聴覚よりも脳に優位に認識されるため、実際に舞台に MR を重ねてみたうえで情報を削った箇所もあれば、逆に足した箇所もあります。字幕ではなく映像で表現する方がよいと判断した箇所も。単純に映像演出として MR を使うのではなく、見る人が心地よく感じられる情報の量を意識して、チューニングを重ねました」(土井氏)。
お披露目を迎えるにあたり土井氏は、「今回、陰陽師が呪文を唱えるシーンや役者が見得を切るシーンにも MR を重ねて、現実世界で起こり得ないことを表現してみました。歌舞伎の完成された様式美に新たな要素を加えるという試みを皆さんがどのように感じるのか、いろいろなご意見をいただければと思っています」と、楽しみ半分、不安半分の心持ちを語ります。
MR とリアルの融合という初めての試みに悪戦苦闘
MR のシステム構築を担当したのは、空間表現技術に関する事業を展開するカディンチェ株式会社。松竹との合弁会社のミエクル株式会社による活動を中心に、これまでも数々の機会でコラボレーションを重ねてきました。
カディンチェが開発したシステムは大きくふたつ。ひとつはさまざまな視覚効果や字幕ガイドを HoloLens 2 に表示するアプリ。もうひとつが、それらの情報を管理用端末から HoloLens 2 で再生できるようにする同時表示システムです。このシステムが今回の試みの成否につながるポイントだったと、制作統括 兼 テクニカルディレクターの稲田 明徳氏は語ります。「舞台は生モノです。同じシーンでも間が微妙に変わったりすることもあります。その変化に応じて、見ている方全員のHoloLens 2 に適切な情報を送れるシステムを構築し、安定的に稼働させることが、私たちにとって最も重要なミッションでした」。
また、どの座席から見ても同じ場所にオブジェクトを表示する仕組みの構築には苦労したそうです。「当初は座席の位置までは気にせずにオブジェクトを配置する形を考えていたのですが、実際に試してみると、座席が異なると大きく見え方が変わることがわかり、座席に合わせて表示するシステムに変更しました」と稲田氏。自由に空間上にオブジェクトの配置ができる HoloLens 2 でなければ思ったような表現は実現しなかったと、その機能性の高さを評価します。
歌舞伎を支えてきたノウハウを、新たなチャレンジに生かす
映像や字幕の情報を、舞台の進行を邪魔することなく HoloLens 2 に表示させるためには、歌舞伎に精通した専門家の力が必要です。そこで協力を要請されたのが、創業以来約 50 年間、歌舞伎の同時解説音声ガイドや映像字幕ガイドの制作に携わってきた、株式会社イヤホンガイドでした。
「MR をはじめとするデジタル技術を使った観劇は、今後徐々に普及していくと考えています。このタイミングで MR 観劇のノウハウを蓄積できることは、当社にとって大きなメリットだと考えています」と語るのは本番中のオペレーションを担当する株式会社イヤホンガイドの加藤 淳吾氏。演技に合わせて音声や字幕を表示させる技術を専門とする同社ですが、今回は同時に複数箇所の字幕表示に加え、映像効果を出すタイミングも調整が必要だったため、MR 空間に表示させるコンテンツが最大限に生かされるように試行錯誤し、日々修正を重ねたと言います。
今回の字幕制作を担当した株式会社イヤホンガイドの土屋 歩氏も、「最初話を聞いたときには面白いと感じましたが、実際の作業は想像よりはるかに大変でした」と振り返ります。「HoloLens 2 を通して見ると、思っていたより文字が小さかったり、表示する場所がしっくりこなかったりして、本番中も修正すべき箇所ばかり気になってしまいました」と苦笑いする土屋氏ですが、MR 観劇についてはポジティブに捉えています。「空間のいろいろなところに字幕や映像効果が現れることで、お客さまがより舞台に入り込みやすくなると思います。それに、よりエンターテイメント性の高い仕掛けを増やせますから、これまで興味がなかった層にも歌舞伎を楽しんでもらえるのではないでしょうか」。
いよいよ MR 歌舞伎鑑賞会が開幕。新鮮な体験に参加者たちも興奮
参加者は客席後方の特別席に案内され、全三幕のうち序幕は HoloLens 2 なしで観劇します。これは MR の有無による変化をわかりやすく体験するための仕掛けです。序幕が終演すると、一人ひとりに HoloLens 2 が手渡されますが、ほとんどの参加者が初めての体験であり、スタッフの助けを借りながら装着。「思ったより軽いね」「メガネがちょっと邪魔かも」と、周囲を見回したりバイザーを上げ下げしたり少し落ち着かない様子です。
次に行う作業は、“正面”の設定。座席によって舞台に正対する角度が異なるため、真正面を HoloLens 2 に覚えさせる必要があるのです。QR コードがプリントされた紙を HoloLens 2 越しに見ると、チェックマークが浮かび上がり、それを押せば設定終了。参加者にとってはこの作業が初めての MR 体験ということになります。舞台を見ると緞帳に重なるようにタイトルが浮かび上がっており、これから始まる MR 歌舞伎への期待感は、否が応にも高まります。
さていよいよ二幕目の開演です。緞帳が上がると MR 空間にはこのシーンの解説が表示され、参加者はスムーズに歌舞伎の世界に入っていくことができます。舞台が始まると、人物の名前とプロフィールの字幕が、当該人物の頭上や足元に浮かび上がります。この演出には、制作チームが口々に苦労したと語っていた、舞台上のできごとと干渉しないための工夫が表れています。
初心者には聞き取りにくい歌舞伎独特の節回しが続く部分では、視界の片隅に解説の字幕が表示されるため、舞台上で繰り広げられる物語への集中を途切らせることなく、その内容を理解することができます。また、歌舞伎の見せ場のひとつ「早替わり」についても、字幕による解説が加わることで「あの役とこの役は同じ人なのか!」と、その驚きをリアルに味わえます。
そしてストーリーが節にのせて語られる歌舞伎ならではの演出、竹本 (義太夫節) が始まると、その歌詞が節回しの抑揚に合わせたエフェクトで表示されます。まさに HERE. 社の土井氏が語っていた「音声表現の可視化」です。
©️松竹
物語は佳境に差し掛かり、怪談らしく恐怖を感じさせる展開や怪奇現象が起きるシーンでは血しぶきや呪術を表す CG 映像が現れたり、クライマックスのひとつであるお菊が水責めに遭うシーンでは耳元から水の音が聞こえたりするなど、MR の特徴と HoloLens 2 の機能を存分に生かした演出が展開されます。これらの演出は斬新ながらも、舞台の展開を邪魔することはありません。
やがて幕が降り、劇場に万雷の拍手が鳴り響きます。HoloLens 2 を外した参加者たちは、「説明がわかりやすかったね」「呪文のシーン、面白かった」などと、興奮冷めやらぬ様子で新たな観劇体験の感想を語り合っていました。
プロフェッショナルが力を結集した新たなエンターテイメントの可能性
「私たちは伝統芸能に MR を重ねる “型破り”に挑戦したわけですが、その型破りが面白いと評価されればそれが当たり前になり、新たな型が生まれていくはず。今回の試みが、歌舞伎の新たなスタンダードの片鱗を感じられるものになっているといいな、と思います」という HERE. の土井氏の言葉のとおり、参加者たちは歌舞伎や舞台表現の新たな型の誕生の瞬間に立ち会ったのかもしれません。
そしてその背景には、斬新ながらも歌舞伎の世界観を壊さない表現手法を追求してきた各社の努力がありました。すべての映像効果や字幕は、イヤホンガイドのオペレーターが舞台の進行に合わせてベストのタイミングで表示させることで、最大の効果を発揮します。「私たちが何十年も築いてきた経験が生かせていると思います」と同社の加藤氏は胸を張ります。もちろんベストのタイミングで表示させるには、その裏でカディンチェの同時再生システムが安定的に動作していなければなりません。また HoloLens 2 の機能により、劇場という特殊な場所で正確な位置にクリアに MR オブジェクトを配置できた点も、大きなサポートになったはずです。
インタビューの最後に松竹の富田氏は、「今回の実証実験は、文化庁の令和 4 年度「日本博」イノベーション型プロジェクト補助対象事業として実施しましたが、当社は 2025 年に大阪・関西で開催される日本国際博覧会において、日本を訪れる海外の方に向けて歌舞伎をはじめとする日本の伝統芸能をテクノロジと融合させて発信することを目標にしています。MR による歌舞伎観劇はそのひとつの可能性であり、日本のコンテンツとテクノロジを海外展開する技術として、今後も取り組んでいきたいと考えています」と大きな目標を語ってくれました。
高い専門性を持つ企業が技術やノウハウを持ち寄り、相乗効果を発揮することで実現した今回のプロジェクト。これをひとつのベンチマークとしながら、世界中の人々が楽しめるエンターテイメントへの挑戦は、これからも続いていきます。
—
本ページのすべての内容は、作成日時点でのものであり、予告なく変更される場合があります。正式な社内承認や各社との契約締結が必要な場合は、それまでは確定されるものではありません。また、様々な事由・背景により、一部または全部が変更、キャンセル、実現困難となる場合があります。予めご了承下さい。
