CEDECといえばビデオゲーム開発にまつわる技術を発表するもの、とイメージしてしまいがちだが、実はコンピュータエンターテインメントの開発や研究にまつわるものであれば、ビデオゲームに縛られずにさまざまなジャンルから参加をすることができる。そうして発表された技術がのちのちビデオゲームに活かされることもあるだろう。
CEDEC2021では、「ソニーの先端技術応用の取り組みご紹介」という題で、同社が提供中、または開発中の様々なサービスやデバイスが紹介された。講演は4つのテーマに渡っており、それぞれ映像、音響、AR、描画技術などの各分野の最先端を感じさせる内容となっていた。本稿では、それらをあますことなくレポートしたので、ぜひ最後まで目を通してみてほしい。それではいってみよう。
空間再現ディスプレイがもたらす新しい映像体験とは
はじめに、ソニー株式会社TV事業本部の太田佳之氏によって、空間再現ディスプレイ「ELF-SR1」という商品やそれにまつわるサービスの紹介が行われた。
空間再現ディスプレイとは、裸眼で立体視を行うことができるディスプレイのこと。ただし3Dテレビのように飛び出ていると言ったイメージではなく、まさにその場に実物が置かれているような空間そのものを再現することができるディスプレイだという。どちらかといえば小さな箱のような、奥行きを感じるようなつくりになっているようだ。
ディスプレイの上部に高速ハイビジョンセンサーが積まれており、視聴者の顔と視線を認識することで、視聴位置に合わせてディスプレイ上にリアルタイムにレンダリングが行われる。これにより、まるでそこにオブジェクトが存在しているように再現されるわけだ。VRやヘッドセットなどのデバイスをつける必要もなく、気軽に映像を楽しむことができるため、利用者にとっても障壁が少ない。
開発にはUnity、またはUnreal Engine 4に対応した専用のSDKを提供しており、1日あれば既存のVRコンテンツやPC用のゲームなどの移植対応も手軽にできてしまうという。立体表現が非常に得意であるため、医療用に人体の構造を3Dで表示したり、建築デザインのシミュレーションに用いられたりと、すでにB2Bの用途では拡大しつつあるようだ。
実用例としてはほかにもソニー・ピクチャーズの映画制作の現場でも活躍しているそうで、『ゴーストバスターズ／アフターライフ』ではハンドジェスチャーセンサー「Leap Motion」と組み合わせることで、作成した3DCGモデルの確認に利用されている。講演では、3DキャプチャとCG背景を組み合わせた実写映像コンテンツも紹介されており、まるで2人の男女が箱の中で踊っているような映像も公開された。
CEDEC会場として馴染みのパシフィコ横浜では、現在「DinoScience 恐竜科学博」が行われており、新たに開発中の32インチ8Kモデルとなる空間再現ディスプレイが技術参考展示されているそうなので、興味が湧いた読者は足を運んでみてもよいだろう。
家にいながら映画制作スタジオのような音を再現！
次に発表されたのは、ソニーグループ株式会社R&Dセンターの沖本越氏による「360 Virtual Mixing Environment」という音響技術の紹介となる。
これはヘッドホンひとつで映画制作スタジオのような音を再現するシステムのことで、COVID-19状況下でのリモート制作や、スケジュールの都合でスタジオが確保できないときにもこれさえあれば音響制作が進められるといったものになっている。
具体的には、はじめにリファレンスとなるスタジオの中で、専用のマイクロフォンを用いることで製作者固有の聴覚のプロファイルを生成する。その後、作成したプロファイルをPC上でロードするだけで、ヘッドホンを通して音源を聴くとがあたかもスタジオの中で流れているかのように立体音響が再現されるということだ。
プロファイルには音源が左右の耳に到達するときの時間差や音量差、音の到達方向ごとの周波数特性などの情報が含まれている。これらは個人の耳や頭の形状ごとに違いが生まれるが、本システムを用いることでそれらを正確に反映し、仮想的に再現することができるという。このシステムについても、すでにソニー・ピクチャーズの映画制作やPlayStation Studiosのゲーム制作において利用が進んでいるようだ。
地球上のあらゆる場所をアトラクションへ変える「Sound AR」
3つ目は、地球をまるごとテーマパークにしてしまおうというAR分野での新しい試みだ。ソニー株式会社Locatoneプロデューサーの安彦剛志氏は、講演のはじめに「Sound AR」という新しい概念を提示した。
Sound ARとは、現実世界の風景にバーチャルな音を重ねることで錯覚を引き起こし、拡張現実を形作るというサービスと、それによってあらゆる場所を彩ることで地球をまるごとテーマパークにしてしまおうという構想を指しているようだ。場所にあった音楽や声を流すことで、「土地」と「音」を紐付けた新しいメディアの形を作り出そうというわけだ。
Sound AR体験を楽しむためのプラットフォームは「Locatone」というサービスとしてすでに提供が開始されており、Google Play/AppStoreにてダウンロードすることができる。「Locatone」ではアプリ上で「ユーザーがどこにいるか」、「ユーザーがどの方向を向いているか」などの推定を行い、状況に合わせて自動的にセリフ・BGM・環境音を再生することができる。
遊び方としては、アプリを起動するとYouTubeのチャンネルのように再生したいツアーを選択することが可能で、合わせたチャンネルに対応したポイントを巡るだけで、チャンネル側で用意された音楽が再生される。ツアーごとにすべてのポイントを回るとエンディングが流れるなど、ゲーム的要素も用意されているようだ。
ジャンプなどをはじめとする身体の動きにも連動することができるため、アトラクションのないスポットでも遊びや仕掛けを提供するといったこともできるようだ。将来的には街全体をライブ会場にしたり、美術館の音声ガイドのように街全体を案内するといったような使い方も見込まれているという。
自分のスマホとイヤホンを利用して、エリア内であればどこかに集まること無く、それぞれの場所を確保することで楽しめるということもあり、コロナ禍での新しいイベントの形としても期待されているようだ。
リアルタイムで描画される、実空間としか思えない仮想空間
最後はやや専門的な内容になるが、「PC向けグラフィックスボードを用いた分散レイトレーシングとマテリアル推定による、次世代リアルタイムグラフィックスへの挑戦」というテーマでデモ映像が公開された。講演者は株式会社ソニー・インタラクティブエンターテインメントの袴谷忠靖氏。
デモ映像は、机とその上にある物体を仮想空間上の同じ位置に配置することで、手に持ったデバイスが仮想空間上のカメラの役割を持ち、それによって撮影された仮想空間内の映像がリアルタイムで出力されるといったものだ。実空間上の机の上の物体を直接手で動かすことで、仮想空間上でも物体は同じように動作する。映像では、実空間上の黒い車のおもちゃと連動して、左上のスクリーンに映るピンクの車が動いていることが確認できた。
描画にはレイトレーシング技術も用いられており、PS3の筐体が仮想空間内でも鏡面反射している様子などが見られた。リアルタイムで描画のための演算を行うため、多数のGPUサーバーが連携して動く分散環境が構築されているという。
フォトリアルなモデルは、そうと説明されなければ実写としか思えないほどのクオリティとなっており、机の上だけでなくもっとさまざまな物を見てみたいと感じるほど。光源や机の周囲の映像は3Dカメラで撮影した実物の画像を利用しているようで、いったん夜の屋外の画像に差し替えると、まるで机がそのまま外に移動したかのようにライティングも夜間のものに調整された。
また、AIを用いた物質推定技術と組み合わせ、認識したオブジェクトの反射属性をリアルタイムで仮想空間に反映することもできるという。動画では、エリア中央に置かれたマーカーの質感に合わせて、仮想空間上の像の質感がリアルタイムで変化していく様子を確認することができた。タコのカモフラージュであったり、ビデオゲームに明るい人に説明するならば、『METAL GEAR SOLID 4 GUNS OF THE PATRIOTS』の「オクトカム」のようなイメージ、と説明すればわかりやすいだろうか。
いかがだっただろうか。今回は以上となるが、発表されたものの中にはすでにサービスとして提供されているものもあるため、気になったものがあれば深く調べてみるのもよいだろう。
こうした先進技術については普段あまり目に触れる機会がないかもしれないが、いつの日か家庭用に一般化し、ビデオゲームに転用されていくことに期待したい。そのときは今では想像もつかないような新しい遊びが次々と生まれてくるのだろう。
からの記事と詳細 ( ソニーの誇る先端技術応用とは――映像、音響、AR、描画技術の4つの分野から紹介！【CEDEC2021】 - IGN Japan )
https://ift.tt/3jlu2OB
No comments:
Post a Comment