複合現実感 (Mixed Reality) という用語はあまりなじみがないかもしれませんが、そういう方でも、仮想現実感 (Virtual Reality) という用語は聞いたことがあると思います。仮想現実感とは、3D空間に入り込み、実際に動く動作をすることで、3D空間内で移動したり、そこにある仮想的なものを動かしたり、見たりする仕組みのことです。一方、複合現実感とは、実際の世界に、仮想現実をオーバラップさせて実感する技術です。
最近では、オリンピックの水泳競技や、ゴルフなどで、実写に国旗やラインが表示されているような使われ方をしています。ビューや画角が固定されていれば、比較的安定的にデジタル情報を重ねることはできると思います。移動しているときはどうでしょうか?
本研究は、IPA の支援で 2005 年に実施したものです。移動している場合には、地図や、GPS、3D位置検出装置が必要になり、実写に仮想現実を重ねるのはなかなか大変です。
最初は、次に示すようなヘッドマウントディスプレイとパソコンを使って行いました。

ヘッドマウントディスプレイの実写に重ねるのは非常に難しく、実際には次のようにタブレットパソコンとカメラを使って、実写に3D地図をリアルタイムで合成してみました。

カメラを動かすと、どうしても仮想情報の方が遅れてしまいますが、ゆっくり動かせば、次のように地域に住所情報や、建物名称などを書き込むことができます。将来は、カーナビ情報の変わりにフロントガラスに見えている建物名や、住所などを表示することも可能になるでしょう。

研究成果は、
「ユビキタス環境で複合現実感をサポートする基盤ソフトウェアの開発」にまとめていますので、興味のある方はどうぞ。