視野共有システム
概要
私たち人間は自分の視点から外の世界を見て，その時見える情報を元に行動しています． しかし時には誰か他の人の視点から世界を見たい，そんな場面もあります． 例えば，あるスポーツを練習する少年が，プロのスポーツ選手がプレーしている時に， プロ選手と同じ視点・姿勢でプロ選手自身になったかのように世界を見ることが出来れば，上達につながるかもしれません． このような他人の姿勢，そしてそこから見ている世界をまるでその人自身になったかのように体験出来るのが我々の「視野共有システム」です．
システム構成
このシステムは，二人のユーザがビデオシースルーHMD(Head Mounted Display)と呼ばれるデバイスを装着し， それらをインターネット等につなぐことで成り立っています． ビデオシースルーHMDとは自分だけでなく相手から見える世界をユーザが見るための， 頭に装着するタイプのデバイスで，目の前に常に配置されるディスプレイとカメラで構成されています． 目の前はディスプレイに覆われていますが，自分の頭部に搭載されたカメラの映像をディスプレイに表示させることで， ユーザはまるで目の前にディスプレイが無いかのように自分の外の世界を見ることが出来ます． また，我々のビデオシースルーHMDはカメラを配置するときに，鏡による光の折り返しを利用しているため， ユーザは完全に目の位置から見える世界をディスプレイ越しに見ることが出来ます．
次に相手の外の世界を見るために， 二者のビデオシースルーHMDの間をネットワークでつなぎ，相手のビデオシースルーHMDのカメラからの映像を自分のビデオシースルーHMDに伝送して表示させます． これにより，ユーザは相手ユーザが本来見ている外の世界を同じように見ることが出来ます．これが自分だけでなく相手の見ている世界を見るための仕組みです．
しかし，ただ相手の見ている世界を見るだけでは，見ている世界を共有しているとは言えません． 見ている世界を共有するには，「何を」見ているかだけでなく，「どこからどちら向きに」見ているかも共有する必要があるからです． 例えば相手が空を見上げれば自分も空を見ることができますが，同じように自分も上を向かないと，上を向かなくても空が見える状態になってしまい ，見ている世界を共有しているとは言えなくなります．そこで我々は，二者が同じ姿勢をするためのマーカをディスプレイに表示させることで， 「どこからどちら向きに」見ているかも共有することを実現しました． マーカは，ビデオシースルーHMDに位置・姿勢センサを搭載しそれを基に描画したもので， ユーザの頭の位置・向きを示します．自分のマーカと相手のマーカを表示し， その２つのマーカが一致するように動くことで二者が同じ姿勢をした状態が実現できます．
応用先
このシステムの応用先の一つとして，スキル(技術）の伝送が挙げられます． スキルというのは，言葉で伝えられるものもあれば言葉では伝えることの難しい「コツ」のようなものもあります． 我々のシステムを何かの作業における熟練者と初心者の間で利用し，初心者が熟練者の動きを真似して視覚情報ならびに運動を共有することで， 言葉では伝えられない「コツ」まで直観的に伝えることが可能となります． たとえば，救急救命の現場でその場に居合わせた人が救命処置を行う際に，病院などの遠隔地にいる医師からインターネットなどを利用して， 手順やスキルを伝えるシステムへの応用が期待されます．
関連文献
- 前田太郎：第7章 身体性情報応用技術, 電子情報通信学会（編）, ブレインコミュニケーション-脳と社会の通信手段, 電子情報通信学会, 2011.
- 米村朋子, 橋本悠希, 近藤大祐, 丹羽真隆, 飯塚博幸, 安藤英由樹, 前田太郎 : 視野共有システムを用いた心肺蘇生法の訓練効果, 日本バーチャルリアリティ学会 論文誌 Vol.16, No.4 pp.623-632, 2011.
前庭電気刺激
背景
近年バーチャルリアリティが進展していくのに伴い，様々な感覚を提示する技術が求められており， 加速度感覚を感じさせる技術についても研究されています． 従来，加速度感覚の提示にはプラットフォームの移動といった大掛かりな方法などが用いられおり， 使用場所が限定されるという短所がありました． そこで，前庭器官を電気刺激することで加速度の錯覚を感じさせる前庭電気刺激という技術について研究しています． 前庭器官とは，内耳部分に存在する，バランス感覚を司る器官です．前庭電気刺激による感覚提示ならば， 装置が簡略かつ小型であるため，携帯・運用が容易です．よって様々な環境で使用できる利点があり，より幅広い分野で応用されることが期待されています．
前庭電気刺激
体験者の両耳の後ろに電極を装着し，電極間に電流を流すことで内耳の前庭器官に刺激を与えます． すると電流の陽極側への加速度の錯覚を感じ，陽極側へ体の重心がゆらぎ，歩行進路もその方向に曲がります． この姿勢制御は身体機能として自然に生じるものなので，体験者が違和感を感じることはありません． 前庭電気刺激に用いる電流は数mAの微弱なもので，人体に害はありません． また，新しい電気刺激手法を用いて左右，前後，回転方向への加速度感覚を提示することを研究しています．
応用先
応用例として，装着者の注意を割くことのない目的地への誘導， 危険を回避させるナビゲーションとしての用法，また， 映像と同期した加速度感覚の提示によるリアリティの増大や３D酔いの軽減などが考えられます．
関連文献
- 橋本悠希, 杉崎有, 米村朋子, 飯塚博幸, 安藤英由樹, 前田太郎 : 前庭電気刺激を用いた眼球運動誘導手法の基礎的検討, 日本バーチャルリアリティ学会論文誌, Vol.17, No.1, pp.23-32, 2012.
- 安藤英由樹，渡邊淳司，前田太郎：前庭電気刺激を利用した平衡感覚インタフェース, 映像情報メディア学会誌 : 映像情報メディア Vol.62, No.6, pp.837-840, 2008.
- 安藤英由樹, 吉田知史, 前田太郎, 渡邊淳司 : "Save Your Self !!!" : 前庭刺激による平衡感覚移植体験, 日本バーチャルリアリティ学会論文誌 Vol.12, No.3 pp.225-232, 2007.
- 安藤英由樹，渡邊淳司，杉本麻樹，前田太郎：前庭感覚インタフェース技術の理論と応用，情報処理学会論文誌，Vol.48, No.3, pp.1326-1336, 2007.
- 前田太郎, 安藤英由樹，渡邊淳司，杉本麻樹:前庭感覚電気刺激を用いた感覚の提示, バイオメカニズム学会誌, Vol.31, No.2, pp82-89, 2007.
爪上からの触覚提示装置（スマートフィンガー）
研究目的
人間は物に触ったときに，硬さやテクスチャを感じ取ります．
私たちの研究では物に触れたときの感覚（触覚）を再現して他の人に伝えることを目指しています．
この研究分野では，指の腹側から刺激を与えることで，触覚を再現する方法が主流でした．
しかし，この方法では装置に触れていなければ触感は得られません．
つまり，バーチャルな触感が与えられているときは現実に存在する物の触感を得ることができません．
そこで，指の腹側から刺激を与えるのではなく指の爪側から刺激を与えることで，指の腹側に触覚を再現する方法を利用します．
この方法では，バーチャルな触感は指の爪側から，現実に存在する物の触感は指の腹側から与えられるので，
これら2つの触感を重ね合わせたものを感じ取ることができます．
爪上からの触覚提示装置（スマートフィンガー）
爪上に振動子を装着して物をなぞりながら振動を与える装置（スマートフィンガー）を用いて，バーチャルに触覚を再現します． 人間は物をなぞっているときに爪上から振動を与えられると，なぞっている物に凹凸があると錯覚します．この錯覚を利用することで，"でこぼこ"や"ざらざら"などの様々な触感を再現します．
応用例
応用例1：
交通事故が起こり，けが人の周囲に専門医がいない場合を考えます．
このとき，一般人ではけが人の治療はできません．たとえ，専門医からの指示を聞いて，
けが人の様子を見た（または触った）としても，一般人には骨が折れているかなどの判断は困難です．
しかし，患部の触覚情報を専門医に伝えることができれば，専門医が患部の状態を判断できるので，けが人に対する応急処置ができます．
応用例2：
だれかが物に触れて，その触覚情報を記録します．
そして，それをインターネット上に配信することで，いつでも・どこでも・だれでも，
その人が触れた物を体感することができます．イメージとしてはYouTubeに近いかもしれません．
応用例3：
iPadなどのタッチパネルデバイスで触覚を提示することで，
アイコンをクリックした感覚などを与えることができるようになります．
関連文献
- 丹羽真隆, 濱口英典, 飯塚博幸, 前田太郎, 安藤英由樹 : 爪装着型疑似牽引力/凹凸覚提示装置, 日本バーチャルリアリティ学会論文誌, Vol.16, No.3, pp.409-414, 2011.
- 橋本悠希, 湯村武士, 米村朋子, 飯塚博幸, 前田太郎, 安藤英由樹 : 爪上振動を利用したなぞり動作における触覚伝送手法, 日本バーチャルリアリティ学会論文誌, Vol.16, No.3, pp.399-408, 2011.
- Hideyuki Ando, Junji Watanabe, Masahiko Inami, Maki Sugimoto, Taro Maeda“ A Fingernail-Mounted Tactile Display for Augmented Reality Systems, ” Electronics and Communications in Japan, Part II Vol. 90, No. 4, pp. 56-65, 2007.
- 安藤英由樹, 渡邊淳司, 稲見昌彦, 杉本麻樹, 前田太郎 : Augmented Realityのための爪装着型触覚ディスプレイの研究, 電子情報通信学会論文誌. D-II, 情報・システム, II-パターン処理 J87-D-II(11), pp.2025-2033, 2004.
「つもり」制御
～行動の分節化に着目した操縦の実現～
研究背景｜鉄人28号を目指して
本研究では「簡単な装置・操作で自在にロボットを操縦できる」ことを目指しています． 自在な操作のヒントは，かの有名なロボット漫画「鉄人28号」に登場するロボットの操縦方法にあります． 鉄人28号は，①アンテナ②3つのボタン③握るだけのレバーのみの実にシンプルな操縦器で操作します． たったこれだけによる操作で，鉄人は空を飛びまわり，パンチし，敵をやっつけます．こんな操作を実現するにはどうしたらいいでしょうか？
従来手法｜ラジコンの限界・テレイグジスタンスの難しさ
たとえばラジコンの操作では，操作と動作の対応が決まっています．
「ジャンプはBボタン」と，決まりに従って操作します．この場合，決まりにない動作をさせることはできません．
人間のように自由に動作を組み立てることができないのです．
人間のような自由な動きができるロボット操縦としてはテレイグジスタンスがあります．
人間の動きを機械で取得してロボットにまったく同じ動きをさせることで，自在に直観的に，ロボットを操縦することができます．
しかしこれには大掛かりな装置と特化された制御・通信が必要となります．
本研究の特徴｜「つもり」への着眼
人間は行動を覚えたり人に伝えたりするとき，一連の動きを分割していることがわかっています．
そして分割された動きを再度つなぎ合わせて運動することで滑らかな一連の動きを再現しているのです．
例えば人にスポーツやダンスを教えるとき，「こうして、こうして、こう！」などと動作を止めながら説明し，
受け手はそれを見て一連の動きを再生する，ということです．
一連の動きを分割したもの一つ一つを行動分節といい，行動分節ごとの意図を「つもり」と呼んでいます．
分節に対応した意図「つもり」を抽出できれば，それをロボットの行動分節に対応付けることで，分節単位で操縦者の意図を反映したロボット操縦が可能になります．
本研究の手法｜「つもり」の取得
通常の操縦は，動かしたい動作を想起し，その動作に対応した入力を選択し，入力します．
ラジコンでは動作と入力の対応が決まっています．
では，「こう動かしたいとしたらどう入力しますか？自由に入力してください」と言われたら人間はどうするでしょうか？
実は，同じ動きをさせたいときは，人間は何度でも同じ入力をするのです．
つまり，ロボットの同じ動きに対しては同じ入力をするのです．
本研究ではこの点に着目し，動作を行うロボットを観察しながら，
自分がその動作をさせている「つもり」で入力を行うことで，ロボットの行動分節と操縦者の行動意図「つもり」を対応させています．
「入力」→「ロボットの動作」の流れを逆に行っているのです．
そして実際に操縦する時には，入力から操縦者の「つもり」を読み取ってロボットが動作します．
関連文献
- 丹羽真隆, 飯塚博幸, 安藤英由樹, 前田太郎 : つもり制御：人間の行動意図の検出と伝送によるロボット操縦, 日本バーチャルリアリティ学会論文誌, Vol.17, No.1, pp.3-10, 2012.
- 前田太郎：第7章 身体性情報応用技術, 電子情報通信学会（編）, ブレインコミュニケーション-脳と社会の通信手段, 電子情報通信学会, 2011.
3本目の腕 -腹部装着型身体拡張インターフェイス-
概要
上記の「つもり制御」を用いて、新たな身体部位である「3本目の腕」を開発しています。
使用者がどのように3本目の腕を動かそうとしているかという運動意図を、無意識下で発生する肩やひざの揺れから抽出し制御を行うため、
他の身体部位の動作を邪魔することなく協調動作が行えると期待されています。
また、3本目の腕が得る触感を使用者に伝えることで、3本目の腕が本当に自身の一部だと感じられるよう設計を行っています。
関連文献
- 北尾太嗣，松井和輝，前田太郎："自己身体拡張を実現する身体拡張型3本目の腕の設計と制御"，ロボティクス・メカトロニクス講演会 2016
- 根原直希，北尾太嗣，前田太郎："第3の腕で空間をなぞって把握するための触覚伝送2，ロボティクス・メカトロニクス講演会 2017
- 宮本拓，根原直希，原彰良，北尾太嗣，安藤英由樹，古川正紘，前田太郎："感覚フィードバックのある第3の腕の開発と「つもり制御」による自己主体感"，第18回 計測自動制御学会システムインテグレーション部門講演会
擬似牽引力提示装置
一般に，人間の知覚は非線形な特性を持つことが知られています．
たとえば，物理的に力の大きさが２倍になったとしても，人間はそのまま力が２倍になったと感じるとは限りません．
つまり，力の変化量が同じであっても，元の力の大きさによって，人間はその変化を過大評価したり，過小評価したりするということです．
このような特性を利用し，振動から「引っ張られる」感覚を惹起させる力覚提示手法を考案しました．
振動であれば，物理的には1周期での力積は0となります．
しかし，ある方向には「時間は短くても知覚しやすい強い加速度」を，
それと逆方向には「時間は長くとも知覚しにくい弱い加速度」を持つような正負に非対称な振動を提示すると，
先述した知覚特性から，強い加速度の方向へ力が偏って生じているように人間は錯覚します．
この手法により，振動から擬似的に牽引力の提示を実現しています．
本装置は外部環境に接地する必要がない携帯型デバイスであるため，装置を持ったり，身体に装着したりしての利用が可能です．
そのため，外部に支点が必要な装置に比べて，人の行動を阻害しにくいと言えます．
さらに，研究室では現在，指に装着しての利用が可能なサイズまで装置の小型軽量化を実現しています．
また，従来の力覚提示手法とは，実際の牽引力ではなく，その感覚のみを提示している点で大きく異なります．
本研究室ではこのような擬似力覚が，人の行動誘導や運動学習にどのような効果をもたらすかを調べており，
擬似牽引力を利用した新たな運動学習支援システムの構築を目指して研究を進めています．
関連文献
- 丹羽真隆, 濱口英典, 飯塚博幸, 前田太郎, 安藤英由樹 : 爪装着型疑似牽引力/凹凸覚提示装置, 日本バーチャルリアリティ学会論文誌, Vol.16, No.3, pp.409-414, 2011.
- 雨宮智浩, 安藤英由樹, 前田太郎 : 非接地型力覚提示装置を中空で把持したときの効果的な牽引力錯覚の生起手法, 日本バーチャルリアリティ学会論文誌, Vol.11, No.4, pp.545-555, 2006.
- 雨宮智浩, 安藤英由樹, 前田太郎 : 知覚の非線形性を利用した非接地型力覚惹起手法の提案と評価, 日本バーチャルリアリティ学会論文誌, Vol.11, No.1, pp.47-57, 2006.
脳波や生体情報によるブレインコンピュータインタフェース（BCI）
頭に思い浮かべるだけでテレビのチャンネルが変ったら嬉しい．脳波や身体の情報を読むことができれば，体を動かすことなくその人の意図を汲み取ることができる．これは体が不自由な人だけでなく，誰もが期待する技術である．我々は，特殊な脳波に着目し，新しいBCIの技術を開発している．
映像から力や触った感じを生成
自分の体が自分の“もの”であるという感覚はどこから生まれてくるのだろうか．通常，その感覚は誤動作することがないので，自分の腕があり，自分の体というものがありそれに疑問を感じることは少ない．ところが，視覚情報と触覚情報を恣意的に操作することによって，その感覚が不確かであることが確認できる．本テーマでは，統合されている手の運動と視覚情報の視覚情報のみ変更を加えることによって，無意識的に手の運動が誘導され触覚を感じる実験を行い，オーナーシップやボディイメージの研究をしている．
投影式シースルー頭部搭載型ディスプレイ
頭部搭載型ディスプレイ（HMD）は通常サイズや重量が大きくなってしまったり，限られた視野領域により没入感が失われたりしがちである．また，装置からの情報の提示と現実世界を同時に映し出すシースルー型の場合，使用者の焦点距離が問題となる．これらの問題点を解決する新しいHMDの開発を行っている．
メディア技術
新しい錯覚や感覚を生み出すインタフェース装置は，それを体験することによって今まで当たり前のように感じていた感覚が当たり前ではなくなり，ありえなかった感覚が当たり前のように感じる．この新たな世界観の提示を通して，メディア技術とアートの融合を行っている．