研究テーマ

研究課題

NEC Beyond 5G 協働研究所では、以下を研究課題として設定しています。

都市のような広域空間と人の内面を対象に、高精度に現在と未来を表現する確率的デジタルツインの実現

確率的デジタルツインを用いた人の能力の拡張と広域空間内での人とロボットの協調

 

以降では、NEC Beyond 5G 協働研究所内で実施している個別の研究テーマをご紹介します。

都市のような広域空間と人の内面を対象に、
高精度に現在と未来を表現する確率的デジタルツインの実現

脳のマルチモーダルな情報処理の仕組みを活用したオブジェクト認識技術

　デジタルツインによる実世界の把握と制御のためには、実世界に存在する様々なオブジェクトを、センサ機器を通して瞬時に理解する必要がある。すなわち、存在するオブジェクトを一意に同定すること、その位置を把握すること、そしてデジタルツイン上に表現することをリアルタイムに実行する必要がある。本研究テーマでは、人の脳の情報処理機構に着想を得たオブジェクト認識技術を開発する。

　人の脳では、目や耳、肌や三半規管などから得られた不確実な観測情報を用いて周囲の状態を推測し、それらを統合した最終的な意思決定までをすべて行っている。認識した結果は記憶として保存され、記憶に基づいた推論により認識の精度を向上する（上図）。近年、脳の情報処理機構の数理的なモデル化が進められており、ユニモーダルな認識を表現可能なモデルとしてBayesian Attractor Model (BAM)が、マルチモーダルな認識を表現可能なモデルとしてBayesian Causal Inference (BCI)が提案されている。

　これらのモデルを用いたオブジェクト認識技術では、脳が行っているとされる、不確実な情報からの確率的な意思決定が表現可能であり、非常に軽量であるが視覚性の低い画像分析情報といった不確実な観測情報をもとに、そのオブジェクトが何であるのかという認識判断を高速かつ高精度に行うことが可能となる。

 

デジタルツインを活用した心の状態の理解と予測、適切なコミュニケーションのきっかけづくりを行う研究・リビングラボ実証

　現在の介護環境の改善に向けた取り組みは、被介護者に寄り添った介護のあり方が大切であると認識されながらも、介護者の体力的負荷の軽減などによる介護の効率化に重点が置かれることが多くなっています。これらの両立の課題をより高度な視点から克服するために、介護者・被介護者の精神的な満足度の向上を目指します。そのために、被介護者が常に安心して過ごせて、介護者と被介護者が十分に関わりを持つことのできる理想的な介護の実現を目指し、デジタルツインを活用して心の状態の理解・予測や適切なコミュニケーションのきっかけづくりを行う実証を開始します。

　本実証では、Beyond 5G時代に向けてデジタルツインを活用することで介護環境に「豊かな心の世界」を創り出すことを目指します。具体的には、気温・気圧などの環境データ、被介護者の体温・心拍数や不穏な状態になるタイミング、表情や会話内容の変化、介護者の接し方やモチベーションの変化などのデータを収集します。収集したデータから、環境変化と居心地の良さの関係や思いやりと場の形成の関係などを分析し、現実世界に反映させます。また、被介護者の心情変化を推測し、不穏な状態になるタイミングを予測してその要因を事前に変化させる、介護者と被介護者の間に弱いロボットを介在させて場を穏やかな状況に変化させるなど、リアルとデジタルの融合により介護者・被介護者の精神的な負荷軽減に取り組みます。さらに2024年度からは、NEC Beyond 5G協働研究所が提唱する「確率的デジタルツイン」を活用して物体認識や未来予測のさらなる精度向上を目指します。最終的には、介護者・被介護者がお互いの立場を超えて、「学び」や「気づき」を与え合う関係づくりを目標とします。

確率的デジタルツインを用いた人の能力の拡張と広域空間内での人とロボットの協調

Coming soon!