研究テーマ

研究課題

NEC Beyond 5G 協働研究所内で実施している個別の研究テーマを一部ご紹介します。

脳のマルチモーダルな情報処理の仕組みを活用したオブジェクト認識技術

　デジタルツインによる実世界の把握と制御のためには、実世界に存在する様々なオブジェクトを、センサ機器を通して瞬時に理解する必要がある。すなわち、存在するオブジェクトを一意に同定すること、その位置を把握すること、そしてデジタルツイン上に表現することをリアルタイムに実行する必要がある。本研究テーマでは、人の脳の情報処理機構に着想を得たオブジェクト認識技術を開発する。

　人の脳では、目や耳、肌や三半規管などから得られた不確実な観測情報を用いて周囲の状態を推測し、それらを統合した最終的な意思決定までをすべて行っている。認識した結果は記憶として保存され、記憶に基づいた推論により認識の精度を向上する（上図）。近年、脳の情報処理機構の数理的なモデル化が進められており、ユニモーダルな認識を表現可能なモデルとしてBayesian Attractor Model (BAM)が、マルチモーダルな認識を表現可能なモデルとしてBayesian Causal Inference (BCI)が提案されている。

　これらのモデルを用いたオブジェクト認識技術では、脳が行っているとされる、不確実な情報からの確率的な意思決定が表現可能であり、非常に軽量であるが視覚性の低い画像分析情報といった不確実な観測情報をもとに、そのオブジェクトが何であるのかという認識判断を高速かつ高精度に行うことが可能となる。

 

デジタルツインを活用した心の状態の理解と予測、適切なコミュニケーションのきっかけづくりを行う研究・リビングラボ実証

　現在の介護環境の改善に向けた取り組みは、被介護者に寄り添った介護のあり方が大切であると認識されながらも、介護者の体力的負荷の軽減などによる介護の効率化に重点が置かれることが多くなっています。これらの両立の課題をより高度な視点から克服するために、介護者・被介護者の精神的な満足度の向上を目指します。そのために、被介護者が常に安心して過ごせて、介護者と被介護者が十分に関わりを持つことのできる理想的な介護の実現を目指し、デジタルツインを活用して心の状態の理解・予測や適切なコミュニケーションのきっかけづくりを行う実証を開始します。

　本実証では、Beyond 5G時代に向けてデジタルツインを活用することで介護環境に「豊かな心の世界」を創り出すことを目指します。具体的には、気温・気圧などの環境データ、被介護者の体温・心拍数や不穏な状態になるタイミング、表情や会話内容の変化、介護者の接し方やモチベーションの変化などのデータを収集します。収集したデータから、環境変化と居心地の良さの関係や思いやりと場の形成の関係などを分析し、現実世界に反映させます。また、被介護者の心情変化を推測し、不穏な状態になるタイミングを予測してその要因を事前に変化させる、介護者と被介護者の間に弱いロボットを介在させて場を穏やかな状況に変化させるなど、リアルとデジタルの融合により介護者・被介護者の精神的な負荷軽減に取り組みます。さらに2024年度からは、NEC Beyond 5G協働研究所が提唱する「確率的デジタルツイン」を活用して物体認識や未来予測のさらなる精度向上を目指します。最終的には、介護者・被介護者がお互いの立場を超えて、「学び」や「気づき」を与え合う関係づくりを目標とします。

• “デジタルツインを活用し介護環境に「豊かな心の世界」を創り出す,” OU RESEARCH GAZETTE, 2024年11月.
• “心とICTで認知症の方の笑顔を増やす！～「豊かな心の世界」を目指す大阪大学とNECの挑戦～,” NEC wisdom, 2024年2月9日.
• “大阪大学とNECによる「NEC Beyond 5G 協働研究所」、確率的デジタルツインの社会実装に向けたリビングラボを設立 ～第一弾として実際の介護施設で実証を開始～,” NEC News Room, 大阪大学プレスリリース, 2023年3月2日.