アーカイブ情報

2024/1/10

【医療】北海道大学／BIPROGY／テクノフェイス、NEDO事業で触覚情報と診察動画を統合・伝送し、遠隔で触感の再現に成功

　NEDO（新エネルギー・産業技術総合開発機構）が委託する「ポスト5G情報通信システム基盤強化研究開発事業」の一環で、北海道大学、BIPROGY、テクノフェイスは、触覚情報と診察動画を統合し、遠隔の医師間で共有する遠隔触診システムを開発した。今回、北海道大学病院（北海道札幌市）、帯広厚生病院（北海道帯広市）、函館中央病院（北海道函館市）の3拠点を結んだ遠隔触診の実証に成功した。
　本システムは、画像、音声、触感などのデータを統合的に解析するマルチモーダル信号を動画のフレーム単位で統合・同期し、5Gで伝送するもの。マルチモーダル信号が、動画ストリーミングの既存フォーマットに統合されることで、通信品質を決める要素が帯域と遅延のみに単純化される。これにより、マルチモーダル信号をリアルタイムに扱うだけでなく、データベース化して蓄積・配信・再現でき、医療手技の定量化や教育用途など、新しい利用機会をもたらすことが見込まれる。本研究グループは、本システムの普及促進やユーザーとの価値共創を目指し、本格運用や関連技術の展開を2024年度以降に予定している。

背景
　ポスト5G環境下では、多数の機器が接続した状態でマルチモーダルなセンシング情報が行き交い、それらの情報を活用した各サービスに対して、最適なネットワークの提供が必要となる。ポスト5Gは今後、医療や工場、自動運転といった多様な産業用途への活用が見込まれており、日本の競争力の核となり得る技術と期待されている。
　ポスト5Gでは、各接続サービスに対して、さらなる高速・大容量、高信頼、低遅延など、幅広い要求条件に対応する必要がある。そこでサービス要件に合わせて単一のネットワークを複数のスライスに分けて提供するネットワーク・スライシングが提案されている。ネットワーク・スライシングは、継続的に拡張がなされているが、最適化にはサービスごとに接続された膨大な機器群の監視や各サービスの性能要求の判別、経済性を考慮した機器開発、複数の規格の扱いなどの課題を解決する必要があり、ネットワーク事業を担う企業だけではこれらの課題を解決することが難しい状況。
　そこで、NEDOは、本事業※1においてポスト5Gに対応した情報通信システムの中核となる技術の開発を強化しており、その一環として本研究グループは、マルチモーダル情報サービスにおけるネットワークの最適化と、その技術応用に取り組んできた。
　今般、本研究グループは、動画・音声配信の中核技術であるコーデック※2に着目し、それにマルチモーダル信号を埋め込み、統合することで、コーデックの持つ性能基準とスライシング基準をひも付ける手法を開発。その技術の応用として、触覚情報と診察動画を遠隔の医師間で共有する遠隔触診システムを構築し、北海道大学病院、帯広厚生病院、函館中央病院の3拠点を結んだ遠隔触診の実証に成功した。

今回の成果
　本事業で触覚をはじめとしたマルチモーダル信号の統合・活用を5Gネットワークで行うにあたり、応用領域を遠隔触診に定め、「触診向けセンシング機器および遠隔における触覚情報の再現機器とシステム全体の制御技術」と「マルチモーダル情報の5G遠隔伝送に不可欠な、触覚情報と視診向けの高精細動画との連動技術」の2テーマに取り組み、開発に成功した。
　遠隔触診は、DtoD（医師間伝送）を想定しており、他拠点との医師とも情報を共有することで、医療資源の偏在の改善、治療の効率性向上などを期待している。送信側医師によりセンサー群で取得した触診情報は、多チャンネル応力情報として深さに応じた弾性値へ、情報の逐次変化から粘性値へと変換する。それらのデータを視診向け動画のフレームに応じて埋め込むことで、触覚情報と動画内の時空間が完全に同期し、マルチモーダル情報を含むコンテンツとなる。この時、動画の5G伝送に必要なパラメーターは、動画伝送時の既存コーデックに関連するパラメーターのみとなり、動画データの帯域とサービスが要求する遅延に簡略化され、ネットワーク・スライシングの設定を容易にする（図2）。
　また、この動画コンテンツは、視診用とともに触診位置などの属性を含んだデータベースとしても利用でき、受信側医師は逐次触診情報にアクセスして触覚を能動的に再現できる。同時に、触診履歴の蓄積保存とカルテなどとの情報共有、触診の定量化など、治療効果の経時的分析や教育用途にも展開できる。

　実証実験では、コーデックの規格を「H.265」とし、市販のカメラで取得した4K解像度で30フレーム／秒（fps）の動画を5Gで接続された道内中核病院の2拠点間および3拠点間で共有した（5Gネットワークの構築はNTTコミュニケーションズ株式会社の協力による）。
　上腕部の触診では、カメラで画像を取得して触診センサー情報と統合させ、5G伝送を経て遠隔で触覚再現までを行うエンドツーエンドによる計測を実施したところ、2拠点間を同時接続した場合は0.8秒の遅延で、札幌、帯広、函館の3拠点間の同時接続（統合情報をクラウドで蓄積しながら配信）した場合は1.7秒の遅延でそれぞれ遠隔触診可能なことを実証した（図3）。
　いずれにおいても、取得画像とセンサー情報のタイミングは完全に同期しており、遠隔医師からの指示音声と、それに応じた現場医師から送られる触診再生画像のズレが2.0秒程度あった場合でも影響が出ないことを確認し、診察する上で医師のストレスにならない遠隔触診サービスを実現する見通しが得られた。
　本成果により、遠隔触診を一例として、サービスに応じた最適ネットワークのパラメーターの簡略化がなされ、ネットワーク・スライシングへの指針※3を明確化できることが示された。

今後の予定
　本研究グループでは、本システムの拡張性や信頼性の向上を図ることで、マルチモーダル信号を扱うサービスの技術展開・実用化を進めていき、本格運用や関連技術の展開を2024年度以降に予定している。併せて医療分野で本技術を用いた高度先進医療と診療コンサルティングの提供、医学部生や研修医などの教育への利用に道筋をつけるとともに、非医療分野への展開に向けた研究開発も進めていく。
＜注釈＞
※1　本事業
　事業名：ポスト5G情報通信システム基盤強化研究開発事業／先導研究（委託）／ポスト5Gに向けたマルチモーダル情報の効率的活用と触診・遠隔医療技術への応用
　事業期間：2020年度～2023年度
　事業概要：ポスト5G情報通信システム基盤強化研究開発事業
※2　コーデック
　コーデック（CODEC）とは符号化方式を用いてデータのエンコード（符号化して圧縮）とデコード（解凍して復号化）を行うためのソフトウエア。
※3　指針
　ネットワーク・スライシングを設計するにあたり、どうパラメーターを設定するのが良いかという「ネットワーク側の指針」のこと。

カテゴリー

コンバーティングニュース