麻痺患者における同時多模態コミュニケーションの実現：単一 ECoG インプラントによる音声とジェスチャーの同時解読

脳卒中や神経変性疾患（筋萎縮性側索硬化症：ALS など）は、発話と非言語的ジェスチャーの両方を損なうことが多く、患者の社会的参加と生活の質を著しく低下させます。脳コンピュータインターフェース（BCI）は、感覚運動皮層の神経活動を外部機器の命令に変換することでこれらの機能を回復させることを目指していますが、これまでの研究は主に音声またはジェスチャーのいずれかを単独で解読することに焦点を当てていました。自然なコミュニケーションは、発話とジェスチャーが同時に行われることが多く、単一の BCI インプラントがこれらの複数の効果器（エフェクター）を同時に、かつ正確に解読できるかどうかは、実用化における重要な未解決課題でした。

本研究では、重度の麻痺を有する 3 名の参加者において、単一の高密度 ECoG インプラントが、上肢運動と口顔面運動（発話関連）を含む多様な効果器の神経表現を同時にサンプリングできることを実証しました。特に、音声とジェスチャーを単独で行う場合だけでなく、両者を同時に行う試行においても、並列のデコーダーを用いて仮想アバターを制御できることを示しました。重要なのは、単独行動のデータのみで訓練されたモデルは同時行動への一般化が不十分である一方で、単独および同時の両方のデータを用いて訓練したハイブリッドモデルは、すべての行動文脈で高い精度を維持し、誤検知率を大幅に低減できたことです。

研究は、UCSF にて長期にわたってインプラントされた 3 名の参加者（Bravo-1r, Bravo-3, Bravo-6）を対象に行われました。参加者は、発話（黙読または発声）と様々な手・腕のジェスチャーを、単独または同時に行うタスクを実行しました。神経活動は、高ガンマ活動（HGA; 70–150 Hz）として記録され、感覚運動皮層上の電極配置が体性感覚地図（ソマトトピー）に従って配置されていることが確認されました。

• 単一の ECoG アレイが、頭部・目、手・腕、口顔面・発話の各領域の神経活動を広範囲にカバーし、部分的に重なり合うが区別可能なパターンを抽出した。
• 同時行動時の神経パターンは単独行動時とは異なり、単独データのみで訓練されたデコーダーは同時行動の解読精度が低下した。
• 「コンテキスト包含型」トレーニング（単独データと同時データの両方を学習に使用）と「クロスモーダル」トレーニング（反対のモダリティを「休息」として学習）を導入することで、同時・単独の両文脈での解読精度が向上し、誤検知率が低下した。
• 解読された音声とジェスチャーをリアルタイムで反映するパーソナライズされたフルボディアバターを制御する実証実験に成功した。

この研究成果は、神経変性疾患や脳卒中後のリハビリテーション、BCI 開発における重要なマイルストーンです。特に、複数の運動機能を同時に制御するシステムの信頼性を高めるためのトレーニング戦略（コンテキスト包含型学習）は、将来の臨床応用において、患者がより自然な対話を行うための基盤となります。また、神経信号の重なり合いを克服し、複数の効果器を独立して制御するアルゴリズムの最適化は、神経再生 研究や脳機能の可塑性を評価する前臨床モデルにおいて、新しい評価指標を提供する可能性があります。

BCI 技術の進展に伴い、その性能を検証するための前臨床モデルの重要性が増しています。本研究で用いられたような多機能な BCI システムを評価するためには、神経活動の記録や運動制御の解析に特化した動物モデルが必要です。例えば、神経変性疾患 のモデルマウスや、特定の神経回路を操作可能な遺伝子改変マウスを用いて、脳内の神経活動パターンと運動出力の関係を解明する研究が期待されます。また、遺伝子編集 技術（CRISPR など）を用いて、神経回路の機能や可塑性を制御するモデルを構築し、BCI 関連の神経メカニズムを解明するアプローチも有効です。

本研究は、単一の脳インプラントから音声とジェスチャーを同時に解読し、自然なコミュニケーションを復元する可能性を示した画期的な成果です。適切なトレーニング戦略により、複数の運動機能を同時に制御する BCI の実用化が近づいています。今後は、より広範な語彙の対応や、長期的な安定性の確保、そして前臨床モデルを用いたメカニズム解明が、臨床応用に向けた次のステップとなるでしょう。