神経科学者たちは、人々の脳から直接言葉を読むようにコンピュータを教えています。
Scienceの執筆であるKelly Servickは、今週、プレプリントサーバーbioRxivに投稿された3つの論文について報告しました。各研究では、脳に直接配置された電極が神経活動を記録し、脳外科手術の患者は音声を聞いたり、言葉を大声で読み上げたりしました。次に、研究者たちは患者が何を聞いているか、何を言っているかを理解しようとしました。どちらの場合も、研究者たちは脳の電気的活動を少なくともある程度理解できるサウンドファイルに変換することができました。
2018年10月10日にbioRxivに投稿された最初の論文は、研究者が脳外科手術の最中のてんかん患者に発話の録音を再生した実験について説明しています。 （実験で得られた神経記録は解釈するために非常に詳細である必要がありました。そしてその詳細のレベルは、脳が空気にさらされ、電極が脳手術に直接配置されるようなまれな状況でのみ利用可能です。）
患者がサウンドファイルを聞くと、研究者たちは、患者の脳の音を処理する部分で発火するニューロンを記録しました。科学者たちは、ニューロンの発火データを音声に変換するさまざまな方法を試し、「ディープラーニング」-コンピュータが多かれ少なかれ監視なしで問題を解決しようとする-が最も効果的に機能することを発見しました。人間の声を合成するボコーダーを使用して11人のリスナーのグループに対して結果を再生したとき、それらの個人は75％の確率で単語を正しく解釈できました。
ここでこの実験の音声を聞くことができます。
2018年11月27日に掲載された2番目の論文は、脳腫瘍を除去するために手術を受けている人々の神経記録に依存していました。患者が一音の単語を大声で読み上げると、研究者たちは参加者の口から出てくる音と脳の音声生成領域で発火するニューロンの両方を記録しました。これらの研究者は、各患者についてコンピューターを深くトレーニングする代わりに、神経の記録を音声に変換する人工ニューラルネットワークを教え、結果は少なくとも合理的に理解可能で、マイクで行われた記録に類似していることを示しました。 （この実験の音声はこちらですが、zipファイルとしてダウンロードする必要があります。）
2018年8月9日に投稿された3番目の論文は、人が話すことに決めた特定の単語を筋肉の動きに変換する脳の部分の記録に依存していました。この実験からの記録はオンラインで入手できませんが、研究者は、文章全体を再構築でき（てんかん患者の脳手術中にも記録できました）、文章を聞いた人は複数の選択肢で正しく解釈できたと報告しましたテスト（10の選択肢から）83％の時間。その実験の方法は、単語全体ではなく、個々の音節の生成に関連するパターンを特定することに依存していました。
これらすべての実験の目標は、ある日（筋萎縮性側索硬化症または同様の状態のために）話す能力を失った人々が、コンピューターと脳のインターフェースを介して話すことを可能にすることです。ただし、そのアプリケーションの科学はまだありません。
Scienceの報告によると、Scienceによると、発話を想像している人の神経パターンの解釈は、発話を聞いている、または発声している人のパターンの解釈よりも複雑です。 （ただし、2番目の論文の著者は、発話を想像している人の脳活動を解釈することが可能である可能性があると述べています。）
これらは小規模な研究であることを覚えておくことも重要です。最初の論文はわずか5人の患者からのデータに依存しており、2番目の論文は6人の患者、3番目の論文は3人の患者のみを対象としていました。そして、1時間以上続いた神経記録はありませんでした。
それでも、科学は進歩しており、脳に直接接続された人工音声デバイスは、将来のある時点で現実的な可能性のように見えます。
