Im Zeitalter der sich ständig weiterentwickelnden Gehirn-Computer-Schnittstellen (BCI)-Technologie bietet das neueste Brain2Qwerty-Modell von Meta AI neue Hoffnung in diesem Bereich. BCI zielt darauf ab, Menschen mit Sprach- oder Bewegungseinschränkungen Kommunikationsmöglichkeiten zu bieten. Traditionelle Methoden erfordern jedoch oft invasive Eingriffe, wie z. B. das Einsetzen von Elektroden, was nicht nur medizinische Risiken birgt, sondern auch langfristige Wartung erfordert. Daher erforschen Wissenschaftler nicht-invasive Alternativen, insbesondere solche, die auf Elektroenzephalografie (EEG) basieren. Die EEG-Technologie hat jedoch das Problem einer niedrigen Signalauflösung, was die Genauigkeit beeinträchtigt.
Bildquelle: Das Bild wurde mit KI generiert, Bildrechte: Midjourney
Brain2Qwerty wurde entwickelt, um genau dieses Problem zu lösen. Dieses Deep-Learning-Modell kann Sätze entschlüsseln, die von Teilnehmern eingegeben werden, wobei die Gehirnaktivität über EEG oder Magnetoenzephalografie (MEG) erfasst wird. In der Studie gaben die Teilnehmer kurzzeitig gespeicherte Sätze auf einer QWERTY-Tastatur ein, während ihre Gehirnaktivität in Echtzeit aufgezeichnet wurde. Im Gegensatz zu früheren Methoden, die eine konzentrierte Aufmerksamkeit auf externe Reize oder imaginäre Bewegungen erforderten, nutzt Brain2Qwerty natürliche Tippbewegungen und bietet so eine intuitivere Methode zur Interpretation von Gehirnwelle.
Die Architektur von Brain2Qwerty besteht aus drei Hauptmodulen. Zuerst ist da das Faltungsmodul, das zeitliche und räumliche Merkmale in EEG- oder MEG-Signalen extrahiert. Dann folgt das Transformer-Modul, das die eingegebene Sequenz verarbeitet, um das Verständnis und den Ausdruck zu optimieren. Schließlich gibt es das Sprachmodellmodul, ein vortrainiertes zeichenbasiertes Sprachmodell, das dazu dient, die Genauigkeit der Decodergebnisse zu korrigieren und zu verbessern.
Bei der Bewertung der Leistung von Brain2Qwerty verwendeten die Forscher die Zeichenfehlerquote (CER) als Messgröße. Die Ergebnisse zeigten eine relativ hohe CER von 67 % bei der EEG-basierten Dekodierung; die Dekodierung mit MEG führte jedoch zu einer deutlichen Verbesserung, wobei die CER auf 32 % sank. Der beste Teilnehmer in dem Experiment erreichte eine CER von 19 %, was das Potenzial des Modells unter idealen Bedingungen zeigt.
Obwohl Brain2Qwerty im Bereich der nicht-invasiven BCI vielversprechend ist, gibt es noch einige Herausforderungen. Erstens muss das aktuelle Modell ganze Sätze verarbeiten, anstatt einzelne Tastenanschläge in Echtzeit zu dekodieren. Zweitens ist MEG zwar leistungsfähiger als EEG, aber die Geräte sind noch nicht portabel und weit verbreitet. Drittens wurde die Studie hauptsächlich an gesunden Teilnehmern durchgeführt, daher müssen zukünftige Studien die Anwendbarkeit auf Menschen mit Bewegungs- oder Sprachstörungen untersuchen.
Forschungsarbeit:https://ai.meta.com/research/publications/brain-to-text-decoding-a-non-invasive-approach-via-typing/
Wichtigste Punkte:
🧠 Das von Meta AI entwickelte Brain2Qwerty-Modell kann Texteingabe über EEG und MEG dekodieren und bietet neue Hoffnung für die BCI-Technologie.
📊 Die Studienergebnisse zeigen, dass die Zeichenfehlerquote bei der MEG-Dekodierung deutlich niedriger ist als bei der EEG-Dekodierung, wobei der beste Teilnehmer eine CER von 19 % erreichte.
🔍 Zukünftige Herausforderungen sind die Echtzeit-Dekodierung, die Verfügbarkeit von MEG-Geräten und die Wirksamkeit bei Menschen mit Behinderungen.