Sensation: Neurowissenschaftler rekonstruieren einen Pink-Floyd-Song aus der Gehirnaktivität der Zuhörer

Plasmasphere WIKIPEDIA

Künstliche Intelligenz hat die elektrischen Signale des Gehirns in etwas verstümmelten klassischen Rock zurückverwandelt

Forscher hoffen, dass Gehirnimplantate eines Tages Menschen, die nicht mehr sprechen können, dabei helfen können, ihre Stimme – und vielleicht sogar das Singen – zurückzugewinnen. Nun haben Wissenschaftler erstmals gezeigt, dass die elektrische Aktivität des Gehirns entschlüsselt und zur Rekonstruktion von Musik genutzt werden kann.

Wie Scientific American berichtete wurden in einer neuen Studie Daten von 29 Personen analysiert, die bereits auf epileptische Anfälle überwacht wurden, wobei man Elektroden in Briefmarkengröße verwendete, die direkt auf der Oberfläche ihres Gehirns platziert wurden. Während die Teilnehmer Pink Floyds Lied „Another Brick in the Wall, Part 1“ aus dem Jahr 1979 hörten, erfassten die Elektroden die elektrische Aktivität mehrerer Gehirnregionen, die auf musikalische Elemente wie Ton, Rhythmus, Harmonie und Texte abgestimmt waren. Mithilfe maschinellen Lernens rekonstruierten die Forscher verstümmelte, aber unverwechselbare Audiodaten dessen, was die Teilnehmer hörten. Die Studienergebnisse wurden in PLOS Biology veröffentlicht.

Neurowissenschaftler arbeiten seit Jahrzehnten daran, allein aus der Gehirnaktivität zu entschlüsseln, was Menschen sehen, hören oder denken. Im Jahr 2012 gelang es einem Team, dem der leitende Autor der neuen Studie angehörte – der kognitive Neurowissenschaftler Robert Knight von der University of California, Berkeley – als Erstem, Audioaufzeichnungen von Wörtern zu rekonstruieren, die die Teilnehmer hörten, während sie implantierte Elektroden trugen. Andere haben seitdem ähnliche Techniken verwendet, um kürzlich angesehene oder vorgestellte Bilder aus den Gehirnscans der Teilnehmer zu reproduzieren, darunter menschliche Gesichter und Landschaftsfotos. Aber der jüngste Artikel von Knight und seinen Kollegen in PLOS Biology ist der erste, der darauf hinweist, dass Wissenschaftler das Gehirn belauschen können, um Musik zu synthetisieren.

„Diese aufregenden Ergebnisse bauen auf früheren Arbeiten zur Rekonstruktion einfacher Sprache aus der Gehirnaktivität auf“, sagt Shailee Jain, Neurowissenschaftlerin an der University of California in San Francisco, die nicht an der neuen Studie beteiligt war. „Jetzt sind wir in der Lage, wirklich in das Gehirn vorzudringen, um den Kern des Klangs zu entdecken.“

Um in der Studie Gehirnaktivitätsdaten in musikalische Klänge umzuwandeln, trainierten die Forscher ein Modell der künstlichen Intelligenz, um Daten zu entschlüsseln, die von Tausenden von Elektroden erfasst wurden, die an den Teilnehmern angebracht waren, während sie während einer Operation das Lied von Pink Floyd hörten.

Warum hat sich das Team für Pink Floyd entschieden – und speziell für „Another Brick in the Wall, Teil 1“? „Der wissenschaftliche Grund, den wir in der Arbeit erwähnen, ist, dass das Lied sehr vielschichtig ist. Es bringt komplexe Akkorde, verschiedene Instrumente und unterschiedliche Rhythmen mit, die die Analyse interessant machen“, sagt Ludovic Bellier, kognitiver Neurowissenschaftler und Hauptautor der Studie. „Der weniger wissenschaftliche Grund könnte sein, dass wir Pink Floyd einfach wirklich mögen.“

Das KI-Modell analysierte Muster in der Reaktion des Gehirns auf verschiedene Komponenten des akustischen Profils des Liedes und identifizierte Änderungen in Tonhöhe, Rhythmus und Ton. Dann setzte ein anderes KI-Modell diese entwirrte Komposition wieder zusammen, um die Geräusche abzuschätzen, die die Patienten hörten. Sobald die Gehirndaten durch das Modell geleitet wurden, kehrte die Musik zurück. Die Melodie war einigermaßen intakt, und der Text war verstümmelt, aber erkennbar, wenn man wusste, worauf man achten sollte: „Alles in allem war es nur Another Brick in the Wall.“

Das Modell enthüllte auch, welche Teile des Gehirns auf unterschiedliche musikalische Merkmale des Liedes reagierten. Die Forscher fanden heraus, dass einige Teile des Audioverarbeitungszentrums des Gehirns – das sich im oberen Schläfengyrus direkt hinter und über dem Ohr befindet – auf das Einsetzen einer Stimme oder eines Synthesizers reagieren, während andere Bereiche auf anhaltendes Summen reagieren.

Obwohl sich die Ergebnisse auf Musik konzentrierten, erwarten die Forscher, dass ihre Ergebnisse am nützlichsten für die Übersetzung von Gehirnwellen in menschliche Sprache sind. Unabhängig von der Sprache enthält die Sprache melodische Nuancen, einschließlich Tempo, Betonung, Akzente und Intonation. „Diese Elemente, die wir Prosodie nennen, haben eine Bedeutung, die wir nicht allein mit Worten kommunizieren können“, sagt Bellier. Er hofft, dass das Modell Gehirn-Computer-Schnittstellen verbessern wird, also Hilfsmittel, die sprachassoziierte Gehirnwellen aufzeichnen und mithilfe von Algorithmen beabsichtigte Nachrichten rekonstruieren. Diese noch in den Kinderschuhen steckende Technologie könnte Menschen helfen, die aufgrund von Erkrankungen wie Schlaganfall oder Lähmungen die Fähigkeit zum Sprechen verloren haben.

Jain sagt, dass zukünftige Forschungen untersuchen sollten, ob diese Modelle von der Musik, die die Teilnehmer gehört haben, auf die imaginäre innere Sprache ausgeweitet werden können.