«Another Brick in the Wall», ή ακόμα ένα «τούβλο» στην ικανότητα αποκατάστασης της ομιλίας

Οι ερευνητές ελπίζουν ότι τα εγκεφαλικά εμφυτεύματα θα βοηθήσουν μια μέρα τους ανθρώπους που έχουν χάσει την ικανότητα να μιλούν να αποκτήσουν ξανά τη φωνή τους - και ίσως ακόμη και να τραγουδούν. Τώρα, για πρώτη φορά, οι επιστήμονες απέδειξαν ότι η ηλεκτρική δραστηριότητα του εγκεφάλου μπορεί να αποκωδικοποιηθεί και να χρησιμοποιηθεί για την ανακατασκευή της μουσικής.

Μια νέα μελέτη ανέλυσε δεδομένα από 29 άτομα που παρακολουθούνταν ήδη για επιληπτικές κρίσεις χρησιμοποιώντας συστοιχίες ηλεκτροδίων σε μέγεθος γραμματοσήμου που τοποθετήθηκαν απευθείας στην επιφάνεια του εγκεφάλου τους. 

Καθώς οι συμμετέχοντες άκουγαν το τραγούδι «Another Brick in the Wall, Part 1» των Pink Floyd του 1979, τα ηλεκτρόδια κατέγραψαν την ηλεκτρική δραστηριότητα διαφόρων περιοχών του εγκεφάλου που συντονίζονται με μουσικά στοιχεία όπως ο τόνος, ο ρυθμός, η αρμονία και οι στίχοι. 

Χρησιμοποιώντας μηχανική μάθηση, οι ερευνητές ανακατασκεύασαν αλλοιωμένο, αλλά διακριτό ήχο αυτού που άκουγαν οι συμμετέχοντες. Τα αποτελέσματα της μελέτης δημοσιεύθηκαν την Τρίτη στην επιθεώρηση PLOS Biology.

Μελέτες δεκαετιών

Οι νευροεπιστήμονες εργάζονται εδώ και δεκαετίες για να αποκωδικοποιήσουν τι βλέπουν, τι ακούν ή τι σκέφτονται οι άνθρωποι μόνο από την εγκεφαλική δραστηριότητα. Το 2012 μια ομάδα στην οποία συμμετείχε ο επικεφαλής συγγραφέας της νέας μελέτης - ο γνωστικός νευροεπιστήμονας Robert Knight του Πανεπιστημίου της Καλιφόρνιας στο Μπέρκλεϊ - έγινε η πρώτη που κατάφερε να ανακατασκευάσει με επιτυχία ηχογραφήσεις λέξεων που άκουγαν οι συμμετέχοντες ενώ φορούσαν εμφυτευμένα ηλεκτρόδια. 

Άλλοι έχουν έκτοτε χρησιμοποιήσει παρόμοιες τεχνικές για την αναπαραγωγή εικόνων που είδαν ή φαντάστηκαν πρόσφατα από τις εγκεφαλικές σαρώσεις των συμμετεχόντων, συμπεριλαμβανομένων ανθρώπινων προσώπων και φωτογραφιών τοπίων. 

Όμως η πρόσφατη δημοσίευση του Knight και των συνεργατών του στο PLOS Biology είναι η πρώτη που προτείνει ότι οι επιστήμονες μπορούν να κρυφακούσουν τον εγκέφαλο για να συνθέσουν μουσική.

Η επιλογή του τραγουδιού

Για να μετατρέψουν τα δεδομένα της εγκεφαλικής δραστηριότητας σε μουσικό ήχο στη μελέτη, οι ερευνητές εκπαίδευσαν ένα μοντέλο τεχνητής νοημοσύνης για να αποκρυπτογραφήσουν τα δεδομένα που καταγράφηκαν από χιλιάδες ηλεκτρόδια που ήταν προσαρτημένα στους συμμετέχοντες, καθώς αυτοί άκουγαν το τραγούδι των Pink Floyd ενώ υποβάλλονταν σε χειρουργική επέμβαση.

Γιατί η ομάδα επέλεξε τους Pink Floyd -και συγκεκριμένα το «Another Brick in the Wall, Part 1»; «Ο επιστημονικός λόγος, τον οποίο αναφέρουμε στην εργασία, είναι ότι το τραγούδι είναι πολύ πολυεπίπεδο. Φέρνει πολύπλοκες συγχορδίες, διαφορετικά όργανα και ποικίλους ρυθμούς που το καθιστούν ενδιαφέρον για ανάλυση», λέει ο Ludovic Bellier, γνωστικός νευροεπιστήμονας και επικεφαλής συγγραφέας της μελέτης. «Ο λιγότερο επιστημονικός λόγος μπορεί να είναι ότι απλά μας αρέσουν πολύ οι Pink Floyd».

Το μοντέλο τεχνητής νοημοσύνης ανέλυσε τα μοτίβα στην απόκριση του εγκεφάλου σε διάφορα συστατικά του ακουστικού προφίλ του τραγουδιού, ξεχωρίζοντας τις αλλαγές στο ύψος, το ρυθμό και τον τόνο. 

Στη συνέχεια, ένα άλλο μοντέλο τεχνητής νοημοσύνης συναρμολόγησε εκ νέου αυτή την αποδιαρθρωμένη σύνθεση για να εκτιμήσει τους ήχους που άκουσαν οι ασθενείς. Μόλις τα δεδομένα του εγκεφάλου τροφοδοτήθηκαν μέσω του μοντέλου, η μουσική επέστρεψε. Η μελωδία της ήταν περίπου άθικτη και οι στίχοι της ήταν αλλοιωμένοι αλλά διακριτοί αν κάποιος ήξερε τι να ακούσει: «Συνολικά, ήταν απλώς ένα τούβλο στον τοίχο».

Το μοντέλο αποκάλυψε επίσης ποια μέρη του εγκεφάλου ανταποκρίνονταν στα διάφορα μουσικά χαρακτηριστικά του τραγουδιού. Οι ερευνητές διαπίστωσαν ότι ορισμένα τμήματα του κέντρου επεξεργασίας ήχου του εγκεφάλου -που βρίσκεται στην ανώτερη κροταφική έλικα, ακριβώς πίσω και πάνω από το αυτί- ανταποκρίνονται στην έναρξη μιας φωνής ή ενός συνθεσάιζερ, ενώ άλλες περιοχές αυλακώνονται σε παρατεταμένα βουητά.

Μετάφραση εγκεφαλικών κυμάτων

Αν και τα ευρήματα επικεντρώθηκαν στη μουσική, οι ερευνητές αναμένουν ότι τα αποτελέσματά τους θα είναι πιο χρήσιμα για τη μετάφραση των εγκεφαλικών κυμάτων σε ανθρώπινη ομιλία. Ανεξάρτητα από τη γλώσσα, η ομιλία περιέχει μελωδικές αποχρώσεις, όπως ρυθμό, έμφαση, τόνους και τονισμό. 

«Αυτά τα στοιχεία, τα οποία ονομάζουμε προσωδία, μεταφέρουν νόημα που δεν μπορούμε να επικοινωνήσουμε μόνο με λέξεις», λέει ο Bellier. 

Ελπίζει ότι το μοντέλο θα βελτιώσει τις διεπαφές εγκεφάλου-υπολογιστή, βοηθητικές συσκευές που καταγράφουν τα εγκεφαλικά κύματα που σχετίζονται με την ομιλία και χρησιμοποιούν αλγόριθμους για την ανακατασκευή των προβλεπόμενων μηνυμάτων. 

Αυτή η τεχνολογία, που βρίσκεται ακόμη στα σπάργανα, θα μπορούσε να βοηθήσει ανθρώπους που έχουν χάσει την ικανότητα να μιλούν εξαιτίας καταστάσεων όπως ένα εγκεφαλικό επεισόδιο ή μία παράλυση.

Οι ερευνητές ελπίζουν να κάνουν την παραμορφωμένη αναπαραγωγή πιο ευκρινή και πιο κατανοητή, τοποθετώντας τα ηλεκτρόδια πιο κοντά μεταξύ τους στην επιφάνεια του εγκεφάλου, επιτρέποντας μια ακόμη πιο λεπτομερή ματιά στην ηλεκτρική συμφωνία που παράγει ο εγκέφαλος. 

Πηγή: Scientific American