Thiết bị cấy ghép não đầu tiên giúp người khuyết tật nói chuyện một cách biểu cảm

Thiết bị này chuyển đổi suy nghĩ thành giọng nói biểu cảm theo thời gian thực.

Hình minh họa.

Đây cũng là giao diện não-máy tính (BCI) đầu tiên không chỉ tái tạo các từ mà người dùng muốn nói, mà còn mô phỏng được các đặc điểm tự nhiên của lời nói như ngữ điệu, cao độ và trọng âm - những yếu tố truyền tải ý nghĩa và cảm xúc.

Trong nghiên cứu, giọng nói nhân tạo mô phỏng giọng nói thật của người tham gia - một người đàn ông 45 tuổi - đã phát ra các từ ông muốn nói chỉ trong vòng 10 mili-giây sau khi hoạt động thần kinh báo hiệu ý định nói của ông. Hệ thống này là một bước tiến lớn so với các mô hình BCI trước đây, vốn cần tới ba giây để phát ra lời nói hoặc chỉ hoạt động sau khi người dùng nhép xong cả câu.

Người tham gia nghiên cứu đã mất khả năng nói rõ ràng (nhưng vẫn có thể mấp máy môi và phát ra âm thanh), sau khi mắc bệnh xơ cứng teo cơ một bên (ALS), căn bệnh gây tổn thương các dây thần kinh điều khiển cơ bắp, bao gồm cả các cơ cần thiết để phát âm.

Năm năm sau khi xuất hiện triệu chứng, ông được phẫu thuật cấy 256 điện cực silicon, mỗi chiếc dài 1,5 mm, vào vùng não điều khiển vận động. Maitreyee Wairagkar - nhà khoa học thần kinh tại Đại học California, TP Davis, đồng tác giả của nghiên cứu, và các cộng sự đã huấn luyện thuật toán học sâu thu nhận tín hiệu não mỗi 10 mili-giây. Hệ thống của họ nhận diện âm thanh tổng thể mà người đó đang cố gắng phát ra, hơn là đoán toàn bộ từ người đó định nói hoặc phân tích từng âm vị cấu thành các từ.

Nhóm nghiên cứu cũng cá nhân hóa giọng nói nhân tạo để giống với giọng thật của người tham gia, bằng cách huấn luyện AI dựa trên các bản ghi âm phỏng vấn của ông trước khi phát bệnh.

Người tham gia được yêu cầu cố gắng phát ra các từ cảm thán như ‘aah’, ‘ooh’ và ‘hmm’, cũng như các từ tự bịa (không cần có nghĩa). Và hệ thống BCI của nhóm nghiên cứu đã phát ra được các âm thanh tương ứng với nỗ lực nói của người tham gia, cho thấy nó có thể tạo lời nói mà không bị giới hạn bởi một từ vựng cố định trong dữ liệu huấn luyện.

Người tham gia chia sẻ với nhóm nghiên cứu rằng việc nghe giọng nói nhân tạo phát ra lời mình định nói khiến ông “cảm thấy hạnh phúc” và giống như đang được nghe “giọng thật của chính mình”.

Trong các thử nghiệm khác, hệ thống BCI này xác định được liệu người tham gia đang cố gắng nói một câu dưới dạng câu hỏi hay câu kể. Hệ thống cũng có thể nhận biết khi nào ông nhấn mạnh các từ khác nhau trong cùng một câu để điều chỉnh ngữ điệu của giọng nói nhân tạo cho phù hợp. Trước đây, các BCI chỉ có thể tạo ra lời nói đều đều, đơn điệu.

Theo Silvia Marchesotti - kỹ sư thần kinh tại Đại học Geneva (Thụy Sĩ), những tính năng này của hệ thống “sẽ rất quan trọng nếu muốn ứng dụng cho việc sử dụng hằng ngày của bệnh nhân trong tương lai.”

Thiết bị của nhóm Maitreyee Wairagkar đã được giới thiệu trên tạp chí Nature.

Khoahocphattrien