دانشمندان موسیقی پینک فلوید را از سیگنالهای مغز شنوندگانش بازسازی کردند
امروزه فناوری میتواند سیگنالهای مغز را رمزگشایی کند، فعالیتهای عصبی را تفسیر کند و هرآنچه را در ذهن انسان میگذرد، به نمایش بگذارد. محققان حتی میتوانند موسیقی مورد علاقهی شما را هم تشخیص بدهند. برای اولین بار، دانشمندان علوم اعصاب اثبات کردهاند که میتوانند فعالیت الکتریکی مغز را رمزگشایی و با استفاده از آن، موسیقی را از طریق مغز شنوندگانش بازسازی کنند.
بهگزارش ساینتیفیک امریکن، دانشمندان در پژوهشی جدید دادههای مغز ۲۹ نفر را که برای حملههای صرع تحت نظارت بودند، با قرار دادن مستقیم آرایههای الکترودی به اندازهی تمبر پستی روی سطح مغز این افراد، تجزیه و تحلیل کردند.
در حالی که افراد شرکت کننده به آهنگ معروف گروه پینک فلوید با عنوان «آجر دیگری در دیوار» گوش میدادند، الکترودها فعالیت الکتریکی چندین ناحیه از مغز را که با عناصر مختلف موسیقی مانند آهنگ صدا، ریتم، هارمونی و شعر هماهنگ بود، ضبط کردند. سپس محققان با استفاده از یادگیری ماشین، صداهایی آشفته اما واضح از چیزی را که شرکت کنندگان شنیده بودند، بازسازی کردند.
دانشمندان علوم اعصاب از دهها سال پیش در تلاش بودهاند تا آنچه را که مردم میبینند، میشنوند یا فکر میکنند، تنها با اتکا به فعالیت مغزشان رمزگشایی کنند. در سال ۲۰۱۲ ، تیمی که شامل رابرت نایت، عصبشناس شناختی از دانشگاه کالیفرنیا و نویسندهی ارشد پژوهش فعلی بود، برای اولین بار صداهای ضبطشده از کلماتی را که شرکتکنندگان پس از نصب الکترودهای کاشتهشده شنیده بودند، با موفقیت بازسازی کرد.
از آن زمان، محققان دیگر از تکنیکهای مشابه برای بازسازی تصاویری که اخیراً مشاهده شده یا تصور شدهاند، مثلاً بازسازی چهرهها یا مناظر از طریق اسکن مغز شرکتکنندگان، استفاده کردهاند. اما مقالهی اخیر که روز سهشنبه توسط نایت و همکارانش در PLOS Biology منتشر شد، اولین مقالهای است که ثابت میکند دانشمندان میتوانند مغز انسان را برای ساخت موسیقی استراق سمع کنند.
دانشمندان میتوانند با هوش مصنوعی مغز انسان را استراق سمع کنند
محققان در این آزمایش برای تبدیل دادههای مربوط به فعالیت مغز به صدای موسیقی، مدلی از هوش مصنوعی را آموزش دادند تا در زمان عمل جراحی، دادههای دریافت شده از هزاران الکترودی را که در حین گوش دادن به آهنگ پینک فلوید به شرکتکنندگان وصل شده بود، رمزگشایی کند.
چرا محققان گروه پینک فلوید و به طور خاص، بخش اول آهنگ «آجر دیگری در دیوار» را انتخاب کردند؟ به نقل از لودویک بلیر، عصبشناس شناختی و نویسندهی اصلی مقاله، دلیل علمی که در مقاله به آن اشاره شده این است که این آهنگ بسیار لایه لایه است و آکوردهای پیچیده، سازهای مختلف و ریتمهای گوناگونش، تجزیه و تحلیل موسیقی را جالب میکند. دلیل کمتر علمی هم ممکن است این باشد که همهی ما واقعاً پینک فلوید را دوست داریم.
مدل هوش مصنوعی الگوهای پاسخ مغز به اجزای مختلف نمایهی صوتی آهنگ را تجزیه و تحلیل کرد و تغییرات ایجاد شده در زیر و بم، ریتم و آهنگ صداها را از یکدیگر جداسازی کرد. سپس، مدل دیگری از هوش مصنوعی قطعات پیچیدهی موسیقی را دوباره جمعآوری کرد تا صداهایی را که شرکتکنندگان میشنیدند، برآورد کند. زمانی که دادههای مغز افراد به نمونهی آزمایشی تبدیل شد، موسیقی دوباره بازگشت. ملودی موسیقی تقریباً دست نخورده بود و ترانه آشفته و درهم بود، اما برای کسی که موسیقی را میشناسد، قابل تشخیص بود. در مجموع، فقط مانند آجر دیگری در دیوار بود.
آزمایش نشان داد که کدام قسمتهای مغز به ویژگیهای مختلف موسیقی پاسخ میدهد
همچنین، نمونهی آزمایشی نشان داد که کدام قسمتهای مغز به ویژگیهای مختلف موسیقی در این آهنگ پاسخ میدهد. محققان دریافتند که برخی از بخشهای مرکز پردازش صوتی مغز (واقع در شکنج فوقانی گیجگاهی مغز، دقیقاً در پشت سر و بالای گوش) به هجوم صدا یا ترکیب صداهای مختلف پاسخ میدهد، در حالی که نواحی دیگر به همهمههای مداوم عادت دارد.
اگرچه یافتههای پژوهش بر موسیقی متمرکز است، محققان انتظار دارند که از نتایج برای ترجمهی امواج مغز به گفتار بیشترین بهره را ببرند. گذشته از زبان، گفتار دارای ظرافتهای آهنگی، لهجه و لحن است. بلیر میگوید: «این عناصر، که ما آن را عروض مینامیم، معنایی دارد که نمیتوانیم تنها به وسیلهی کلمات با آن ارتباط برقرار کنیم».
بلیر امیدوار است که نمونهی آزمایشی باعث بهبود رابطهای مغز و رایانه شود؛ دستگاههای کمکی که امواج مغزی مرتبط با گفتار را ضبط و با استفاده از الگوریتمهای خاص، پیامها را بازسازی میکند. این فناوری که هنوز در مراحل اولیه است، میتواند به افرادی که به دلیل شرایطی مانند سکته یا ضربهی مغزی توانایی صحبت کردن را از دست دادهاند، کمک کند.
فناوری اخیر میتواند به افرادی که توانایی صحبت کردن را از دست دادهاند کمک کند
البته موانع متعددی بر سر راه استفاده از این فناوری است. مثلاً این نمونه به آواهای ضبطشدهی الکتریکی متکی است که مستقیماً از سطح مغز دریافت میشود. با بهبود تکنیکهای ضبط از مغز، ممکن است بتوان دادهها را بدون نیاز به جراحی و ایمپلنت مغزی جمعآوری کرد. شاید درعوض از الکترودهای فوق حساس متصل به پوست سر استفاده شود.
فناوری اخیر را میتوان برای شناسایی حروفی که بیماران در ذهن تصور میکنند نیز به کار برد؛ اما این فرآیند برای شناسایی هر حرف حدود ۲۰ ثانیه زمان میبرد و هیچ شباهتی به گفتار طبیعی ندارد که حدود ۱۲۵ کلمه در دقیقه است. محققان امیدوارند که با جمعآوری و نزدیکتر کردن الکترودها روی سطح مغز، پخش درهم موسیقی را واضحتر و قابل درکتر کنند و سپس امکان مشاهدهی دقیقتر سمفونی الکتریکی مغز را فراهم کنند. نایت میگوید: «امروز ما فقط یک آهنگ را بازسازی کردهایم؛ شاید فردا بتوانیم تمام آلبومهای پینک فلوید را بازسازی کنیم».
نظرات