موفقیت ChatGPT در آزمون مجوز پزشکی ایالات‌متحده

قطعاً می‌دانیم ChatGPT قابلیت‌ها و توانایی‌های بسیار زیادی دارد. پیش‌از این گزارش‌هایی درمورد قبولی این هوش مصنوعی در امتحانات دانشکده‌ی حقوق و دانشگاه بازرگانی منتشر شده است و حالا نتایج مطالعه‌ای جدید نشان می‌دهد چت‌بات محبوب این روزهای اینترنت می‌تواند در آزمون مجوز پزشکی ایالات‌متحده (USMLE) نیز قبول شود؛ البته نمره‌ی این چت‌بات در آزمون مذکور خیلی چشم‌گیر نیست.

محققات استارتاپ Ansible Health که درزمینه‌ی مراقبت‌های بهداشتی فعالیت دارد، نتایج مطالعه‌ی خود را در تاریخ ۹ فوریه (۲۰ بهمن ۱۴۰۱) در نشریه‌ی POLS Digital Health منتشر کردند. این تیم تحقیقاتی متوجه شد ChatGPT می‌تواند با کسب امتیاز حدود ۶۰ درصدی در آزمون صدور مجوز پزشکی ایالات‌متحده، حداقل نمره‌ی قبولی را به‌دست آورد.

BGR می‌نویسد، USMLE یک امتحان سه‌مرحله‌ای است که پزشکان برای دریافت مجوز فعالیت‌های پزشکی در ایالات‌متحده باید در آن نمره‌ی قبولی به‌دست آورند. این آزمون علاوه‌بر آزمایش مهارت‌ها و دانش پزشکان، ارزش‌ها و نگرش‌های آن‌ها را نیز مورد ارزیابی قرار می‌دهد.

محققان پس‌از حذف سؤالات تصویری، ۳۵۰ سؤال از ۳۷۶ پرسش USMLE را به ChatGPT ارائه دادند. این هوش مصنوعی در سه امتحان خود امتیازی بین ۵۲٫۴ تا ۷۵ درصد را به‌دست آورد. به‌عبارت دیگر میانگین نمره‌ی این چت‌بات در آزمون مذکور حدود ۶۰ درصد بوده است. ChatGPT همچنین از PubMedGPT پیشی گرفت؛ مدلی که به‌طور خاص براساس داده‌های زیست پزشکی آموزش داده شده است و در آزمون مجوز پزشکی ایالات‌متحده، امتیاز ۵۰٫۸ درصد را کسب کرد.

محققان می‌گویند:

دستیابی به نمره‌ی قبولی برای آزمون مجوز پزشکی ایالات‌متحده که امتحانی تخصصی و دشوار است، آن‌هم بدون هیچ‌گونه کمک انسانی، نقطه‌ی عطف بسیار مهمی در بلوغ هوش مصنوعی بالینی محسوب می‌شود.

- تیم تحقیقاتی Ansible Health

فدراسیون هیئت‌های پزشکی ایالتی و هیئت ملی معاینه‌کنندگان پزشکی که هردو از حامیان USMLE هستند پس‌از انتشار نتایج عملکرد ChatGPT در آزمون مذکور بیانیه‌ای را به‌طور اشتراکی منتشر کردند. آن‌ها می‌گویند در این مطالعات از نمونه سؤالات امتحانی واقعی YSMLE به‌همراه سؤالات تمرینی استفاده شده و بنابراین دستاورد ChatGPT در این زمینه با ارفاق‌هایی همراه بوده است.

مهم است توجه داشته باشید سؤالات تمرینی که ChatGPT به آن‌ها پاسخ داده است، نمایان‌گر عمق کلی و وسعت محتوای آزمون USMLE در دنیای واقعی و با شرکت‌کنندگان انسانی نیست. برخی سؤالات خاص در این مطالعه استفاده نشده است که ازجمله می‌توان به پرسش‌های تصویری، صداهای قلب و شبیه‌سازی‌های مهارت بالینی مبتنی‌بر رایانه اشاره کرد. این یعنی آزمون گرفته شده از ChatGPT به‌طور کامل با آزمون واقعی آن مطابقت نداشته است.

- فدراسیون هیئت‌های پزشکی ایالتی و هیئت ملی معاینه‌کنندگان پزشکی

این گروه‌ها در بخش دیگری از بیانیه‌ی خود توضیح دادند:

اگرچه شواهد کافی برای حمایت از ادعاهای کنونی مبنی‌بر اینکه هوش مصنوعی می‌تواند در آزمون USMLE قبول شود دردسترس نیست، اما تعجب نخواهیم کرد که ببینیم به‌مرور زمان عملکرد مدل‌های هوش مصنوعی به‌میزان درخورتوجهی ارتقا پیدا کند. اگر این ابزارها به‌درستی مورد استفاده قرار گیرند، تأثیر بسیار مثبتی بر نحوه‌ی ساخت ارزیابی‌ها و نحوه‌ی یادگیری دانش‌آموزان و دانشجویان خواهند داشت.