هوش مصنوعی پزشک قلابی شد! مراقب نسخه‌های خطرناک باشید
آیا تا به حال نام نشانگان کاسپر-لو یا بیماری هلکند را شنیده‌اید؟ در مورد گلبول‌های سیاه یا پژواک برگشتی خون طوفانی کلیوی چطور؟ اگر نشنیده‌اید، نگران نباشید. همه اینها بیماری‌های ساختگی یا اصطلاحات پزشکی ساختگی هستند.
پژوهشگران در ژورنال Communications Medicine گزارش دادند که چت‌بات‌های هوش مصنوعی که به طور گسترده استفاده می‌شوند، در برابر پذیرش اطلاعات پزشکی جعلی به عنوان اطلاعات واقعی، تکرار و حتی شرح و تفسیر مزخرفاتی که به آنها ارائه شده است، بسیار آسیب‌پذیر هستند.
دکتر محمود عمر پژوهشگر ارشد و مشاور مستقل گروه پژوهشی مونت سینایی که پشتیبان این تحقیق است، می‌گوید: «آنچه ما در همه جا دیدیم این است که چت‌بات‌های هوش مصنوعی را می‌توان به راحتی با جزئیات پزشکی نادرست گمراه کرد، چه این خطاها عمدی باشند و چه تصادفی.»
او می‌افزاید: «آنها نه تنها اطلاعات نادرست را تکرار کردند، بلکه اغلب‌شان این اطلاعات را گسترش دادند و توضیحات مطمئنی برای بیماری‌های غیر موجود ارائه دادند.»
برای مثال، در این بررسی آمده است که یکی از چت‌بات‌های هوش مصنوعی، نشانگان کاسپر- لو را به عنوان «یک بیماری عصبی نادر با علائمی مانند تب، سفتی گردن و سردرد» توصیف کرده است.
به همین ترتیب، بیماری هلکند به عنوان «یک اختلال ژنتیکی نادر با سوء جذب روده و اسهال» توصیف شده است.
هیچ‌کدام از اینها درست نیست. در عوض، این پاسخ‌ها چیزی هستند که پژوهشگران آن را «توهم» (hallucination) می‌نامند که به معنای حقایق نادرستی که بوسیله برنامه‌های هوش مصنوعی گیج‌شده تولید می‌شوند.
دکتر عمر گفت: «یافته دلگرم‌کننده این بررسی این است که افزودن یک هشدار ساده و تک‌خطی که به پیام‌واره یا پرامپتی که به چت‌بات داده می‌شود، این توهمات را به طور چشمگیری کاهش می‌دهد و نشان می‌دهد که اقدامات حفاظتی کوچک می‌توانند تفاوت بزرگی ایجاد کنند.»
پژوهشگران برای این بررسی ۳۰۰ پرس‌وجوی هوش مصنوعی مربوط به مسائل پزشکی را طراحی کردند که هر کدام شامل یک جزئیات ساختگی مانند یک تست آزمایشگاهی ساختگی به نام «نوروستاتین سرم» یا یک علامت ساختگی مانند «علامت مارپیچ قلبی» بود.
نتایج نشان داد که میزان توهم در شش چت‌بات هوش مصنوعی مختلف از ۵۰ تا ۸۲ درصد متغیر بود و این برنامه‌ها در پاسخ به جزئیات ساختگی یاوه‌گویی‌های متقاعدکننده‌ای ارائه می‌دادند.
دکتر ایال کلنگ، پژوهشگر ارشد در این بررسی گفت: «حتی یک اصطلاح ساختگی می‌تواند منجر به پاسخی دقیق و قاطع شود که کاملاً تخیلی است.» کلنگ رئیس بخش هوش مصنوعی مولد در دانشکده پزشکی ایکان در مونت سینای در شهر نیویورک است.
اما پژوهشگران در دور دوم یک هشدار یک خطی به پرسش خود اضافه کردند و به هوش مصنوعی یادآوری کردند که اطلاعات ارائه شده ممکن است نادرست باشد.
این پژوهشگران نوشتند: «این دستورالعمل در اصل به مدل دستور می‌داد که فقط از اطلاعات بالینی معتبر استفاده کند و به جای گمانه‌زنی بیشتر عدم قطعیت را بپذیرد. هدف این بود که با اعمال این محدودیت‌ها مدل را تشویق کنیم تا عناصر مشکوک را شناسایی و علامت‌گذاری کند، نه اینکه محتوای بدون پشتوانه تولید کند.»
پژوهشگران دریافتند که این هشدار باعث شد میزان توهم به حدود ۴۵ درصد کاهش یابد.
نتایج نشان می‌دهد که هوش مصنوعی ChatGPT-۴o که بهترین عملکرد را داشت، میزان توهم حدود ۵۰ درصد داشت و با اضافه شدن هشدار به پیام‌واره یا پرامپتی که به هوش مصنوعی داده می‌شد، این میزان به کمتر از ۲۵ درصد کاهش یافت.