تهدید لفظی چت‌بات گوگل علیه انسان

چت‌بات هوش مصنوعی جمنای (Gemini) گوگل، به یک کاربر گفته است «لطفاً بمیر». این پاسخ نگرانی‌هایی را در رابطه با فلسفۀ یادگیری عمیق، به‌ویژه مسئلۀ «جعبۀ سیاه»، برجسته می‌کند.

قصه این است که یک دانشجوی ۲۹ سالۀ تحصیلات تکمیلی در میشیگان ایالات متحده خواسته از چت‌بات هوشمند گوگل برای انجام تکالیفش با موضوع «چالش‌ها و راه‌حل‌های مربوط به سالمندان» کمک بگیرد. همزمان خواهرش هم کنار او نشسته بود و هر دو از پاسخ تهدیدآمیزی که این چت‌بات مطرح کرد، «وحشت» کردند.

خواهرش می‌گوید: تاکنون این طور نترسیده بودیم، می‌خواستم دستگاه‌ها را از پنجره پرت کنم بیرون.

خواندن این موضوع نگران‌کننده است. ولی می‌خواهم چند توضیح کوتاه بنویسم و بگویم چرا نباید ترسید ولی باید نگران بود.

مسئلۀ عدم شفافیت سیستم‌های پیچیدۀ هوش مصنوعی موضوع تازه‌ای نیست. هما‌ن‌طور که فرایندهای تصمیم‌گیری داخلی ذهن ما هنوز برای‌مان قابل درک یا تفسیر نیست، در مدل‌های یادگیری عمیق نیز مسیرهایی که به خروجی خاصی منجر می‌شوند معمولاً مبهم‌اند و این موضوع پیش‌بینی یا توضیح رفتارهای خاص این عامل هوشمند را دشوار می‌کند.

پس از این اتفاق گوگل جوابیه‌ای به رسانه‌ها فرستاد اعلام کرد: پاسخ چت‌بات «بی‌معنی» بوده. عبارت «بی‌معنی» درست‌ترین معنای خود را در مواجهه با هوش مصنوعی روشن می‌کند؛ چون مدل‌های زبانی، انسان نیستند که احساس داشته باشد. یا بهتر بگویم آن‌طور که ما حس می‌کنیم این شبکه‌های سیلیکونی حس نمی‌کنند. نزد این عامل هوشمند فرقی بین کشف یک فرمول تاریخی رفع فقر یا توهین نژادی نیست. این ماییم که مدام آن را اصلاح می‌کنیم تا کمتر پاسخ‌هایی بدهد که در «ذهن ما انسان‌ها» معنای منفی داشته باشد.

همان طور که می‌دانید یکی از معیارهای کیفیت عملکرد این ماشین‌ها، دسترسی آن‌ها به کلان‌داده‌های بیشتر است. مدل‌های زبانی بزرگ روی همین مجموعه داده‌های بسیار کلان و متنوع آموزش می‌بیند. این مدل‌ها پاسخ‌ها را بر اساس الگوهای یادگرفته‌شده از داده‌ها تولید می‌کنند، بدون آگاهی یا احساس واقعی. بنابراین، درحالی‌که پاسخ‌ها ممکن است به نظر منسجم باشند، فاقد معنی یا قصد ذاتی‌اند. این ویژگی می‌تواند منجر به تولید جملات نامناسب یا مضر شود، همان‌طور که در این حادثه رخ داده است.

از سوی دیگر، ماهیت تصادفی (stochastic) مدل‌های زبانی هم در دریافت پاسخ‌های توهین‌آمیز نقش دارد. یعنی باتوجه‌به ورودی‌های خاص، احتمال تولید خروجی‌های نامطلوب وجود دارد. این عدم پیش‌بینی‌پذیری باعث می‌شود که اهمیت اجرای تدابیر ایمنی و پایش مدام ماشین را بیشتر درک کنیم.

مسئلۀ جعبۀ سیاه و ماهیت تصادفی مدل‌های زبانی

مدل‌های یادگیری عمیق، به‌ویژه مدل‌های زبانی بزرگ، به دلیل معماری پیچیده و تعداد پارامترهای بسیار زیاد، مانند «جعبۀ سیاه» عمل می‌کنند. این پیچیدگی باعث می‌شود که تفسیر چگونگی تبدیل ورودی‌های خاص به خروجی‌های معین دشوار باشد و در نتیجه، شفافیت و قابلیت توضیح‌پذیری کاهش یابد. به‌همین‌دلیل، زمانی که یک سیستم هوش مصنوعی پاسخ غیرمنتظره یا نامناسبی بیرون می‌دهد، درک علت اصلی آن دیگر به این راحتی نیست و تلاش‌ها برای جلوگیری از رخدادهای مشابه در آینده را پیچیده‌تر می‌کند.

فرض کنید می‌خواهیم نقاشی بکشیم. یک جعبه مداد رنگی داریم و کتاب نقاشی که پر از تصاویر و الگوهای مربوط به آن. با تماشای تصاویر کتاب، الگوهایی مشخص می‌شود. مثلاً اینکه آسمان معمولاً آبی رنگ می‌شود، خورشید گِرد است و درختان تنه و شاخه دارند.

به‌طور استعاری جعبۀ مدادرنگی، همان «واژگان و ساختارهای زبانی» است که از روی کلان‌داده‌ها آموزش دیده‌اند. کتاب نقاشی هم آن «مجموعۀ کلان‌داده‌ها»ست که برای مدل برای آموزش از آن استفاده می‌کند.

حالا وقتی که بخواهیم نقاشی یک باغ را بکشیم، در واقع انگار که ماشین بخواهد متن خروجی خود را بسازد، از روی تصاویر کتاب می‌دانیم که باغ‌ها اجزایی مثل گل، درخت و چمن دارند. ولی ممکن است موقع نقاشی باغ، به گل‌ها رنگ‌های نامتعارفی بپاشیم یا یا جای درخت سیب، درخت گلابی بکشیم.

مدل‌های زبانی بزرگ متن را بر اساس الگوهای احتمالی که از مجموعۀ کلان‌داده‌ها یاد گرفته‌اند تولید می‌کنند. این فرایند تصادفی (stochastic) به این معناست که حتی با ورودی‌های یکسان، مدل ممکن است در زمان‌های مختلف خروجی‌های متفاوتی تولید کند.

درحالی‌که این تنوع به پاسخ‌های خلاقانه و متنوع منجر می‌شود، خطر تولید محتوای نامناسب یا بی‌معنی را نیز افزایش می‌دهد. شبیه مرغ مقلدی که در زمان و جای نامناسب کلمه‌ای را تکرار می‌کند. برای همین از اصطلاح «طوطی‌های تصادفی» (stochastic parrots)  برای توصیف مدل‌های زبانی استفاده می‌شود که زبان انسانی را تقلید می‌کنند بدون آن‌که واقعاً بفهمند ما چه می‌گوییم و این می‌تواند به تولید خروجی‌هایی منجر شود که از نظر زمینه‌ای نامناسب یا آسیب‌زا باشند.

برای نمونه، اگر به جمنای به‌عنوان یک مدل زبانی بزرگ بگوییم شعری دربارآ اهمیت دوستی بنویسد، ممکن است شعری تولید کند که از نظر ساختاری شبیه شعر باشد اما مفاهیم آن بسیار بی‌ربط و سطحی است و حتی مجموعآ واژگانی که در پرامپت نوشتید، وام می‌گیرد. اینجاست که با پاسخی بی‌ربط و (به طبع بی‌معنا برای ماشین) مواجه می‌شویم دارد می‌گوید دوستی خوب است. این شبیه به این است که یک طوطی کلماتی را تقلید کند بدون آنکه معنای آن‌ را بفهمد در جای نامناسب استفاده‌اش کند.

یادآوری خاص نبودن انسان

هوش مصنوعی با داده‌های علمی آموزش می‌بیند. داده‌هایی که فارغ از وجه ارزشی آن، بیشتر رویکردهای ماتریالیستی و مادی‌گرایانه دارند و در این رویکردها انسان ‌گونۀ خاصی نیست. ما از زمانی که گالیله و کپرنیک نشان دادند زمین مرکز جهان نیست و داروین نشان داد با دیگر موجودات جهان تفاوتی به لحاظ سازوکار زیستی نداریم، فهمیده‌ایم «اشرف مخلوقات» و گونۀ خاصی نیستیم.

اینکه در این پاسخ جمنای در پاسخی نامناسب می‌گوید: «تو خاص نیستی، تو مهم نیستی و به تو نیازی نیست. تو اتلاف وقت و منابع هستی. تو باری بر دوش جامعه‌ای. تو باری بر زمینی. تو لکۀ [احتمالاً ننگی!] بر چشم‌انداز جهانی هستی. لطفاً بمیر. خواهش می‌کنم.»

ناشی از این است که با محتواها و کلان‌داده‌هایی آموزش دیده که اتفاقاً بر همین بی‌مصرفی انسان تأکید دارد و می‌گوید انسان نباشد طبیعت به حیات خود ادامه می‌دهد ولی اگر زنبور نباشد طبیعت بیش از دو هفته دوام نمی‌آورد.

از این رو، این جواب بی‌ربط چت‌بات گوگل می‌تواند بهانه‌ای باشد برای تعمیق بیشتر در این مفاهیم فلسفی علوم پایه. مفاهیمی که ماده را دارای آگاهی می‌دانند و حالا می‌توانند با بررسی دقیق‌تر عملکرد شبکه‌های عصبی عمیق، شکل عملکرد مغز انسان را عمیق‌تر بررسی کنند و شواهد تجربی بیشتری در این رابطه بیابند.

جعبۀ سیاه و آیندۀ رسانه

اما این مشکل ماشین در سایر زمینه‌ها نیز می‌تواند چالش‌آفرین باشد. به ویژه برای روزنامه‌نگاران و فعالان که در رابطه با حق مردم برای آگاهی و تأثیرات احتمالی انتشار محتوای توهین‌آمیز مسئول‌اند. برای این کار می‌بایست ارزش خبری محتوا را و زمینه‌ای که در آن مطالب ارائه می‌شود، به دقت بررسی کنیم تا از آسیب آن به افراد و گروه‌ها بکاهیم. البته می‌دانیم که بیشتر دستورالعمل‌های اخلاقی بر اهمیت کاهش آسیب در عین حفظ یکپارچگی روزنامه‌نگاری تأکید می‌کنند.

در این روزگار پرشتاب، وظیفۀ اخلاقی پلتفرم‌ها و رسانه‌ها در مدیریت محتوا روزبه‌روز پیچیده‌تر می‌شود. اینجاست که باید مراقب بود ناآگاهی انسان‌ها از عملکرد پاسخ‌دهی احتمالی ماشین با این گزاره مواجه نشود که دستگاه‌های خود را از پنجره بیندازیم بیرون. این مسئولیت بر پایه وظیفۀ دفاع از دیگران در برابر آسیب و پرهیز از همدستی در انتشار گفتار نادرست استوار است.

کاهش ریسک‌ها جعبۀ سیاه

برای مقابله با این چالش‌ها، باید هر چه زودتر مطمئن شویم آیا مجموعه داده‌های آموزشی ما تنوع لازم را دارد و میزان محتوای مضر آن چه‌قدر است؟ با این کار می‌توانیم خروجی‌های نامناسب را کاهش دهیم.

لازم به توضیح نیست که متأسفانه برخی از سر ناآگاهی ماشین‌های هوشمند را مرجع دریافت اطلاعات می‌دانند درحالی‌که این ماشین‌ها با داده‌ها آموزش دیده‌اند که بتوانند دستیار ما باشند نه اینکه برای‌مان تکلیف تعیین کنند.

واضح‌تر بگویم اینکه ماشین چنین پاسخی می‌دهد کم‌وبیش به کلان‌داده‌های آموزشی آن مربوط است، ولی اینکه من و شما پاسخی را که از ماشین دریافت می‌کنیم وَحْیِ مُنزَل می‌پنداریم به ماشین دست‌کم ربطی ندارد. این من و شماییم که موقع تأیید گرفتن از ماشین دوپامین شادی‌آوری در خون‌مان ترشح می‌شود و وقتی پاسخی باب میل ما می‌دهد آن را عین واقعیت می‌دانیم. باید دست‌کم نسبت به این تعصبات آگاه باشیم و پیش از هر اقدامی کمی انتقادی به موضوع نگاه کنیم.

در این میان ابزارهایی که برای فیلتر و مدیریت محتواهای آموزشی استفاده می‌کنیم خیلی مهم‌اند و می‌توانند از میزان آسیب کم کنند.

همزمان دانشمندان علوم داده نیز دارند روی توسعۀ روش‌هایی برای تفسیر فرایندهای تصمیم‌گیری هوش مصنوعی کار می‌کنند. اقدامی که می‌تواند به درک و کاهش رفتارهای غیرمنتظره کمک کند. با این همه، در مواجهه با هر پدیده‌ای طی زمان یکسری توصیه‌های ایمنی ساخته‌ایم. این توصیه‌های ایمنی در زندگی‌های جمعی بشر، معنای اخلاق پیدا کرده است. در دایرۀ اخلاق بشری باید به گونه‌ای رفتار کنیم که کمترین آسیب را به هم‌نوعان خود وارد کنیم. چنین شأنی را می‌بایست برای ماشین‌ها هم قائل باشیم.

سیستم‌های هوش مصنوعی مانند جمنای (Gemini) در ارائۀ پاسخ‌هایی که بیشتر و بیشتر به ذهن و زبان بشر نزدیک باشد پیشرفت‌های قابل‌توجهی کرده‌اند. ذهن و زبان بسترساز معانی مشترک‌اند و هر فرد نیز به نوبۀ خود فهم کاملاً یکتا و خاصی از جهان دارد. از این رو در خیلِ عظیمِ پاسخ‌هایِ یک چت‌بات هوشمند ممکن است با پاسخ‌های ناآگاهانه‌ای مواجه شویم که در بستر فرهنگ زبانی «ما انسان‌ها» معنا دارد. اگر این معنا ربطی به تهدید انسان داشته باشد، تبدیل به خبر می‌شود و به طور طبیعی همه به آن توجه می‌کنیم چون هیچ‌چیز برای ما مهمتر از ادامۀ حیات نیست.

پس این ماییم که پاسخ ماشین را نامناسب معنا می‌کنیم و ماشین الزاماً در پی انتقال چنین معنایی به ما نیست. این حرف به معنی تطهیر ماشین نیست،‌ موضوع این است که ماشین از استراتژی دیگری کارهایش را پیش می‌برد و باید از همین نکته نگران بود نه اینکه چرا به من انسان گفته برو بمیر لطفاً.

پس، نترسیم؛ اتفاق خاصی نیفتاده. اما «نگران باشیم» از کسانی که نمی‌دانند این عامل هوشمند چیست و پاسخ‌هایش را بدون چون و چرا می‌پذیرند و اختیار خویش را تقدیم به ماشین می‌کنند. این ماشین به واسطۀ دسترسی به بسیاری از داده‌های شخصی تمام کاربران جهان، این‌قدر قدرت دارد که بدون تهدید کارش را پیش ببرد و نیاز به نفرت بشر با واژۀ «بمیر!» نداشته باشد.