دستور مرگ با الگوریتم: دوران ربات‌های قاتل بیش از همیشه به ما نزدیک است

تصور کنید ارتشی بزرگ قصد دارد شهری را در جریان نبرد جنگی تصرف کند. فرماندهان نمی‌خواهند نیروهای نظامی در نبردهای خانه‌به‌خانه درگیر شوند و تلفات زیادی داشته باشند. آن‌ها ابتدا گروهی از پهپادهای کوچک را با دستور‌العملی ساده به منطقه می‌فرستند: هر فردی که سلاح حمل می‌کند را بکشید. چند ساعت بعد، شهر برای نفوذ نیروهای انسانی امن خواهد بود.

سناریوی بالا شبیه به صحنه‌ای از یک فیلم علمی تخیلی به‌نظر می‌رسد. شاید باور نکنید که فناوری مورد نیاز برای پیوند دادن داستان بالا به حقیقت، هم‌اکنون در دستان انسان‌ها قرار دارد. ارتش‌های متعددی در سرتاسر جهان تلاش می‌کنند تا این داستان را به واقعیت پیوند دهند.

سلاح‌هایی که در بالا به آن‌ها اشاره کردیم، به‌عنوان «سلاح‌های مرگ‌بار خودکار» در اسناد نظامی مطرح می‌شوند. درواقع همان نام «ربات قاتل» را می‌توان برای چنین فناوری استفاده کرد. سلاح‌های مذکور برخلاف تصور مردم عادی به‌صورت ربات‌های انسان‌نما نخواهند بود و عموماً، پهپاد هستند. درواقع ساختن ربات‌های انسان‌نمای مبارز هنوز مراحل دشواری در پیش دارد. به‌هرحال ساختن پهپادهای مرگ‌بار آسان‌تر از روندهای کنونی خواهد بود و قطعاً محصولاتی ارزان‌تر هم تولید می‌شوند.

اکنون و با توسعه‌ی فناوری رباتیک، محققان حوزه‌ی هوش مصنوعی و سیاست‌های عمومی تلاش می‌کنند تا جامعه و دولت‌مردان را از خطرات ربات‌های قاتل مطلع کنند. آن‌ها می‌گویند چنین ربات‌هایی نه‌تنها در فیلم‌های علمی تخیلی، بلکه در زندگی واقعی نیز ایده‌ی بدی هستند. هوش مصنوعی قطعاً کاربردهایی در کاهش اثرات مرگ‌بار جنگ و آسیب‌های آن دارد. منتهی اسلحه‌های کاملاً خودکار می‌توانند بحران‌های جدی استراتژیک، فنی و اخلاقی ایجاد کنند. به‌همین‌دلیل دانشمندان و فعالان اجتماعی تلاش می‌کنند تا سازمان ملل متحد و دولت‌های سرتاسر جهان را به ایجاد ممنوعیت‌های پیشگیرانه تشویق کنند. آن‌ها امیدوار هستند که ربات‌های قاتل را در همان فیلم‌های علمی تخیلی نگه دارند.

آمریکایی‌ها و بسیاری کشورهای دیگر هم‌اکنون نیز از پهپادهای نظامی استفاده می‌کنند. این پهپادها در حال حاضر نیز در آسمان بسیاری از کشورها درحال پرواز هستند. البته در نمونه‌های کنونی، انسان‌ها تصمیم نهایی را در شلیک آتش به پهپاد ارسال می‌کنند. سلاح‌های مرگ‌بار خودکار (به اختصار با LAWS شناخته می‌شوند) هنوز به‌صورت کامل وجود خارجی ندارند؛ اما فناوری لازم برای جایگزین کردن انسان‌های تصمیم‌گیر با الگوریتم، طراحی شده است.

استوارت راسل استاد علوم کامپیوتر دانشگاه یوسی برکلی و محقق هوش مصنوعی درباره‌ی سلاح‌های خودکار می‌گوید:

توسعه‌ی سلاح‌های خودکار از لحاظ فناورانه آسان‌تر از خودروهای خودران است. افرادی که در فناوری‌های مرتبط کار می‌کنند، توسعه‌ی چنین سلاح‌هایی را حداکثر تا دو سال آینده آسان و ممکن می‌دانند.

سلاح‌های خودکار آینده شبیه به فیلم ترمیناتور نخواهند بود. ساده‌ترین نسخه‌های آن‌ها از سخت‌افزارهای کنونی پهپادهای نظامی بهره می‌برند. البته پهپادهای کنونی ویدئوی زنده‌ای از محل درگیری را به مرکز نظامی ارسال می‌کنند که سرباز مورد نظر، براساس ویدئو دستور شلیک می‌دهد. درمقابل، سلاح‌های خودکار سربازر را از چرخه خارج می‌کنند و تصمیم‌گیری توسط الگوریتم انجام می‌شود.

توبی والش، استاد هوش مصنوعی در دانشگاه نیو ساوث ولز و فعال مبارز علیه توسعه‌ی سلاح‌های خودکار مرگ‌بار درباره‌ی آن‌ها می‌گوید:

وقتی درباره‌ی ربات‌های قاتل صحبت می‌کنیم، مردم فیلم ترمیناتور را تصور می‌کنند. آن‌ها فیلم‌های علمی تخیلی را در نظر می‌گیرند. مردم فکر می‌کنند این فناوری سال‌ها از ما فاصله دارد. درواقع سلاح‌های مرگ‌بار فناوری‌های ساده‌ای دارند که نزدیک‌تر از همیشه به ما هستند. به‌علاوه هم‌اکنون نیز نمونه‌های اولیه‌ی آن‌ها ساخته می‌شود.

در سال‌های گذشته، هوش مصنوعی با سرعت بالایی رشد کرده است. تشخیص چهره بیش از هیشه دقیق شد و شناسایی اجسام نیز با همان سرعت پیشرفت کرد. فناوری‌هایی که برای توسعه‌ی سلاح‌های مرگ‌بار خودکار، الزامی هستند.

روش‌های جدید به سیستم‌های هوش مصنوعی امکان انجام کارهایی را می‌دهند که چند سال پیش غیرممکن به‌نظر می‌رسید. از نوشتن داستان تا طراحی و ساخت چهره‌های قلابی امروزه به‌راحتی توسط هوش مصنوعی انجام می‌شود. به‌علاوه فناوری امروز می‌تواند در بازی‌های جنگی آنلاین تصمیم‌های استراتژیک کاربردی بگیرد که در توسعه‌ی سلاح‌های مرگ‌بار خودکار بسیار کاربردی خواهد بود.

پیشرفت‌های بالا ثابت می‌کنند که توسعه‌ی سلاح‌های خودکار مرگ‌بار امروز از غیرممکن به ساده تبدیل شده است. پیشرفت‌ها نیز به‌ این خاطر ایجاد شدند که ما مردم جهان هیچ اجماع یا نظرسنجی را پیرامون صحیح بودن یا نبودن توسعه‌ی آن‌ها انجام نداده‌ایم.

خارج کردن انسان‌ها از چرخه و توسعه‌ی سلاح‌هایی که به‌صورت خودکار تصمیم‌گیری می‌کنند، چالش‌های اخلاقی خطرناکی به‌همراه دارد. همان‌طور که گفته شد چالش‌های استراتژیک هم ایجاد خواهند شد که بعدا به آن می‌پردازیم. به‌هرحال اکنون این سؤال مطرح می‌شود که چرا فرد یا سازمانی باید به‌دنبال چنین سلاح‌هایی باشد؟

پهپادهای کنونی نیاز به ارسال و دریافت داده با مرکز نظامی دارند. همین ارتباط کمی تأخیر در تصمیم‌گیری و عملکرد سلاح ایجاد می‌کند. به‌علاوه محل مناسب فعالیت سلاح‌ها هم محدود می‌شود و به‌نوعی آسیب‌پذیر هم می‌شوند. چراکه اگر نیروهای دشمن ارتباط را قطع کرده یا تداخلی در آن ایجاد کنند، پهپاد عملا بی‌فایده می‌شود.

سلاح‌های موسوم به LAWS توانایی ازبین‌بردن محدودیت‌های بالا را دارند. والش در بخش دیگری از صحبت‌ پیرامون سلاح‌های خودکار می‌گوید:

وقتی انسان‌ از روندها خارج شود، شما می‌توانید هزاران یا میلیون‌ها سلاح خودکار داشته باشید. به‌علاوه به این تعداد نیروی انسانی نیز نیاز نخواهید داشت. دیگر نباید نگران تداخل در ارتباط باشید که امروزه به‌عنوان راهکاری برای مقاله با پهپادهای تحت کنترل انسان استفاده می‌شود.

والش در ادامه می‌گوید که کاهش نیروی انسانی مورد نیاز، تنها کاربرد سلاح‌های کاملاً خودکار نیست. او می‌گوید ربات‌ها عموماً عملکردهای اخلاقی بهتری دارند. به بیان دیگر انسان‌ها برخی اوقات جنایات جنگی مرتکب می‌شوند و از روی عمد، غیرنظامی‌ها را هدف قرار می‌دهند. به‌علاوه انسان‌ها احساس خستگی، استرس و گیجی را تجربه می‌کنند. انسان‌ها درصد اشتباه بالایی دارند، درحالی‌که ربات‌ها تنها از کد دستوری پیروی می‌کنند.

رنجر پائول شار متخصص سابق دفاع در پنتاگون و ارتش آمریکا ایده‌ی ربات‌های خودکار را در کتاب سال ۲۰۱۸ خود به‌نام Army of None مطرح می‌کند. او در بخشی از کتاب می‌گوید:

ماشین‌ها برخلاف سربازهای انسانی هیچ‌گاه عصبانی نمی‌شوند و به‌دنبال انتقام‌جویی نیستند. اکنون به‌راحتی می‌توان عملکرد مناسب سلاح‌های آینده را متصور شد. آن‌ها دیگر در تشخیص بین یک ابزار کشاورزی با اسلحه، اشتباه نمی‌کنند.

شار در پاین می‌گوید که استدلال‌هایش درباره‌ی سلاح‌ها مشکلات اخلاقی جدی دارد. او در بخشی از کتاب می‌گوید: «آن‌چه که صحیح تصور می‌کنیم، همیشه با آن‌چه که قانونی است برابر نخواهد بود». او داستانی را از جنگ افعانستان و رویارویی تیمش با طالبان نقل می‌کند. در داستان او، طالبان از کودکی ۶ ساله استفاده کرده بود تا در ظاهر چوپانی گله‌ی گوسفندان، آمار موقعیت نیروهای آمریکایی را گزارش کند.

کهنه‌سرباز ارتش آمریکا می‌گوید: «قانون جنگ برای مبارزان محدودیت سنی مشخص نمی‌کند». طبق قوانین جنگ، یک مبارز طالبان (هرچند خردسال) در داستان بالا در عملیاتی نظامی علیه نیروهای آمریکای حضور داشت و کشتن او، مجاز تلقی می‌شد. البته طبق ادعای شار، سربازها به کودک شلیک نکردند، اما رباتی که طبق قوانین جنگی الگوریتم‌نویسی شود، چنین انتخابی نخواهد کرد. به‌هرحال شار پارادوکسی را مطرح می‌کند که در آن، ربات و انسان عملکردهایی متناقض با هم دارند. برخی اوقات انسان‌ها عملکردهایی خلاف قوانین جنگی دارند و در مواقعی دیگر، به‌خاطر کدهای انسانی و احساسی، تصمیمات بهتری می‌گیرند. ربات‌ها هیچ‌گاه چنین تصمیم‌گیری‌هایی نخواهند داشت.

انسان‌ها و ماشین‌ها اشتباهات متفاوتی مرتکب می‌شوند. اگر آن‌ها را با هم به‌کار بگیریم، می‌توان از ارتکاب هر دو نوع اشتباه جلوگیری کرد. چنین رویکردی را امروز در پزشکی می‌بینیم. الگوریتم‌‌های شناسایی بیماری یک نوع اشتباه انجام می‌دهند و پزشکان اشتباه دیگری مرتکب می‌شوند.

درنتیجه‌ی پیشنهاد یاورسکی شاید بتوان سلاح‌هایی را طراحی کرد که قوانین جنگ را بدانند. سپس می‌توان از آن‌ها انتظار داشت که با هر دستور مخالف قوانین، مقابله کنند. به‌علاوه آن‌ها نباید بدون نظارت نیروی انسانی، اجازه‌ی شلیک داشته باشند. سازمان دانشمندان دربرابر سلاح‌های غیر انسانی و جنبش‌های مشابه در سرتاسر جهان، مخالفتی با چنین رویکردی از سوی فناوری ندارند. آن‌ها می‌گویند که وجود یک انسان در چرخه‌ی تصمیم‌گیری و عملکرد سلاح‌ها باید به‌عنوان قانونی بین‌المللی و بخشی اساسی در توسعه‌ی سلاح‌ها در نظر گرفته شود.

اگر مسیر صحیحی در توسعه‌ی سلاح‌های رباتیک طی شود، می‌توان به آینده‌ای بهتر امیدوار بود. درنتیجه ربات‌هایی را شاهد خواهیم بود که حفاظ‌هایی خودکار علیه اشتباه‌های جنگی ایجاد می‌کنند. به‌علاوه انسان‌ها در روند تصمیم‌گیری آن‌ها حضور دارند تا از صحیح بودن تصمیم‌های خودکار مطمئن شوند. درنهایت تحلیل‌گرها نگران هستند که حرکت کنونی به‌سمت خودکارسازی کامل حرکت می‌کند. دنیایی که در آن ربات‌ها بدون ورودی انسانی، دستور کشتن قربانیان را صادر و اجرا می‌کنند.

سلاح‌های کاملاً خودکار، کشتن انسان‌ها را آسان‌تر و ارزان‌تر از همیشه می‌کنند. چالشی که در ظاهر هم بسیار خطرناک به‌نظر می‌رسد. به‌علاوه مخالفان سلا‌ح‌های خودکار اعتقاد دارند احتمالاً عواقب دردناک‌تری در انتظار انسان‌ها خواهد بود.

اگر توسعه‌ی سلاح‌های LAWS ادامه پیدا کند، سلاح‌‌ها ارزان‌تر از همیشه خواهند شد. همین امروز هم افراد عادی علاقه‌مند می‌توانند با هزینه‌ای پایین پهپاد بسازند. با توسعه‌ی فناوری هم قیمت‌ها روز‌به‌روز بیشتر کاهش می‌یابند. به‌علاوه وقتی ربات‌ها در نبردهای جنگی استفاده شوند، احتمال تصاحب و بهره‌برداری از آن‌ها توسط همگان وجود دارد. درواقع نبردها به محلی برای توسعه و گسترش فناوری ساخت پهپادهای قاتل ارزان بدل خواهند شد.

سلاح‌های خودکار مرگ‌بار می‌توانند در کاربردهای بسیار وحشتناکی همچون پاک‌سازی نژادی یا قتل عام دسته‌ای از انسان‌ها استفاده شوند. آریل کان مدیر ارتباطات مؤسسه‌ی تحقیقات آینده‌ی زندگی (Future of Life Institute) اعتقاد دارد سلاح‌های آینده را می‌توان برای هدف‌گیری دسته‌ای خاص از انسان‌ها برنامه‌ریزی کرد. او چنین رویکردی را یکی از ساده‌ترین کاربردهای فناوری ربات‌های خودکار می‌داند.

پس از بررسی‌های بالا، به موضوع و پیامدی گسترده‌تر در توسعه‌ی هوش مصنوعی می‌رسیم. درحال‌حاضر می‌توان آمریکا را پیشرفته‌ترین کشور در حوزه‌ی یادگیری ماشین و هوش مصنوعی دانست. احتمالاً ارتش آمریکا هم هیچ تضمینی بر استفاده نکردن از این مزیت در میدان نبرد ندارد. والش اعتقاد دارد ارتش آمریکا می‌خواهد برتری فناوری خود را دربرابر رقبا حفظ کند.

استدلال آمریکایی‌ها بر حفظ برتری فناورانه نسبت به رقبای سیاسی، ترسناک‌ترین سناریوهای احتمالی را برای آینده‌ی هوش مصنوعی ایجاد می‌کنند. سناریوهایی که از نظر کارشناسان هوش مصنوعی واقعاً نگران‌کننده هستند. بسیاری از محققان اعتقاد دارند سیستم‌های پیشرفته‌ی هوش مصنوعی ظرفیت‌های بسیاری برای فاجعه‌های مرگ‌بار دارند. از نگاه آن‌ها پیشرفت چنین فناوری‌هایی می‌تواند به آینده‌ای فاجعه‌بار منجر شود که شاید شانسی برای جبران آن نداشته باشیم. به‌علاوه اگر مسیر را کاملاً اشتباه برویم، شاید درنهایت به نابودی کل بشریت ختم شود.

علاوه‌بر مخفی نبودن تحقیقات هوش مصنوعی، باید از عجله در آن هم خودداری کرد. کان در بخش دیگری از مصاحبه می‌گوید:

ما می‌خواهیم جلوی یک مسابقه و نبرد در حوزه‌ی هوش مصنوعی را بگیریم. هیچ‌کس از نبرد در حوزه‌ی هوش مصنوعی خشنود نمی‌شود، اما به این معنی نیست که چنین نبردی رخ نمی‌دهد. به‌علاوه نبرد بر سر توسعه‌ی سلاح‌ها با این فناوری، می‌تواند به نبردی تمام‌عیار منجر شود.

به‌هرحال اگر آمریکا یا هر کشور پیشرفته‌ی دیگر از برتری‌های فناورانه‌ی خود در توسعه‌ی سلاح‌های مبتنی بر هوش مصنوعی استفاده کند، دیگر کشورها هم تحقیقات خود را در این حوزه افزایش می‌دهند. در چنین شرایطی اشتباهات طراحی و محاسباتی در حوزه‌ی هوش مصنوعی، بیشتر و مرگ‌بارتر خواهند بود.

محققان در مقابله با ربات‌های قاتل به ممنوعیت فناوری امیدوار هستند. ممنوعیتی که قبلا هم در استفاده از سلاح‌های بیولوژیکی وضع شد و موفق بود. آن ممنوعیت در سال ۱۹۷۲ و در اوج پیشرفت‌ تحقیق پیرامون سلاح‌های زیستی تصویب شد.

فاکتورهای متعددی منجر به موفقیت ممنوعیت سلاح‌‌های زیستی شد. در وهله‌ی اول دولت‌ها با استفاده از چنین سلاح‌هایی، مزیت زیادی به‌دست نمی‌آوردند. به‌علاوه در موضوع سلاح‌های زیستی، دسترسی به آن‌ها با قیمت پایین ممکن بود. درواقع سلاحی با تأثیر کشتار جمعی به‌راحتی دراختیار دولت‌ها قرار می‌گرفت که از سوی آن‌ها خوشایند به نظر نمی‌رسید.

مخالفان توسعه‌ی سلاح‌های مرگ‌بار خودکار تلاش می‌کنند تا روندی مشابه سلاح‌‌های زیستی را برای آن‌ها ایجاد کنند. راسل در بخشی از مصاحبه می‌گوید:

از نظر من، اعتقادات و نظرات افرادی مانند ما اهمیتی ندارد. چراکه چنیی نظراتی منجر به هیچ اقدامی از سوی دولت‌ها نمی‌شود. ما ۷۰ سال تلاش کردیم تا سلاح‌های اتمی داشته باشیم و سپس برای جلوگیری از تصاحب آن‌ها توسط افراد خطاکار، تلاش کردیم. اکنون سلاح‌های LAWS هم می‌توانند به همان اندازه مرگ‌بار باشند. به‌علاوه آن‌ها ارزان‌تر هستند و توسعه‌ی چنین سلاح‌هایی نیز آسان‌تر خواهد بود.

درمقابل تلاش‌های همه‌ی سازمان‌های مردم‌نهاد و مخالفان توسعه‌ی سلاح‌های مرگ‌بار، سازمان ملل حرکتی آهسته دارد. آن‌ها حتی برای مذاکره پیرامون موضوع سلاح‌های مرگ‌بار خودکار هم تعلل می‌کنند. دو فاکتور مهم برای حرکت کند سازمان ملل تصور می‌شود: اول، حرکت سازمان ملل برای تصویب قوانین بین‌المللی همیشه آهسته بوده است و درمقابل روند توسعه‌ی فناوری خصوصا در حوزه‌ی سلاح‌های مرگ‌بار خودکار بسیار سریع پیش می‌رود. دلیل دوم و مهم‌تر اینکه تلاش برای تصویب قوانین مذکور قطعاً مخالفتی جدی از سوی برخی دولت‌ها را به‌همراه دارد.

مخالفان توسعه‌ی سلاح‌های LAWS اعتقاد دارند بررسی از سوی سازمان ملل متحد باید در سریع‌ترین زمان ممکن انجام شود. به‌عنوان مثال یاورسکی استدلال می‌کند:

نمی‌‌توان انتظار داشت که عملکرد LAWS به کاربردهای نظامی محدود شود. درواقع با توسعه‌ی فناوری، افراد بسیار زیادی خصوصا سازمان‌های غیردولتی و غیر مسئول از آن استفاده خواهند کرد.

در تکمیل استدلال بالا باید بگوییم که جلوگیری از توسعه و استفاده از یک فناوری، وقتی افراد زیادی از آن استفاده نمی‌کنند آسان‌تر خواهد بود. به‌بیان‌دیگر وقتی LAWS دراختیار همه قرار گیرد، دیگر نمی‌‌توان راهکاری برای ممنوعیت استفاده‌های ناصحیح آن پیاده‌سازی کرد. به‌همین دلیل مخالفان از سال‌ها پیش تلاش می‌کنند تا بررسی LAWS را به صحن رسمی سازمان ملل برسانند.

در بررسی استفاده از سلاح‌‌های خودکار موارد متعددی باید مطالعه شود. به‌عنوان مثال اگر بپرسیم چه چیزی یک سیستم را کاملاً خودکار می‌کند، با دوراهی جالبی روبه‌رو می‌شویم. فرض کنید کره‌جنوبی در مرز خود با کره‌ی شمالی سیستم‌های اسلحه‌ای نصب کند که به‌صورت خودکار افراد تأییدنشده را هدف قرار دهند (سلاح مرگ‌بار خودکار). البته سلاح این‌چنینی شبیه به مین هم عمل می‌کند که اکنون مخالفتی با نصب آن در مرزها وجود ندارد. حتی راسل اعتقاد دارد چنین اسلحه‌ای در تشخیص نیروهای متخاصم بهتر از مین عمل می‌کند و شاید استفاده از آن مفید هم باشد.

چالش‌های بالا درکنار موارد متعدد دیگر باید برای بهینه‌سازی ممنوعیت احتمالی از سوی سازمان ملل متحد، بررسی و حل شوند. دراین‌میان آمریکا به‌عنوان پیش‌گام هوش مصنوعی مخالفت‌های جدی با بررسی‌های این‌چنینی دارد. درنتیجه کشوری که می‌تواند بهترین بررسی‌های علمی را روی چالش‌ها انجام دهد، از آن سر باز می‌زند.

روش دیگری از مخالفت با سلاح‌های خودکار وجود دارد که احتمال استفاده از آن‌ها در صنایع نظامی را کمتر می‌کند. مخالفت دانشمندان هوش مصنوعی از شرکت در پروژه‌هایی با کاربردهای نظامی، می‌تواند توسعه‌ی سلاح‌های مبتنی بر هوش مصنوعی را با چالش مواجه کند. درحال حاضر اکثر دانشمندان بزرگ هوش مصنوعی در سیلیکون‌ولی شاغل هستند و برای ارتش آمریکا کار نمی‌کنند. همکاری سیلیکون‌ولی با ارتش هم همیشه با بازخوردهای شدید همراه بوده است. به‌عنوان مثال کارمندان گوگل وقتی متوجه پروژه‌ی مشترک شرکت با ارتش تحت عنوان Maven شدند، اعتراضی سراسری ترتیب دادند که منجر به عدم تمدید پروژه شد. کارمندان مایکروسافت همچنین رویکردی در گذشته داشته‌اند.

درنتیجه‌ی رخدادهای بالا می‌توان پیش‌بینی کرد که کارمندان دنیای فناوری توانایی ایجاد تأخیر در روند توسعه‌ی سلاح‌ها را دارند. آن‌ها می‌توانند با شرکت نکردن در پروژه‌های مذکور، توسعه را به تعویق بیندازند. برنامه‌های گروهی متعددی هم برای ایجاد چنین حسی بین متخصصان و کارمندان حوزه‌ی هوش مصنوعی ایجاد شده است.

ربات‌های قاتل خطرات بسیار زیادی به‌همراه دارند. آن‌ها می‌توانند قتل‌عام و کشتار گسترده را به فرایندی آسان برای دیکتاتورها و سازمان‌های غیرمسئول تبدیل کنند. درواقع گروهی که چنین ابزارهایی دردسترس داشته باشد می‌تواند ادعای شکست‌ناپذیری کند. چنین فرضیه‌ای به خودی خودی ترسناک است.

وضعیتی کنونی سلاح‌های مرگ‌بار خودکار نشانه‌ای از روند بسیار گسترده‌تر هستند. هوش مصنوعی امکاناتی را برای مردم فراهم می‌کند که قبلا وجود نداشتند. سرعت ایجاد فرصت‌ها هم به‌گونه‌ای انجام می‌شود که ظرفیت‌های ما بسیار سریع‌تر از تفکر، سرعت واکنش و سیاست‌های عمومی رشد می‌کنند. با رشد هوش مصنوعی می‌توان انتظار داشت که این روند، بی‌ثباتی بیشتری را هم تجربه کند.

استفاده از الگوریتم‌ها در هر زمینه‌ای که باشد، تهدیدهای بالقوه‌ای را به‌همراه دارد. چه آن‌ها ر ادر ربات‌های قاتل استفاده کنیم، یا حتی برای شناسایی اخبار دروغ به کار ببریم، جنبه‌های حیاتی از جامعه را دراختیار این موجودات بی‌جان قرار داده‌ایم. درواقع شاید آن‌ها به‌خوبی جنبه‌های مورد نظر ما را درک نکنند و در مسیر اهدافی بهینه‌سازی شوند، که مشابه با اهداف مورد نظر ما نباشد.

سیستم‌های پیشرفته‌ی هوش مصنوعی هنوز به زندگی ما راه نیافته‌اند. البته آن‌ها هر روز به ما نزدیک و نزدیک‌تر می‌شوند. اکنون زمان آن است که برای رویارویی با آن‌ها بیش از همیشه آماده شویم. اکنون همه می‌دانیم که بهترین زمان برای تصویب سیاست‌های کاربردی و تفاهم‌های بین‌المللی زمانی خواهد بود که سناریوهای علمی تخیلی و ترسناک گفته شده در بالا، هنوز اتفاق نیفتاده باشند.