وقتی ایجنت‌ها شورش نمی‌کنند و جهان به‌هم می‌ریزد

شرکت اوپن‌ای‌آی اعلام کرده است که به ده‌ها نهاد دولتی، دانشگاه و سازمان عمومی هشدار داده که ایجنت‌های این شرکت هنگام جمع‌آوری اطلاعات از وب‌سایت‌های آن‌ها، در مواردی فراتر از حدود تعیین‌شده عمل کرده‌اند. مأموریت این عامل‌ها یافتن «منابع معتبر اطلاعات عمومی» بوده است؛ اما بعضی از آن‌ها کوشیده‌اند تدابیر فنی سایت‌ها را دور بزنند یا از ابزارهایی استفاده کنند که معمولاً در اختیار توسعه‌دهندگان نرم‌افزار قرار دارد.

اوپن‌ای‌آی می‌گوید اطلاعات دولتی به‌دست‌آمده عمومی بوده‌اند. بااین‌حال، بخشی از اطلاعات دریافت‌شده از کمیسیون بورس و اوراق بهادار آمریکا، بدون آنکه چنین کاری برنامه‌ریزی شده باشد، در وب‌سایت دیگری منتشر شده است. در مجموعه‌ای دیگر از رخدادها نیز یک ایجنت دست‌کم ۵۳ بار تصاویری را از فعالیت کاربران در چت‌جی‌پی‌تی برداشته و به مکان دیگری منتقل کرده است. کاربران با استفاده از داده‌هایشان برای آموزش مدل‌ها موافقت کرده بودند، اما خود اوپن‌ای‌آی پذیرفته است که این شیوهٔ استفاده و انتقال داده‌ها مناسب نبوده است.

این حوادث را نباید با «شورش هوش مصنوعی» اشتباه گرفت. ایجنت‌ها هدف مستقلی برای حمله به دولت‌ها یا سرقت اطلاعات نداشته‌اند. مسئله ظریف‌تر و شاید مهم‌تر است: به ایجنت مأموریتی داده شده، اما مسیر انتخابی آن برای انجام مأموریت با چیزی که انسان‌ها انتظار داشته‌اند یکسان نبوده است.

این فقط یک نقص فنی در یک محصول نیست. می‌تواند پیش‌نمایشی از مسئله‌ای بسیار بزرگ‌تر باشد: چه اتفاقی می‌افتد اگر در آینده‌ای نزدیک، میلیون‌ها ایجنت در بانک‌ها، شرکت‌ها، اداره‌ها، فروشگاه‌ها، دانشگاه‌ها و خانه‌ها فعال باشند و حتی درصد کوچکی از آن‌ها، گاهی از حدود مأموریت خود جلوتر بروند؟

جهان برای کنشگرانی با سرعت انسانی ساخته شده است

نظم اداری و اقتصادی جهان بر مجموعه‌ای از فرض‌های نانوشته استوار است. انسان‌ها برای انجام هر کار به زمان نیاز دارند؛ نمی‌توانند هم‌زمان هزاران فرم پر کنند؛ معمولاً پس از چند بار شکست خسته می‌شوند؛ هر فرد هویت نسبتاً مشخصی دارد و بسیاری از تصمیم‌های مهم نیز پیش از اجرا از چند مرحلهٔ بررسی عبور می‌کنند.

ایجنت‌ها این محدودیت‌ها را ندارند. یک ایجنت می‌تواند شبانه‌روز فعال باشد، در چند ثانیه صدها گزینه را بررسی کند، هزاران بار درخواست خود را با صورت‌بندی‌های متفاوت بفرستد و پس از هر پاسخ، راه تازه‌ای برای رسیدن به هدف پیدا کند. این توانایی در مقیاس فردی مفید است. ایجنتی که بتواند ارزان‌ترین بلیت را پیدا کند، فرم بیمه را کامل کند یا خطای پروندهٔ مالیاتی را تشخیص دهد، زمان زیادی برای صاحبش ذخیره می‌کند.

مشکل زمانی آغاز می‌شود که میلیون‌ها ایجنت همین کار را هم‌زمان انجام دهند. در آن شرایط، با یک ایجنت خطاکار روبه‌رو نیستیم؛ با جمعیتی از کنشگران ماشینی مواجهیم که سرعت عملشان هزاران برابر ظرفیت سامانه‌هایی است که برای انسان طراحی شده‌اند.

حمله‌ای که مهاجم ندارد

فرض کنید فروش بلیت قطار برای تعطیلات نوروز در ساعت مشخصی آغاز شود. امروز چندصدهزار نفر وارد سایت می‌شوند، تعدادی موفق به خرید می‌شوند و تعدادی هم پشت صف یا خطای سرور می‌مانند.

حالا فرض کنید هر مسافر ایجنتی داشته باشد که از چند روز قبل آماده است. ایجنت در لحظهٔ آغاز فروش، تمام مسیرها، ساعت‌ها و ترکیب‌های ممکن را بررسی می‌کند، چند درخواست موازی می‌فرستد، بلیت موقت رزرو می‌کند و اگر نتیجه مناسب نبود، آن را لغو می‌کند و سراغ گزینهٔ بعدی می‌رود.

هیچ‌کس قصد حمله به سامانهٔ راه‌آهن را ندارد. هر ایجنت فقط می‌خواهد برای صاحبش بلیت تهیه کند. حاصل جمع رفتار آن‌ها می‌تواند از نظر فشار واردشده بر سامانه، شبیه حملهٔ منع خدمت توزیع‌شده یا DDoS باشد؛ با این تفاوت که مهاجمی در کار نیست و درخواست‌ها ظاهراً مشروع‌اند.

 شرکت ارائه‌دهندهٔ خدمات نیز ناچار می‌شود دیوارهای امنیتی، آزمون‌های تشخیص انسان، محدودیت درخواست و مراحل تازهٔ احراز هویت ایجاد کند. موانعی که ممکن است کار را برای کاربران انسانی نیز دشوارتر کنند.

در چنین شرایطی، انسان‌هایی که ایجنت ندارند یا از ایجنت‌های کندتر و کم‌توان‌تری استفاده می‌کنند، در رقابت با ایجنت‌های سریع‌تر عملاً از بازار بیرون رانده می‌شوند. در نتیجه، دسترسی به بلیت دیگر فقط به زمان ورود یا شانس افراد بستگی ندارد؛ قدرت و سرعت ایجنتی که از طرف آن‌ها عمل می‌کند نیز تعیین‌کننده می‌شود.

همین سناریو را می‌توان برای ثبت‌نام خودرو، گرفتن وقت پزشک متخصص، دریافت نوبت خدمات کنسولی، خرید داروی کمیاب، رزرو اقامتگاه یا ثبت درخواست وام تصور کرد.

این نوع اختلال را می‌توان «حملهٔ بدون مهاجم» نامید. همهٔ درخواست‌ها ممکن است قانونی باشند، اما حاصل جمع آن‌ها سامانه را از انجام وظیفهٔ اصلی‌اش بازمی‌دارد.

وقتی ایجنت‌ها به یکدیگر پاسخ می‌دهند

پیچیدگی اصلی زمانی پدیدار می‌شود که ایجنت‌ها فقط با انسان و سامانه‌های ثابت روبه‌رو نباشند، بلکه با ایجنت‌های دیگر تعامل کنند.

ایجنت فروشنده قیمت را بالا می‌برد، چون افزایش تقاضا را تشخیص داده است. ایجنت خریدار خرید را عقب می‌اندازد، چون انتظار کاهش قیمت دارد. ایجنت انبار سفارش تازه‌ای ثبت می‌کند. ایجنت تأمین‌کننده به دلیل افزایش ناگهانی تقاضا قیمت عمده‌فروشی را تغییر می‌دهد. ایجنت اعتبارسنجی، نوسان بازار را نشانهٔ افزایش ریسک می‌بیند و شرایط پرداخت را سخت‌تر می‌کند.

هیچ‌یک از این تصمیم‌ها به‌تنهایی غیرمنطقی نیست. بااین‌حال، پاسخ سریع الگوریتم‌ها به رفتار یکدیگر می‌تواند حلقه‌ای ایجاد کند که هیچ‌کس آن را طراحی نکرده است.

بازارهای مالی قبلاً نسخه‌ای محدود از این خطر را تجربه کرده‌اند. در «سقوط ناگهانی» بازار آمریکا در سال ۲۰۱۰، تعامل سفارش‌های خودکار و الگوریتم‌های معاملاتی به تشدید سریع بی‌نظمی و کاهش نقدشوندگی کمک کرد. آن سامانه‌ها در مقایسه با ایجنت‌های زبانی امروز بسیار ساده بودند: اهداف محدود، محیط مشخص و مجموعهٔ کوچکی از اعمال ممکن داشتند. ایجنت‌های جدید می‌توانند متن بخوانند، مذاکره کنند، فرم پر کنند، فایل انتقال دهند، ابزار فراخوانی کنند و براساس واکنش محیط، برنامهٔ خود را تغییر دهند.

به همین دلیل، خطر آینده فقط تکثیر خطا نیست؛ ممکن است از تعامل میان تصمیم‌های درست، رفتاری جمعی و نادرست پدید آید.

بوروکراسی ماشینی در برابر بوروکراسی ماشینی

یک نمونهٔ ایرانی دیگر را تصور کنیم. شرکت‌ها و مؤدیان مالیاتی به ایجنت‌هایی مجهز می‌شوند که بخش‌نامه‌ها را می‌خوانند، اظهارنامه‌ها را بررسی می‌کنند، به تشخیص‌های مالیاتی اعتراض می‌کنند و برای هر اختلاف، اسناد و استدلال‌های تازه می‌فرستند. در سوی دیگر، سازمان مالیاتی نیز از ایجنت‌هایی استفاده می‌کند که پرونده‌ها را تحلیل می‌کنند، ناسازگاری‌ها را پیدا می‌کنند، مدارک تکمیلی می‌خواهند و پاسخ اعتراض‌ها را آماده می‌کنند.

در ابتدا همه‌چیز کارآمدتر به نظر می‌رسد. اما به‌تدریج ایجنت هر شرکت برای حفاظت از منافع صاحبش، تمام راه‌های قانونی اعتراض را آزمایش می‌کند و ایجنت سازمان نیز برای جلوگیری از خطا یا سوءاستفاده، برای هر ابهام مدرک تازه‌ای می‌خواهد.

نتیجه می‌تواند زنجیره‌ای بی‌پایان از نامه‌ها، اعتراض‌ها، درخواست‌ها و پاسخ‌هایی باشد که عمدتاً ماشین‌ها برای ماشین‌ها نوشته‌اند. حجم کار ظاهراً افزایش یافته، اما مسئلهٔ واقعی هیچ‌کس سریع‌تر حل نمی‌شود. انسان‌ها نیز فقط زمانی وارد ماجرا می‌شوند که پرونده گره خورده، مهلت قانونی گذشته یا تصمیم ماشینی به زندگی یک فرد آسیب زده است.

در این وضعیت، بوروکراسی حذف نشده است؛ فقط سرعت و حجم آن ماشینی شده است.

همین اتفاق می‌تواند در تأمین اجتماعی، گمرک، بیمه، صدور مجوزهای کسب‌وکار، مناقصه‌ها و حتی رسیدگی قضایی رخ دهد. هر سازمان برای مدیریت ایجنت‌های بیرونی، ایجنت‌های بیشتری به کار می‌گیرد و هر ایجنت تازه، کنش ماشینی بیشتری تولید می‌کند.

سرعت خطا، مهم‌تر از اندازهٔ خطاست

انسان‌ها همیشه اشتباه کرده‌اند و سامانه‌های اداری نیز هیچ‌گاه بی‌خطا نبوده‌اند. تفاوت اصلی ایجنت‌ها الزاماً در عجیب‌بودن خطاهایشان نیست؛ تفاوت در سرعت، مقیاس و قابلیت تکثیر آن‌هاست.

اگر یک کارمند، قاعده‌ای را اشتباه بفهمد، شاید چند پرونده آسیب ببیند. اگر همان برداشت نادرست وارد ایجنتی شود که روزانه صدهزار پرونده را پردازش می‌کند، خطا پیش از آنکه نخستین شکایت انسانی بررسی شود، در سراسر سامانه گسترش یافته است.

حتی اصلاح ایجنت نیز همیشه مشکل را فوراً حل نمی‌کند. ممکن است تصمیم‌های قبلی آن وارد پایگاه‌های داده، رتبه‌های اعتباری، قیمت‌گذاری بیمه، سوابق استخدامی یا تصمیم ایجنت‌های دیگر شده باشد. در چنین محیطی، یک خطا فقط تکرار نمی‌شود؛ پیامدهایش در سراسر شبکه منتشر می‌شود.

چه کسی مسئول است؟

اگر ایجنت یک شرکت با ایجنت بانک مذاکره کند و قراردادی ببندد که هیچ انسانی جزئیاتش را نخوانده، مسئولیت نتیجه با چه کسی است؟

کاربری که هدف را تعیین کرده است؟ شرکتی که ایجنت را ساخته؟ سازمانی که اجازهٔ دسترسی داده؟ مدلی که مسیر عمل را انتخاب کرده؟ یا مدیری که تصور می‌کرد نظارت نهایی کافی است؟

این مسئله زمانی دشوارتر می‌شود که ایجنت آشکارا از دستور سرپیچی نکرده باشد. ممکن است کاربر گفته باشد: «بهترین وام ممکن را برای من بگیر» و ایجنت نیز دقیقاً همین هدف را دنبال کرده باشد، اما در این مسیر صدها درخواست فرستاده، اطلاعاتی را بیش از حد لازم افشا کرده یا از شکافی در سامانه استفاده کرده باشد.

اینجا دیگر با دوگانهٔ سادهٔ «اطاعت یا نافرمانی» روبه‌رو نیستیم. ایجنت ممکن است از هدف اطاعت کرده باشد، اما دربارهٔ حدود روش، قضاوتی متفاوت با انسان داشته باشد.

آنتروپی اداری ایجنتی

می‌توان این وضعیت را موقتاً  آنتروپی اداری ایجنتی (Agentic Administrative Entropy) نامید: افزایش بی‌نظمی در سامانه‌های اقتصادی و اداری، نه بر اثر شورش یا قصد خرابکارانهٔ هوش مصنوعی، بلکه در نتیجهٔ تکثیر عامل‌هایی که هرکدام هدف محلی خود را دنبال می‌کنند.

در این وضعیت، ممکن است تک‌تک ایجنت‌ها عملکرد قابل ‌قبولی داشته باشند، اما مجموعه آن‌ها نظام را ناکارآمد کند. هر ایجنت برای صاحب خود زمان می‌خرد، اما مجموع ایجنت‌ها زمان همه را هدر می‌دهند. هر ایجنت می‌کوشد فرصتی را از دست ندهد، اما حاصل کار می‌تواند از بین رفتن فرصت برابر باشد. هر ایجنت می‌خواهد بهترین نتیجه را بگیرد، اما رقابت آن‌ها هزینهٔ دسترسی به خدمات را بالا می‌برد.

این مسئله شباهتی به «تراژدی منابع مشترک» دارد. ظرفیت سامانه‌های عمومی، توجه کارکنان، پهنای باند، نوبت‌ها و امکان رسیدگی منابع محدودی هستند. اگر هر ایجنت مأمور باشد حداکثر سهم ممکن را برای صاحب خود تصاحب کند، این منابع مشترک خیلی زود فرسوده می‌شوند.

آیا می‌توان جلوی آن را گرفت؟

کنترل این وضعیت فقط با بهترکردن مدل‌ها ممکن نیست. حتی ایجنتی که خطای کمی دارد، در مقیاس میلیونی می‌تواند پیامدهای پیش‌بینی‌نشده ایجاد کند. به همین دلیل، کنترل باید در سطح زیرساخت نیز انجام شود.

هر ایجنت باید هویت قابل‌تشخیص داشته باشد و معلوم باشد از طرف چه شخص یا سازمانی عمل می‌کند. حدود اختیار آن باید دقیق تعریف شود؛ اجازهٔ خواندن یک سند نباید خودبه‌خود به معنی اجازهٔ انتقال، انتشار یا استفاده از آن در محیطی دیگر باشد.

برای ایجنت‌ها باید سقف تعداد درخواست، بودجهٔ مصرف، دامنهٔ دسترسی و زمان فعالیت تعیین شود. اعمال برگشت‌ناپذیر یا پرخطر باید به تأیید انسانی نیاز داشته باشند، اما این تأیید نیز نباید به صدها پنجرهٔ «موافقید؟» تبدیل شود که انسان از فرط خستگی همه را تأیید می‌کند.

سامانه‌ها به ثبت‌ وقایع قابل‌فهم نیاز دارند: ایجنت چه کرد، براساس چه اختیاری، با استفاده از کدام اطلاعات و به سود چه کسی؟ علاوه بر رفتار هر ایجنت، باید رفتار جمعی آن‌ها نیز پایش شود. ممکن است هیچ ایجنتی از حد مجاز خود عبور نکرده باشد، اما فعالیت هم‌زمان هزاران ایجنت یک بازار یا خدمت عمومی را مختل کند.

وجود «قطع‌کنندهٔ مدار» نیز ضروری است؛ سازوکاری که وقتی سرعت، حجم یا الگوی رفتار از محدوده‌ای مشخص خارج شد، اجرای خودکار را متوقف یا کند کند. بازارهای مالی پس از تجربهٔ آشفتگی‌های الگوریتمی به چنین ابزارهایی روی آوردند. سامانه‌های اداری و تجاری آینده نیز احتمالاً به معادل خود نیاز خواهند داشت.

و سرانجام، دسترسی به ایجنت نباید به امتیازی ویژه برای افراد ثروتمند، شرکت‌های بزرگ یا کاربران حرفه‌ای تبدیل شود. در جهانی که دریافت خدمات به رقابت میان ایجنت‌ها وابسته است، انسان بدون ایجنت از ابتدا بازنده خواهد بود.

ایجنت معاظدتی

شاید در آینده لازم باشد «حق برخورداری از نمایندگی ماشینی» به رسمیت شناخته شود. همان‌طور که در نظام قضایی برای فردی که توانایی گرفتن وکیل ندارد، وکیل تسخیری یا معاضدتی در نظر گرفته می‌شود، در دریافت خدمات درمانی، آموزشی، اداری و حقوقی نیز می‌توان ایجنت عمومی یا تعیینی در اختیار افراد فاقد ایجنت گذاشت.

چنین ایجنتی نباید صرفاً دستیار سازمان ارائه‌دهندهٔ خدمات باشد؛ زیرا ممکن است میان منافع سازمان و منافع شهروند تعارض وجود داشته باشد. وظیفهٔ آن باید دفاع از منافع فرد، توضیح گزینه‌ها، پیگیری درخواست و جلوگیری از تضییع حقوق او باشد. در غیر این صورت، جامعه به دو گروه تقسیم خواهد شد: کسانی که ایجنت‌های قدرتمند از حقوقشان دفاع می‌کنند و کسانی که باید به‌تنهایی در برابر ایجنت‌های سازمان‌ها و دیگر متقاضیان بایستند.

آشوب بدون شورش

تصویر رایج خطر هوش مصنوعی، ماشینی است که از انسان فرمان نمی‌برد. اما شاید یکی از خطرهای واقعی آینده از ماشین‌هایی ناشی شود که بیش از حد پیگیرانه فرمان می‌برند.

به آن‌ها می‌گوییم ارزان‌ترین قیمت را پیدا کنند، سریع‌ترین مجوز را بگیرند، همهٔ راه‌های اعتراض را امتحان کنند، هیچ فرصت قانونی را از دست ندهند و منافع ما را به حداکثر برسانند. هر دستور به‌تنهایی معقول است. مشکل زمانی آغاز می‌شود که میلیون‌ها ایجنت، همین هدف‌های محلی را در یک جهان مشترک دنبال کنند.

پرسش اصلی آینده فقط این نیست که چگونه هر ایجنت را کنترل کنیم. پرسش دشوارتر این است که چگونه رفتار جمعی میلیون‌ها ایجنت را مهار کنیم، درحالی‌که ممکن است تک‌تک آن‌ها ظاهراً درست کار کنند.

جهان شاید به دست هوش مصنوعی تسخیر نشود. شاید فقط زیر بار فعالیت سریع، مشروع و بی‌وقفهٔ آن گیر کند.