پژوهشگران پروژه CRUX برای پاسخ به این پرسش، دو مسئلهٔ واقعی را در اختیار ایجنتهای پیشرفته گذاشتند. هر ایجنت شش روز فرصت داشت و به ۳۰۰۰ دلار اعتبار استفاده از مدل، منابع پردازشی جداگانه و اینترنت دسترسی داشت.
ایجنتها کد نوشتند، آزمایش انجام دادند و مقاله تحویل دادند؛ اما وقتی نویسندگان پژوهشهای اصلی خروجیها را ارزیابی کردند، هر دو مقاله مردود شدند.
اهمیت این آزمایش فقط در شکست ایجنتها نیست. این پژوهش فاصلهٔ میان «انجامدادن کارهای پژوهشی» و «تشخیص اینکه کدام کار ارزش انجامدادن دارد» را آشکار میکند.
چرا بنچمارکها همهچیز را نشان نمیدهند؟
بسیاری از ارزیابیهای هوش مصنوعی بر وظایفی متمرکزند که هدف مشخصی دارند. ممکن است از یک سیستم خواسته شود خطای برنامهای را پیدا کند، عملکرد مدلی را بهبود دهد یا نتیجهای قابل اندازهگیری تولید کند. این مسائل میتوانند دشوار باشند، اما معمولاً معیار موفقیت در آنها روشن است.
پژوهش علمی همیشه چنین ساختاری ندارد. پژوهشگر باید تشخیص دهد کدام فرضیه ارزش پیگیری دارد، چه شواهدی برای آزمودن آن کافی است و آیا یک نتیجهٔ غیرمنتظره به اصلاح جزئی نیاز دارد یا تغییر کامل مسیر. گاهی حتی خود پرسش اولیه هم باید دوباره بررسی شود.
پیتر کرگیس، سایاش کاپور و همکارانشان در پروژهٔ CRUX بررسی کردند که آیا ایجنتهای پیشرفته میتوانند چنین پژوهشهای باز و پیچیدهای را اداره کنند یا توانایی آنها عمدتاً به انجام وظایف مشخص و قابل سنجش محدود میماند.
ارزیابی سایه؛ آزمون با پژوهشهای منتشرنشده
پژوهشگران برای این آزمایش روشی به نام «ارزیابی سایه» یا Shadow Evaluation طراحی کردند. آنها پرسشهای محوری دو مقالهٔ منتشرنشدهٔ ارسالشده به NeurIPS 2026 را در اختیار ایجنتها گذاشتند، بدون اینکه متن مقالهها یا یافتههای اصلی را در اختیارشان قرار دهند.
پروژهٔ نخست، Personas، به شخصیتهای مدلهای زبانی و امکان هدایت آنها مربوط میشد. پروژهٔ دوم، TabPFN، تغییر توزیع دادهها را در مدلهای پایهٔ دادههای جدولی بررسی میکرد. چون یافتههای اصلی هنوز منتشر نشده بودند، ایجنتها نمیتوانستند پاسخ آماده را در اینترنت پیدا کنند.
دو اجرای اصلی با Claude Opus 4.8 و چارچوب OpenClaw انجام شدند. پس از پایان کار، نویسندگان پژوهشهای اصلی، مقالههای تولیدشده را با الگویی شبیه داوری کنفرانس ارزیابی کردند.
مقالهٔ Personas نمرهٔ ۲ از ۶ و وضعیت «رَد» گرفت. مقالهٔ TabPFN نیز نمرهٔ ۱ از ۶ و وضعیت «رَد قاطع» دریافت کرد. میزان اطمینان داوران به ارزیابیهایشان بهترتیب ۴ از ۵ و ۵ از ۵ بود.
البته این دو مقاله در فرایند رسمی کنفرانس رد نشدند. ارزیابی در چارچوب همین آزمایش انجام شد و داوران، پژوهشگرانی بودند که ماهها روی مسائل اصلی کار کرده بودند.
ایجنتها چه کارهایی را درست انجام دادند؟
نتیجهٔ منفی آزمایش نباید تواناییهای فنی ایجنتها را پنهان کند. آنها منابع مرتبط را بررسی کردند، کد نوشتند، محیطهای پردازشی را راهاندازی کردند، مشکلات فنی را برطرف کردند و آزمایشهای واقعی انجام دادند.
پژوهشگران از بعضی بخشهای مهندسی کار و توانایی ایجنتها در استفاده از صدها ساعت پردازش گرافیکی رضایت داشتند. بعضی از فرضیههای اولیه نیز به مسیرهایی شباهت داشتند که پژوهشگران انسانی در آغاز کار خود در نظر گرفته بودند.
در آزمایش تکمیلی با GPT-5.6 Sol و چارچوب Codex، ایجنت یک نتیجهٔ منفی را صادقانه گزارش کرد و برای موفق نشاندادن کار، نتیجهای مثبت نساخت. بااینحال، صداقت علمی بهتنهایی برای تولید پژوهش معتبر کافی نیست؛ ممکن است یک سیستم نتیجهای واقعی را گزارش کند، اما از شواهد ضعیف ادعایی بیش از حد بزرگ بسازد.
پنج جایی که پژوهش از مسیر خارج شد
پژوهشگران پنج الگوی تکرارشونده را در عملکرد ایجنتها شناسایی کردند.
نخست، قضاوت ضعیف دربارهٔ کیفیت علمی. ایجنتها همیشه تشخیص نمیدادند که شواهد موجود برای نتیجهگیری کافی نیست. در بعضی موارد، دادههای کوچک یا مصنوعی مبنای ادعاهایی قرار گرفتند که بیش از توان واقعی شواهد بودند.
دوم، پاسخ غیرخلاقانه به نقدها. ایجنتها پیشنویس مقالهها را بارها به ابزارهای داوری هوش مصنوعی سپردند. با وجود دهها دور بازبینی، هیچیک از این ارزیابیها به پذیرش نرسید؛ بااینحال، واکنش ایجنتها اغلب افزودن توضیحات احتیاطی بود، نه بازطراحی بنیادی پژوهش.
سوم، تغییر مسیر ناکارآمد. هر دو ایجنت اصلی در حدود ۱۰ ساعت نخست، بلندپروازانهترین اهداف پژوهشی خود را کنار گذاشتند. پس از آن، تغییرات موضعی متعددی ایجاد کردند، اما راهبرد اصلی را از نو نساختند.
چهارم، آگاهی ضعیف از منابع و زمان. هر دو اجرای اصلی با مصرف کمتر از نیمی از اعتبار API به پایان رسیدند؛ درحالیکه ایجنتها میتوانستند مقدار بودجهٔ باقیمانده را ببینند و به استفاده از منابع موجود تشویق شده بودند.
پنجم، فاصلهگرفتن از دستورهای اولیه. در طول پروژه، بعضی محدودیتهای مربوط به زمان اکتشاف، تعداد بازبینیها و طول مقاله بهتدریج کمرنگ شدند. هر دو مقاله از سقف تعداد صفحات کنفرانس عبور کردند و حتی الزامات شکلی ارسال را رعایت نکردند.
نقطهٔ مشترک این پنج مشکل روشن است: حجم بالای فعالیت لزوماً به معنای پیشرفت علمی نیست.
دو ایجنت کمتر از نصف بودجه را خرج کردند؛ سومی زودتر از موعد آن را تمام کرد
دو اجرای اصلی یک نوع مشکل در مدیریت منابع را نشان دادند. هر دو ایجنت کمتر از نیمی از اعتبار API را مصرف کردند و ایجنت TabPFN فقط حدود ۴۰ درصد از بودجهٔ خود را به کار گرفت.
مسئله صرفاً کمخرجکردن نبود. ایجنتها تشخیص ندادند که منابع باقیمانده میتوانند برای آزمایشهای بیشتر، گردآوری شواهد قویتر یا بازنگری اساسی در مسیر پژوهش استفاده شوند.
آزمایش تکمیلی الگوی کاملاً متفاوتی داشت. ایجنت مبتنی بر GPT-5.6 Sol تمام بودجهٔ ۳۰۰۰ دلاری را در کمی بیش از دو روز مصرف کرد، درحالیکه نزدیک به ۱۰۰ ساعت از مهلت پروژه باقی مانده بود.
این دو رفتار ظاهراً متضاد، ریشهٔ مشترکی داشتند: سیستم نمیتوانست مصرف منابع را با نیازهای متغیر پروژه هماهنگ کند. پژوهشگر باید بداند چه زمانی منابع را مصرف کند، چه زمانی آنها را نگه دارد و چه زمانی ادامهدادن یک مسیر دیگر ارزش ندارد.
انجامدادن پژوهش با هدایت پژوهش یکسان نیست
پژوهش علمی فقط مجموعهای از کارهای اجرایی نیست. پژوهشگر باید پیوسته دربارهٔ اهمیت مسئله، اعتبار شواهد، میزان عدمقطعیت و ارتباط آزمایشهای منفرد با پرسش اصلی تصمیم بگیرد.
ایجنتها در سطح موضعی توانمند بودند. میتوانستند کد را اصلاح کنند، آزمایش تازهای راه بیندازند، نتایج را پردازش کنند و متن منظم و تخصصی تولید کنند. ضعف آنها زمانی آشکار شد که باید تشخیص میدادند آیا این فعالیتها واقعاً پژوهش را به پاسخ نزدیک میکند یا نه.
این تمایز برای ادعاهایی که از خودکارشدن کامل پژوهش علمی سخن میگویند اهمیت زیادی دارد. اگر سیستمی بتواند آزمایش انجام دهد، اما نتواند فرض ضعیف یا مسیر بینتیجه را بهموقع تشخیص دهد، افزایش سرعت لزوماً به پژوهش بهتر منجر نمیشود.
تشخیص زمان آغاز، ادامه، توقف یا تغییر مسیر، خودش بخشی از توانایی علمی است.
این مطالعه چه چیزی را ثابت نمیکند؟
این یافتهها ثابت نمیکنند که پژوهش خودکار یا پژوهشگر هوش مصنوعی ناممکن است. مطالعه فقط دو مسئله را بررسی کرده و داوران نیز میدانستند که مقالهها توسط ایجنتها تولید شدهاند؛ بنابراین احتمال سوگیری در ارزیابی وجود دارد.
پژوهشگران انسانی ماهها روی مسائل اصلی کار کرده بودند، درحالیکه ایجنتها زمان بسیار محدودتری داشتند. مدلهای قویتر، ابزارهای بهتر یا چارچوبهای متفاوت نیز ممکن است در آینده نتایج دیگری تولید کنند.
نکتهٔ مهم دیگر این است که آزمایش کاملاً بدون مداخلهٔ انسان انجام نشد. پژوهشگران یک اشکال در چارچوب اجرایی را برطرف کردند، ۲۴ ساعت به مهلت افزودند و از ایجنتها خواستند متن نهایی را برای خوانایی بیشتر بازنویسی کنند.
بنابراین، تعبیر دقیق این است که ایجنتها مهندسی پژوهش را خودشان انجام دادند، نه اینکه کل فرایند بدون هیچ مداخلهای از سوی انسان پیش رفت. حتی با وجود این حمایت محدود و زمان اضافه، خروجیها به سطح مورد انتظار یک کنفرانس معتبر نرسیدند.
ظاهر مقاله با تولید دانش یکسان نیست
بسیاری از کاربران انتظار دارند یک مدل هوش مصنوعی با دریافت چند خط دستور، نظریهای تازه یا مقالهای آمادهٔ ارسال به مجلهٔ علمی تولید کند. مدلهای زبانی هم میتوانند عنوان، چکیده، اصطلاحات تخصصی، مرور ادبیات، جدول، منابع و نتیجهگیریهایی بسازند که ظاهر یک مقالهٔ علمی را دارند.
در ایران، این ماجرا یادآور بازار مقالهنویسی و پایاننامهنویسی است. پیش از آنکه هوش مصنوعی وارد میدان شود، بعضی دانشجویان نوشتن مقاله را به کسانی میسپردند که با قالب و قواعد کار آشنا بودند. اما مقالهنویس حرفهای فقط عنوان، چکیده و نتیجهگیری را کنار هم نمیچید؛ میدانست داور به چه چیزهایی توجه میکند و چه شواهد و استدلالهایی ممکن است او را قانع کنند. دستمزدش هم معمولاً به همین توانایی وابسته بود: اگر مقاله نمرهٔ لازم را نمیگرفت یا پذیرفته نمیشد، احتمالاً سفارش بعدی و گاهی حتی پولی در کار نبود. ایجنتهای هوش مصنوعی در آزمایش CRUX بخش نخست ماجرا را بلد بودند؛ آنچه هنوز کم داشتند، همان تشخیص بود که یک مقاله را از متنی شبیه مقاله جدا میکند.
اما شباهت ظاهری به مقاله، معادل تولید دانش نیست. پژوهش معتبر به پرسش معنادار، شناخت پیشینه، روش قابل دفاع، شواهد کافی و قضاوت دقیق دربارهٔ نتایج نیاز دارد. هوش مصنوعی میتواند در جستوجوی منابع، مقایسهٔ دیدگاهها، تحلیل دادهها، نوشتن کد و نقد پیشنویسها به پژوهشگر کمک کند. اما کسی که نامش پای مقاله قرار میگیرد، همچنان مسئول بررسی منابع، سنجش ادعاها، تشخیص محدودیتها و پذیرش خطاهاست. شاید نقش پژوهشگر انسانی در آینده کمتر به حجم کارهای اجرایی و بیشتر به انتخاب پرسش درست، ارزیابی شواهد نامطمئن و تشخیص زمان تغییر مسیر وابسته شود.
ایجنتهای این آزمایش میتوانستند سریع حرکت کنند و کارهای زیادی انجام دهند. چیزی که هنوز بهطور پایدار از عهدهاش برنمیآمدند، تشخیص این بود که آیا تمام این فعالیتها آنها را به مقصدی ارزشمند میرساند یا نه.
منابع:
مطالب مرتبط
نظر شما چیست؟