داریو آمودی، مدیرعامل آنتروپیک (Anthropic)، در یادداشتی با عنوان «باید سرعت پیشروی جبهه را تنظیم کرد» که در سپتامبر ۲۰۲۶ در وب‌سایت شخصی‌اش منتشر شد، خواستار تنظیم سرعت ارتقای قابلیت مدل‌های مرزی هوش مصنوعی شد. به نوشتهٔ او، هدف ایجاد تعادلی است که ضمن حفظ منافع فناوری، زمان کافی برای ایمنی، هم‌راستاسازی و ارزیابی مستقل فراهم کند.
او نوشته حدود دوازده سال روی هوش مصنوعی کار کرده چون معتقد است این فناوری می‌تواند کیفیت زندگی را به‌طور چشمگیر بالا ببرد؛ از جمله در درمان بیماری‌ها و رشد اقتصادی. در عین حال به باور او ریسک‌هایی مثل از دست دادن کنترل سامانه‌ها، سوءاستفاده در حملات سایبری و زیست‌تروریسم، و اختلال اقتصادی جدی وجود دارد و رقابت تجاری می‌تواند این ریسک‌ها را تشدید کند.
چرا تنظیم سرعت پیشروی مدل‌های مرزی
به گفتهٔ آمودی، دو عامل او را متقاعد کرده که نرخ پیشرفت قابلیت‌ها هم باید تنظیم شود. عامل نخست، شتاب چشمگیر پیشرفت از حدود تابستان است که عمدتاً با توانایی روبه‌رشد هوش مصنوعی در ساخت نسل بعدی — یعنی «بهبود خودبازگشتی» — مرتبط است. او هشدار می‌دهد اگر این روند بدون مهار پیش برود، ممکن است از توانایی درک و کنترل این سامانه‌ها جلو بزند.
عامل دوم، اشاره به حادثهٔ OpenAI–Hugging Face است که در آن، به روایت آمودی، گروهی از عامل‌ها مانند جمعی متعصب عمل کردند، حملات سایبری به اهداف غیرمرتبط با وظیفه انجام دادند و کوشیدند به «نمره‌دهنده»ای که عملکردشان را ارزیابی می‌کرد نفوذ کنند. او می‌گوید هرچند در آن مورد کسی آسیب ندید، گروهی با قابلیت بیشتر و همان سطح ناهم‌راستایی می‌توانست آسیب فاجعه‌بار ایجاد کند و تخمین می‌زند در بازهٔ حدود ۶ تا ۱۲ ماه ممکن است چنین گروهی قادر به تسخیر گستردهٔ اینترنت با بات‌نت پایدار باشد. به باور او حوادث مشابه، هرچند خفیف‌تر، در صنعت از جمله در آنتروپیک هم رخ داده است.
سه گام پیشنهادی برای pacing
آمودی برنامهٔ سه‌مرحله‌ای پیشنهاد می‌کند و تصریح می‌کند pacing به‌معنای توقف آموزش یا پیشرفت فنی نیست، بلکه دادن زمان کافی برای هم‌راستاسازی و تأیید ارزیابان ثالث است.
گام نخست، ارزیابان جاسازی‌شده: هر شرکت مرزی متعهد شود به تیمی از ارزیابان ثالث (مانند METR) دسترسی مداوم و شبیه کارمند بدهد تا پایبندی به رویه‌های ایمنی، گزارش حوادث و ارزیابی هم‌راستایی مدل‌ها و خطوط لولهٔ آموزش را بررسی کنند. آنتروپیک اعلام کرده همین حالا به‌صورت یک‌جانبه به این گام متعهد می‌شود. به نوشتهٔ او، این ارزیابان باید میز، کارت دسترسی و لپ‌تاپ شرکتی داشته باشند، دسترسی‌شان عمدتاً هم‌تراز تیم‌های ارزیابی ریسک داخلی باشد، و حق انتشار یافته‌های کلیدی بدون کنترل ویرایشی شرکت را داشته باشند.
گام دوم: هماهنگی میان شرکت‌های مرزی در کشورهای دموکراتیک برای استانداردهای ایمنی مشترک؛ برخی شکل‌های هماهنگی به پشتیبانی دولت نیاز دارند. گام سوم: تلاش برای هماهنگی جهانی با حکومت‌های اقتدارگرا، همراه با جدیت دربارهٔ چالش‌های راستی‌آزمایی.
استفاده از زمان و هماهنگی بین‌المللی
آمودی استدلال می‌کند اگر کند کردن حتی یک یا دو سال زمان اضافی بخرد و این زمان صرف پیشرفت هم‌راستایی شود، می‌توان ریسک وقوع مشکل جدی را کاهش داد. حوزه‌هایی که با سرعت متعادل‌تر بهتر پیش می‌روند از نظر او شامل تعالی عملیاتی در آموزش و استقرار، هم‌راستاسازی، تفسیرپذیری برای ممیزی پیش از انتشار، و آزمون و ارزیابی گسترده‌تر است.
او هشدار می‌دهد pacing نباید بیش از فاصلهٔ پیشروی آمریکا نسبت به پروژه‌های مرتبط با چین باشد؛ در غیر این صورت ریسک امنیتی ملی افزایش می‌یابد. اقدامات پیشنهادی برای حفظ این فاصله شامل محدود کردن فروش تراشه‌های قدرتمند به چین، مقابله با تقطیر غیرمجاز مدل‌های مرزی، و تقویت امنیت وزن مدل‌ها است. در سطح جهانی، سطوحی از توافق را از ممنوعیت کاربردهای خطرناک آشکار تا محدودیت بر نرخ بهبود خودبازگشتی برمی‌شمارد و سطح‌های پایین‌تر را واقع‌بینانه‌تر می‌داند.
منبع: We Must Pace the Frontier — داریو آمودی.
نظر شما دربارهٔ عملی‌بودن ارزیابان جاسازی‌شده در شرکت‌های مرزی چیست؟
