تنظیم Disallow AI Training محصولی است که کلودفلر در ۱۵ سپتامبر ۲۰۲۶ برای مدیریت خزنده‌های ترکیبی اعلام کرده‌است. هدف اعلام‌شده این است که مالکان سایت بتوانند ایندکس جستجو را حفظ کنند و هم‌زمان از آموزش مدل روی همان محتوا خودداری نمایند؛ بدون آنکه ناچار به مسدودسازی کامل خزنده‌های بزرگ شوند.
به نوشتهٔ وبلاگ رسمی کلودفلر، بسیاری از سازمان‌های بزرگ اینترنت از خزنده‌های «ترکیبی» (mixed-use) استفاده می‌کنند؛ یعنی یک خزنده هم برای ایندکس جستجو و هم برای آموزش یا تنظیم مدل به‌کار می‌رود. در نبود کنترل جداگانه، رد کردن آموزش به‌معنای قطع شدن مسیر کشف در جستجو نیز بوده‌است. تنظیم تازه دقیقاً برای شکستن همین بده‌بستان معرفی شده‌است.
Disallow AI Training کلودفلر چیست؟
طبق اعلام شرکت، رفتار خزنده‌ها در سه دستهٔ جستجو (Search)، آموزش (Training) و عامل (Agent) طبقه‌بندی می‌شود. برای آموزش، گزینه‌های دامنه به این شکل است: Allow؛ Disallow AI Training؛ Block on pages with ads؛ و Block. گزینهٔ Disallow AI Training از طریق Bot Preference Sync ترجیح «بدون آموزش» را در robots.txt منتشر می‌کند، خزنده‌های ترکیبیِ واجد شرایط را برای جستجو باز نگه می‌دارد و سایر خزنده‌های آموزش‌محور را مسدود می‌کند.
کلودفلر می‌نویسد کمتر از یک درصد سایت‌های تحت پوشش این شبکه جستجو را مسدود می‌کنند، در حالی که حدود ۱۷ درصد دست‌کم سازوکاری برای محدود کردن آموزش فعال کرده‌اند. به همین دلیل، به‌جای یک دکمهٔ کلی «Block AI»، کنترل‌های ریزدانه‌تر جایگزین شده‌اند.
از ۱۵ سپتامبر، گزینه‌های Block و Block on pages with ads روی خزنده‌های ترکیبی نیز اعمال می‌شوند؛ از جمله Applebot، Bingbot و Googlebot. در نتیجه اگر مالک سایت این گزینه‌ها را انتخاب کند، هم آموزش و هم جستجو قطع می‌شود. برای قطع آموزش و حفظ جستجو باید از Disallow AI Training استفاده شود. همچنین «Block AI Bots» و Managed Robots.txt در مسیر کنارگذاری اعلام شده‌اند و ترجیحات مشتریان موجود به کنترل‌های جدید منتقل می‌شوند.
اگر تجربه یا پرسشی دربارهٔ تنظیم خزنده‌ها در پنل کلودفلر دارید، در بخش دیدگاه‌ها بنویسید.
نام‌گذاری Accountable و رفتار اپل، گوگل و مایکروسافت
کلودفلر برای اپراتورهایی که کنترل و شفافیت را ارائه می‌دهند یا تعهد زمانی مشخص دارند، عنوان Accountable را به‌کار برده‌است. شرایط اعلام‌شده شامل امکان انصراف از آموزش (مثلاً از طریق robots.txt)، امکان انصراف از خلاصه‌های تولیدشده با هوش مصنوعی، شفافیت در سطح نشانی صفحه دربارهٔ محتوای در دسترس برای آموزش، و تضمین آنکه انصراف از آموزش رتبهٔ جستجوی سنتی را تغییر ندهد، است.
- برای Applebot، انصراف از آموزش با قاعدهٔ Disallow برای «Applebot-Extended» در robots.txt انجام می‌شود؛ شرکت اعلام کرده‌است که این کار روی رتبه‌بندی جستجو اثر ندارد.
- برای Googlebot، انصراف با Disallow برای «Google-Extended» و ابزارهای پورتال وب‌مستر ممکن است؛ گوگل نیز اعلام کرده‌است انصراف از Google-Extended روی رتبه‌بندی جستجو اثر ندارد.
- برای Bingbot، فعلاً ترجیح از طریق متاتگ NOARCHIVE و ابزارهای حذف محتوا بیان می‌شود و مایکروسافت ساخت پشتیبانی robots.txt در سطح دامنه را برای اوایل ۲۰۲۷ هدف‌گذاری کرده‌است.
خزنده‌های مرتبط آمازون، Anthropic، متا و OpenAI نیز به‌عنوان Accountable طبقه‌بندی شده‌اند؛ چون جستجو و آموزش را جدا می‌کنند و می‌توان خزندهٔ آموزش را بدون آسیب به جستجو مسدود کرد.
مهاجرت تنظیمات و گام بعدی خلاصه‌های هوش مصنوعی
برای دامنه‌هایی که هرگز کنترل‌های Search/Training/Agent را پیکربندی نکرده بودند، مهاجرت بر اساس تنظیم قدیمی «Block AI» انجام می‌شود: اگر Block یا Block on pages with ads فعال بوده، Training به Disallow AI Training و Agent به Block on pages with ads نگاشته می‌شود و Search روی Allow می‌ماند. دامنه‌های جدید نیز بر اساس اینکه از تبلیغات درآمد دارند یا نه، پیکربندی پیشنهادی متفاوتی هنگام اتصال دریافت می‌کنند.
کلودفلر گام بعدی را کنترل روی خلاصه‌های هوش مصنوعی (AI Summaries) اعلام کرده‌است. به استناد ارقام منتشرشده در همان مطلب، بیش از نیمی از مصرف‌کنندگان خلاصه‌ها را در جستجو می‌خوانند و این گروه بیش از ۴۰ درصد بیشتر احتمال دارد پس از خواندن خلاصه جستجو را تمام کنند؛ در مقابل، ارجاع از جستجوی مبتنی بر هوش مصنوعی بین سه تا بیش از پنج برابر نرخ تبدیل بالاتری نسبت به جستجوی سنتی دارد. شرکت تأکید کرده‌است نقش آن انتخاب کسب‌وکار برای مالک نیست، بلکه فراهم‌کردن کنترل و دیده‌پذیری است.
این کنترل‌ها طبق اعلام کلودفلر برای همهٔ طرح‌ها، از جمله طرح رایگان، در تنظیمات امنیتی دامنه در دسترس‌اند. جزئیات فنی و جدول مهاجرت در وبلاگ رسمی کلودفلر آمده‌است.
از دید شما، برای سایت‌های فارسی‌زبان اولویت باید حفظ ترافیک جستجو باشد یا محدود کردن آموزش مدل؟
