این شرکت ادعا می‌کند که مدل زبانی بزرگ Llama 3، که به‌زودی از طریق سرویس‌های ابری مانند AWS منتشر خواهد شد، دارای عملکرد بهتری نسبت به اکثر مدل‌های فعلی هوش مصنوعی است.

در حال حاضر، Llama 3 دو نسخه با هشت میلیارد و هفتاد میلیارد پارامتر دارد که تاکنون فقط پاسخ‌های مبتنی بر متن را ارائه می‌دهد. این مدل از تنوع بیشتری در پاسخ به درخواست‌ها نسبت به رقبای خود از نظر اندازه برخوردار است.

در مواردی که پاسخ دادن به سؤالات بهتر است متناسب نباشد، Llama 3 کمتر امتناع کاذب دارد و می‌تواند بهتر استدلال کند. متا اظهار می‌کند که Llama 3 دستورالعمل‌های بیشتری را می‌فهمد و کدهای بهتری نسبت به قبل تولید می‌کند.

ادعای متا این است که دو نسخه اولیه‌ی Llama 3 در بنچمارک‌های مشخص نسبت به مدل‌های مشابهی مانند جمنا و جمنای و میسترال و Claude 3 عملکرد بهتری دارند. در معیار MMLU که عموماً دانش عمومی را اندازه‌گیری می‌کند، نسخه با هشت میلیارد پارامتری Llama 3 به طور قابل توجهی عملکرد بهتری نسبت به جمنا و میسترال با هفت میلیارد پارامتر داشته است. همچنین، نسخه با هفتاد میلیارد پارامتری Llama 3 هم به‌خوبی با جمنای پرو ۱.۵ رقابت کرده است.

مهمترین نکته این است که در مقایسه‌های متا، مدل زبانی بزرگ GPT-4 مورد توجه قرار نگرفته است. باید توجه داشت که بنچمارک مدل‌های هوش مصنوعی، اگرچه مفید است، اما ناقص است. دیتاست‌های استفاده شده برای ارزیابی مدل‌ها بخشی از آموزش آن‌ها هستند؛ به این معنی که یک مدل زبانی بزرگ از قبل پاسخ سؤالات را می‌داند.

متا اظهار می‌کند که ارزیابی‌های انسانی، Llama 3 را بالاتر از مدل‌های دیگر از جمله GPT-3.5 رتبه‌بندی کرده‌اند. این شرکت دیتاست‌های جدیدی را برای ارزیابی‌های انسانی ایجاد کرده است تا سناریوهای واقعی را که ممکن است در آن‌ها از Llama 3 استفاده شود، شبیه‌سازی کند.

دیتاست‌های یادشده شامل مواردی مانند درخواست مشاوره، خلاصه‌نویسی و نوشتن خلاقانه می‌شود. متا بیان کرد که تیمی که روی این مدل کار می‌کردند به داده‌های ارزیابی جدید دسترسی نداشته و بنابراین تأثیری بر عملکرد مدل نگذاشته‌اند.

نسخه با چهارصد میلیارد پارامتری Llama 3 هم به زودی عرضه خواهد شد که می‌تواند رشته‌های طولانی‌تری از دستورالعمل‌ها و داده‌ها را درک کند و مدلی چندحالته است که می‌تواند برای تولید تصویر یا رونویسی یک فایل صوتی به‌کار رود. این نسخه همچنین قادر است الگوهای پیچیده‌تری را نسبت‌به نسخه‌های کوچک‌تر یاد بگیرد و در حال حاضر در دوره آموزشی قرار دارد.

اگر علاقه‌مند دنیای تکنولوژی هستید حتما شبکه‌های اجتماعی فیسیت را در اینستاگرام، تلگرام، روبیکا، توییتر و آپارات را دنبال کنید.