لا يزال يتعين على نماذج GPT والذكاء الاصطناعي القوية "الاستسلام" قبل هذا الاختبار

[إعلان 1]

وبناءً على ذلك، حتى نموذج الذكاء الاصطناعي الأفضل أداءً الذي اختبروه، وهو GPT-4-Turbo من OpenAI، لم يحقق سوى نسبة إجابة صحيحة بلغت 79% على الرغم من قراءة الملف الشخصي بالكامل، ورغم تعرضه في كثير من الأحيان لـ"هلوسة" تتعلق بأرقام أو أحداث غير واقعية.

وقال أناند كانابان، المؤسس المشارك لشركة Patronus AI: "هذا النوع من نسبة الأداء غير مقبول على الإطلاق". "يجب أن يكون معدل الإجابة الصحيحة أعلى بكثير حتى يتم أتمتته وتجهيزه للإنتاج."

وتسلط النتائج الضوء على بعض التحديات التي تواجه نماذج الذكاء الاصطناعي مع سعي الشركات الكبرى، وخاصة في الصناعات الخاضعة للتنظيم الشديد مثل القطاع المالي، إلى دمج التكنولوجيا المتقدمة في عملياتها، سواء كان ذلك في مجال خدمة العملاء أو البحث.

"وهم" البيانات المالية

لقد تم اعتبار القدرة على استخراج الأرقام الرئيسية بسرعة وإجراء تحليل للبيانات المالية واحدة من أكثر التطبيقات الواعدة للدردشة الآلية منذ إصدار ChatGPT في أواخر العام الماضي.

تحتوي ملفات لجنة الأوراق المالية والبورصات على بيانات مهمة، وإذا كان الروبوت قادرًا على تلخيص محتوياتها بدقة أو الإجابة بسرعة على الأسئلة المتعلقة بها، فقد يمنح المستخدمين أفضلية في الصناعة المالية التنافسية.

صورة llm 100941414 كبيرة.jpg — تواجه الذكاء الاصطناعي صعوبات كبيرة في مرحلة تجميع البيانات - وهي المهمة التي من المتوقع أن تساعد البشر فيها أكثر من غيرها.

على مدار العام الماضي، طورت شركة Bloomberg LP نموذج الذكاء الاصطناعي الخاص بها للبيانات المالية، وكان أساتذة كليات إدارة الأعمال يدرسون ما إذا كان ChatGPT قادرًا على تحليل العناوين المالية.

وفي الوقت نفسه، تعمل جي بي مورجان أيضًا على تطوير أداة استثمار آلية مدعومة بالذكاء الاصطناعي. توقعت شركة ماكينزي في توقعاتها الأخيرة أن الذكاء الاصطناعي التوليدي قد يعزز صناعة الخدمات المصرفية بتريليونات الدولارات سنويا.

ومع ذلك، فإن هذه الرحلة لا تزال بعيدة جدًا. عندما أطلقت Microsoft لأول مرة Bing Chat مع تكامل GPT الخاص بـ OpenAI، استخدمت روبوت المحادثة لتلخيص بيانات صحفية حول الأرباح بسرعة. وأدرك المراقبون سريعًا أن الأرقام التي أجابت عنها الذكاء الاصطناعي كانت منحرفة، أو حتى ملفقة.

نفس البيانات، إجابات مختلفة

إن جزء من التحدي المتمثل في دمج LLM في المنتجات في العالم الحقيقي هو أن الخوارزميات غير حتمية، مما يعني أنه لا يوجد ضمان لإرجاع نفس النتيجة في حالة وجود مدخلات متطابقة. وهذا يعني أن الشركات بحاجة إلى إجراء اختبارات أكثر صرامة لضمان عمل الذكاء الاصطناعي بدقة، وعدم الخروج عن الموضوع، وتوفير نتائج موثوقة.

قامت Patronus AI ببناء مجموعة مكونة من أكثر من 10000 سؤال وإجابة مستمدة من ملفات SEC من شركات كبيرة مدرجة في البورصة، تسمى FinanceBench. تتضمن مجموعة البيانات الإجابات الدقيقة بالإضافة إلى الموقع الدقيق في أي ملف معين للعثور عليها.

لا يمكن أخذ جميع الإجابات مباشرة من النص، وتتطلب بعض الأسئلة الحساب أو التفكير البسيط.

شمل اختبار المجموعة الفرعية المكون من 150 سؤالاً أربعة نماذج LLM: GPT-4 وGPT-4-Turbo من OpenAI، وClaude 2 من Anthropic، وLlama 2 من Meta.

ونتيجة لذلك، عندما تم منح GPT-4-Turbo حق الوصول إلى الملفات الأساسية لهيئة الأوراق المالية والبورصات، لم يحقق سوى معدل دقة بلغ 85% (مقارنة بـ 88% عندما لم يكن لديه حق الوصول إلى البيانات)، على الرغم من أن الإنسان أشار بالماوس إلى النص الدقيق حتى تتمكن الذكاء الاصطناعي من العثور على الإجابة.

كان لدى Llama 2، وهو نموذج الذكاء الاصطناعي مفتوح المصدر الذي طورته شركة Meta، أعلى عدد من "الهلوسة"، حيث حصل على 70% من الإجابات الخاطئة و19% فقط من الإجابات الصحيحة عندما تم منحه حق الوصول إلى جزء من المستندات الأساسية.

يعمل Claude 2 من Anthropic بشكل جيد عندما يتم إعطاؤه "سياقًا طويلًا"، حيث يتم تضمين ملف SEC ذي الصلة بالكامل تقريبًا جنبًا إلى جنب مع السؤال. تمكنت من الإجابة على 75% من الأسئلة المطروحة، وأجابت بشكل خاطئ على 21%، ورفضت الإجابة على 3%. كما أظهر برنامج GPT-4-Turbo أداءً جيدًا في السياقات الطويلة، حيث أجاب على 79% من الأسئلة بشكل صحيح و17% منها بشكل غير صحيح.

(وفقا لشبكة CNBC)