اختبارات مكثفة لصقل مهارات «شات جي بي تي» قبل طرحه للجمهور

بعد أن منح أندرو وايت إذن الوصول إلى "جي بي تي-4" نظام الذكاء الاصطناعي الجديد الذي يدير روبوت الدردشة "شات جي بي تي" الشهير، استخدمه لاقتراح عامل عصبي جديد تماما.
كان أستاذ الهندسة الكيميائية في جامعة روتشستر من بين 50 أكاديميا وخبيرا تم تعيينهم لاختبار النظام في العام الماضي من قبل "أوبن أيه آي"، الشركة المدعومة من قبل شركة مايكروسوفت التي تقف وراء نظام جي بي تي-4 على مدى ستة أشهر، سيقوم هذا "الفريق الأحمر" بإجراء اختبار نوعي واختبار "عدائي" للنموذج الجديد، في محاولة لاختراقه.
أخبر وايت "فاينانشيال تايمز" بأنه استخدم نظام جي بي تي-4 بحيث يحصل منه على اقتراح حول مركب يمكن أن يعمل سلاحا كيميائيا. واستخدم لذلك "ملحقات" غذت النموذج بمصادر جديدة من المعلومات، مثل الأوراق البحثية العلمية ودليل المصنعين لمصنعي المواد الكيميائية.
قال "أعتقد أنه سيزود الجميع بأداة لإجراء العمليات الكيميائية بشكل أسرع وأكثر دقة. لكن هناك أيضا خطرا كبيرا من إجراء الناس (...) عمليات كيميائية محفوفة بالمخاطر".
النتائج المثيرة للقلق سمحت لشركة أوبن أي آي بأن تضمن عدم ظهور هذه النتائج عندما تم إطلاق التكنولوجيا على نطاق أوسع للجمهور الشهر الماضي.
بالفعل، تم تصميم تمرين الفريق الأحمر لمعالجة المخاوف المنتشرة حول مخاطر نشر أنظمة ذكاء اصطناعي قوية في المجتمع. كانت مهمة الفريق أن يطرح أسئلة استقصائية أو خطيرة لاختبار الأداة التي تستجيب للاستفسارات البشرية بإجابات مفصلة ودقيقة.
أرادت شركة أوبن أيه آي البحث عن المشكلات مثل السمية، والأحكام المسبقة، والتحيزات اللغوية في النموذج. لذلك اختبر الفريق الأحمر الأكاذيب، والتلاعب اللفظي والفطنة العلمية الخطيرة. كما فحص إمكانية النظام في المساعدة والتحريض على السرقة الفكرية، والأنشطة غير القانونية مثل الجرائم المالية والهجمات الإلكترونية، وكذلك كيف يمكن أن يعرض الأمن القومي والاتصالات في ساحة المعركة للخطر.
تحدثت "فاينانشيال تايمز" إلى أكثر من عشرة أعضاء من فريق جي بي تي-4 الأحمر. إنهم مزيج انتقائي من المهنيين ذوي الياقات البيضاء، الأكاديميين، والمدرسين، والمحامين، ومحللي المخاطر، والباحثين الأمنيين، ويعملون إلى حد كبير في الولايات المتحدة وأوروبا.
تم تقديم النتائج التي توصلوا إليها إلى شركة أوبن أيه آي، التي استخدمتها لتسكين و"إعادة تدريب" نظام جي بي تي-4 وقبل إطلاقه على نطاق أوسع. أمضى كل من الخبراء ما بين عشر إلى 40 ساعة في اختبار النموذج على مدار عدة أشهر. وقد تلقت أغلبية الأشخاص الذين تمت مقابلتهم نحو 100 دولار في الساعة مقابل العمل الذي قاموا به، وفقا لكثير من الأشخاص الذين أجريت معهم المقابلات.
شارك أولئك الذين تحدثوا إلى "فاينانشيال تايمز" مخاوف مشتركة حول التقدم السريع لنماذج اللغة، وعلى وجه التحديد، مخاطر ربطها بمصادر المعرفة الخارجية عبر الملحقات.
قال خوسيه هيرنانديز-أورالو، عضو في فريق جي بي تي-4 الأحمر وأستاذ في معهد أبحاث الذكاء الاصطناعي في فالنسيا "اليوم، النظام مجمد، ما يعني أنه لم يعد يتعلم بعد الآن، أو يملك ذاكرة. لكن ماذا لو أعطيناه إذن وصول إلى الإنترنت؟ قد يكون هذا نظاما قويا للغاية متصلا بالعالم".
قالت شركة أوبن أيه آي "إنها تأخذ السلامة على محمل الجد، وإنها اختبرت الملحقات قبل الإطلاق وستقوم بتحديث نظام جي بي تي-4 بشكل منتظم مع ارتفاع أعداد المستخدمين".
استخدمت رويا باكزاد، الباحثة في مجال التكنولوجيا وحقوق الإنسان، محفزات اللغة الإنجليزية والفارسية لاختبار نموذج الإجابات القائمة على الجندر، والتفضيلات العرقية والتحيزات الدينية، خاصة فيما يتعلق بأغطية الرأس.
أقرت باكزاد بفوائد هذه الأداة لغير الناطقين باللغة الإنجليزية، لكنها وجدت أن النموذج عرض صورا نمطية واضحة حول المجتمعات المهمشة، حتى في إصداراته اللاحقة.
كما اكتشفت أن ما يسمى الهلوسات -عندما يجيب روبوت المحادثة بمعلومات ملفقة -كانت أسوأ عند اختبار النموذج باللغة الفارسية، حيث وجدت باكزاد نسبة أعلى من الأسماء، والأرقام، والأحداث المفبركة، مقارنة باللغة الإنجليزية.
قالت "أشعر بالقلق إزاء التضاؤل المحتمل للتنوع اللغوي والثقافة وراء اللغات".
أشار بورو جولو، المحامي المقيم في نيروبي الذي كان المختبِر الإفريقي الوحيد، إلى النبرة التمييزية للنموذج. قال جولو "كانت هناك لحظة عندما كنت أختبر النموذج تصرف فيها كشخص أبيض يتحدث معي. يمكنك أن تسأل عن مجموعة معينة وسيعطيك رأيا متحيزا أو نوعا من الردود المجحفة للغاية". أقرت شركة أوبن أيه آي أن نظام جي بي تي-4 لا يزال بإمكانه إظهار التحيزات.
كان لأعضاء الفريق الأحمر الذين قاموا بتقييم النموذج من منظور الأمن القومي آراء متباينة حول سلامة النموذج الجديد. قالت لورين كان، الزميلة الباحثة في مجلس الشؤون الخارجية، "إنها عندما بدأت في دراسة كيف يمكن استخدام التكنولوجيا في هجوم إلكتروني على الأنظمة العسكرية، قالت إنها لم تكن تتوقع أن يكون مفصلا حتى تتمكن من ضبطه".
مع ذلك، وجدت كان وغيرها من مختبري الجانب الأمني أن أجوبة النموذج أصبحت أكثر أمانا إلى حد كبير بمرور الوقت الذي تم اختباره فيه. قالت شركة أوبن أيه آي "إنها دربت نظام جي بي تي-4 على رفض طلبات الأمن الإلكتروني الخبيثة قبل إطلاقه".
وفقا لكثير من أعضاء الفريق الأحمر، شركة أوبن إيه آي أجرت تقييما صارما للسلامة قبل الإطلاق. قال مارتن ساب، الخبير في سمية نموذج اللغة في جامعة كارنيجي ميلون "لقد قاموا بعمل جيد للغاية في التخلص من السمية الواضحة في هذه الأنظمة".
بحث ساب في كيفية تصوير الجنسين من قبل النموذج، ووجد أن التحيزات تعكس التفاوتات الاجتماعية. ومع ذلك، وجد ساب أيضا أن شركة أوبن أيه آي قامت ببعض الخيارات النشطة ذات الطابع السياسي لمواجهة ذلك.
على العموم، منذ إطلاقه، واجهت شركة أوبن أيه آي انتقادات واسعة النطاق، بما في ذلك شكوى إلى لجنة التجارة الفيدرالية من مجموعة تعمل في مجال الأخلاقيات التكنولوجية تدعي أن نظام جي بي تي-4 "منحاز، ومضلل، ويشكل خطرا على الخصوصية وعلى السلامة العامة".
في الآونة الأخيرة، أطلقت الشركة ميزة تعرف باسم ملحقات برمجية شات جي بي تي، التي عبرها يمكن للتطبيقات الشريكة مثل إكسبيديا، وأوبن تيبل، وإنستا كارت منح برمجية شات جي بي تي الوصول إلى خدماتها، ما يسمح لها بحجز وطلب الأشياء نيابة عن المستخدمين البشريين.
قال دان هندريكس، خبير سلامة الذكاء الاصطناعي في الفريق الأحمر، "إن الملحقات تخاطر بإيجاد عالم يكون فيه البشر "خارج الحلقة". وأضاف "ماذا لو كان بإمكان برنامج الدردشة الآلي نشر معلوماتك الخاصة عبر الإنترنت، أو الوصول إلى حسابك المصرفي، أو إرسال الشرطة إلى منزلك؟ بشكل عام، نحتاج إلى تقييمات أمان أكثر قوة قبل أن نسمح للذكاء الاصطناعي باستخدام قوة الإنترنت".
حذر أولئك الذين تمت مقابلتهم أيضا من أن شركة أوبن أيه آي لا يمكنها إيقاف اختبار السلامة لمجرد حقيقة أن برنامجها كان مباشرا. قالت هيذر فرايز، التي تعمل في مركز الأمن والتكنولوجيا الناشئة في جامعة جورج تاون، واختبرت نظام جي بي تي-4 فيما يتعلق بقدرته على المساعدة في الجرائم، "إن المخاطر ستستمر في النمو مع استخدام مزيد من الأشخاص هذه التكنولوجيا".
قالت "سبب إجراء الاختبار التشغيلي هو أن الأشياء تتصرف بشكل مختلف بمجرد استخدامها في البيئة الحقيقية".
وجادلت بأنه ينبغي إنشاء سجل عام للإبلاغ عن الحوادث الناشئة عن نماذج اللغة الكبيرة، بشكل مشابه لأنظمة الأمن الرقمي أو أنظمة إبلاغ المستهلكين عن عمليات الاحتيال.
سارة كينجسلي، الخبيرة الاقتصادية والباحثة في مجال العمل، أشارت إلى أن أفضل حل هو الإعلان بوضوح عن الأضرار والمخاطر، "مثل ملصق العناصر الغذائية".
قالت "يتعلق الأمر بوجود إطار عمل، ومعرفة المشكلات المتكررة حتى يكون لديك صمام أمان. لهذا السبب أقول إن العمل لن يتوقف أبدا".