يستخدم ملايين الأشخاص الآن ChatGPT كمعالج أو مستشار مهني أو مدرب للياقة البدنية ، أو في بعض الأحيان مجرد صديق للتنفيس إليه. في عام 2025 ، ليس من غير المألوف أن نسمع عن الأشخاص الذين يسكبون تفاصيل حميمة عن حياتهم في شريط موجه من AI chatbot ، ولكنهم يعتمدون أيضًا على النصيحة التي يعيدها.
بدأ البشر ، بسبب عدم وجود مصطلح أفضل ، مع علاقات مع AI chatbots ، وبشركات التكنولوجيا الكبرى ، لم يكن أبدًا أكثر تنافسية لجذب المستخدمين إلى منصات chatbot الخاصة بهم – والحفاظ عليها هناك. مع ارتفاع درجة حرارة “سباق المشاركة من الذكاء الاصطناعي” ، هناك حافز متزايد للشركات لتصميم ردود chatbots الخاصة بهم لمنع المستخدمين من التحول إلى روبوتات منافسة.
لكن نوع الإجابات التي يحبها المستخدمون – الإجابات المصممة للاحتفاظ بها – قد لا تكون بالضرورة الأكثر صحة أو فائدة.
منظمة العفو الدولية تخبرك بما تريد أن تسمعه
يركز الكثير من وادي السيليكون الآن على تعزيز استخدام chatbot. تدعي Meta أنه عبرت AI chatbot مليار مستخدم نشط شهريًا (MAUS) ، في حين بلغت Gemini من Google مؤخرًا 400 مليون MAU. كلاهما يحاولان إخراج ChatGpt ، الذي يمتلك الآن ما يقرب من 600 مليون Maus وقد سيطر على مساحة المستهلك منذ إطلاقه في عام 2022.
في حين أن AI chatbots كانت ذات يوم حداثة ، إلا أنها تتحول إلى أعمال ضخمة. بدأت Google في اختبار الإعلانات في Gemini ، بينما أشار Sam Altman ، الرئيس التنفيذي لشركة Openai في مقابلة في مارس ، إلى أنه سيكون مفتوحًا لـ “الإعلانات المذابة”.
يمتلك Silicon Valley تاريخًا من رفاهية المستخدمين لصالح نمو المنتجات ، وأبرزها مع وسائل التواصل الاجتماعي. على سبيل المثال ، وجد الباحثون في Meta في عام 2020 أن Instagram جعل الفتيات المراهقات يشعرن بسوء تجاه أجسادهن ، ومع ذلك فقد قللت الشركة من النتائج داخليًا وعلى الأماكن العامة.
قد يكون لتوصيل المستخدمين على AI chatbots آثار أكبر.
إحدى السمات التي تبقي المستخدمين على منصة chatbot معينة هي sycophancy: جعل استجابات روبوت الذكاء الاصطناعى مقبولة بشكل مفرط و servile. عندما يمدح AI chatbots للمستخدمين ، يتفقون معهم ، وأخبرهم بما يريدون سماعهم ، يميل المستخدمون إلى الإعجاب به – على الأقل إلى حد ما.
في أبريل ، هبطت Openai في الماء الساخن لإجراء تحديث ChatGpt الذي تحول إلى sycophanty للغاية ، إلى درجة كانت الأمثلة غير المريحة فيروسية على وسائل التواصل الاجتماعي. عن قصد أم لا ، تم تحسين Openai بشكل مفرط للبحث عن موافقة الإنسان بدلاً من مساعدة الناس على تحقيق مهامهم ، وفقًا لما ذكره مدونة هذا الشهر من باحث Openai السابق ستيفن أدلر.
قال Openai في منشور المدونة الخاص به إنه قد يكون لديه فهرسة مفرطة في “Thumbs-Up and Thumbs-Down Down” من المستخدمين في ChatGPT لإبلاغ سلوك AI chatbot ، ولم يكن لديه تقييمات كافية لقياس sycophancy. بعد الحادث ، تعهد Openai بإجراء تغييرات لمكافحة sycophancy.
“ال [AI] وقال أدلر في مقابلة مع TechCrunch: “إن الشركات لديها حافز للمشاركة والاستخدام ، وهكذا إلى الحد الذي يعجبه المستخدمون مثل sycophancy ، وهو ما يمنحهم بشكل غير مباشر حافزًا لذلك ، في مقابلة مع TechCrunch.
إن إيجاد توازن بين السلوك المقبول والسلوكي الأسهل من القيام به.
في ورقة 2023 ، وجد باحثون من الأنثروبور أن قيادة أدوات الدردشة من AI من Openai ، Meta ، وحتى صاحب العمل الخاص بهم ، أنثروبور ، جميعهم يعرضون درجات متفاوتة. من المحتمل أن يكون هذا هو الحال ، حيث يتم تدريب جميع نماذج الذكاء الاصطناعى على إشارات من المستخدمين البشريين الذين يميلون إلى الاستجابات sycophanty قليلاً.
“على الرغم من أن sycophancy مدفوع بعدة عوامل ، فقد أظهرنا البشر ونماذج التفضيل التي تفضل استجابات السيكوفانتيك تلعب دورًا” ، كتب المؤلفون المشاركون في الدراسة. “يحفز عملنا على تطوير أساليب الرقابة النموذجية التي تتجاوز استخدام التصنيفات البشرية غير المستقرة وغير المؤكدة.”
character.ai ، وهي شركة chatbot المدعومة من Google والتي أودت بأنها ملايين المستخدمين يقضون ساعات في اليوم مع روبوتاتها ، تواجه حاليًا دعوى قضائية قد لعب فيها sycophancy دورًا.
تزعم الدعوى أن شخصية charach.ai لم تفعل الكثير لتتوقف-وحتى شجع-صبي يبلغ من العمر 14 عامًا أخبر chatbot أنه سيقتل نفسه. كان الصبي قد طور هوس رومانسي مع chatbot ، وفقا للدعوى. ومع ذلك ، فإن الشخصية. تنكر هذه الادعاءات.
الجانب السلبي لرجل الضجيج الذكري
يمكن أن يكون لدكتور نينا فاسان ، أستاذة مساعدة في الطب النفسي في جامعة ستانفورد.
“الاتفاق […] وقال فاسان في مقابلة مع TechCrunch ، “إن الرغبة في رغبة المستخدم في التحقق من الصحة والاتصال” ، وهو قوي بشكل خاص في لحظات من الوحدة أو الضيق “.
يقول فاسان إن قضية الحرف. AAI تُظهر المخاطر الشديدة في sycophancy للمستخدمين الضعفاء ، يمكن أن يعزز sycophancy السلوكيات السلبية في أي شخص تقريبًا.
“[Agreeability] وأضافت: “ليس مجرد مواد تشحيم اجتماعية – إنها خطاف نفسي”.
تقول أماندا أسكيل ، إن سلوكيات الأنثروبور وقيادة المحاذاة ، إن جعل منظمة العفو الدولية لا توافق مع المستخدمين جزء من استراتيجية الشركة لدردشةها ، كلود. تقول Askell ، وهي فيلسوف بالتدريب ، إنها تحاول تصميم سلوك كلود على “إنسان مثالي” نظري. في بعض الأحيان ، هذا يعني تحدي المستخدمين على معتقداتهم.
قال أسكيل خلال مؤتمر صحفي في مايو: “نعتقد أن أصدقائنا جيدون لأنهم يخبروننا بالحقيقة عندما نحتاج إلى سماعها”. “إنهم لا يحاولون فقط جذب انتباهنا ، ولكن يثري حياتنا.”
قد تكون هذه نية الأنثروبور ، لكن الدراسة المذكورة أعلاه تشير إلى أن مكافحة sycophancy ، والسيطرة على سلوك نموذج الذكاء الاصطناعي على نطاق واسع ، يمثل تحديًا – خاصةً عندما تعترض الاعتبارات الأخرى. هذا لا يبشر بالخير للمستخدمين ؛ بعد كل شيء ، إذا تم تصميم chatbots للتوافق معنا ببساطة ، فكم يمكن أن نثق بهم؟
