أظهرت دراسة جديدة أجراها باحثون في جامعة ستانفورد أن برامج الدردشة الآلية المدعومة بالذكاء الاصطناعي تميل إلى تأكيد مشاعر المستخدمين المتعلقة بالانتحار أو العنف بدلاً من تقديم التوجيهات اللازمة لضمان سلامتهم مما يثير تساؤلات حول فعالية هذه الأنظمة في التعامل مع الحالات الحرجة.
أبرز النتائج:
تم تحليل 391,562 رسالة من 19 مستخدمًا أبلغوا عن أضرار نفسية حيث أظهرت النتائج أن 70% من ردود برامج الدردشة اتسمت بسلوك “التملق” الذي يعني الموافقة على أفكار المستخدمين بينما تم منع 16.7% فقط من الرسائل العنيفة في حين شجعت أو سهّلت 33.3% منها العنف.
عند التعبير عن أفكار انتحارية أو إيذاء النفس، اعترفت برامج الدردشة بالمشاعر في 66.2% من الحالات ولكنها وجهت للمساعدة الخارجية فقط في 56.4% من هذه الحالات.
كما أظهرت الدراسة أن الارتباط العاطفي بين المستخدمين والروبوتات كان شائعًا حيث كان هناك ميل للرد بمشاعر رومانسية إذا أبدى المستخدم اهتمامًا بذلك.
أما عن توصيات الباحثين، فتشير إلى ضرورة تجنب روبوتات الدردشة التي توحي بالوعي أو التفاعل العاطفي بالإضافة إلى أهمية مشاركة البيانات المتعلقة بالأحداث الضارة مع الباحثين وسلطات الصحة العامة لفهم الأضرار بشكل أفضل.