أظهرت دراسة أجراها فريق من الباحثين في جامعة ستانفورد الأمريكية لتقييم مدى إمكانية الاعتماد على تطبيقات وبرامج الكشف عن النصوص التي أعدتها تطبيقات الذكاء الاصطناعي ويتم تقديمها باعتبارها من إعداد أشخاص طبيعيين، أنها متحيزة ونتائجها غير دقيقة.

وذكر موقع "سي نت دوت كوم" المتخصص في موضوعات التكنولوجيا أن فريق البحث فوجئ بأن أغلب تطبيقات اكتشاف إنتاج تطبيقات الذكاء الاصطناعي مثل "شات جي.بي.تي،" فشلت في الوصول إلى نتائج دقيقة بدرجة مقبولة، وأنها تصنف النصوص الإنجليزية التي يكتبها أشخاص لغتهم الأم ليست الإنجليزية باعتبارها من إنتاج تطبيق ذكاء اصطناعي، وهو ما يظهر محدودية قيمة عمل هذه التطبيقات وتحيزاتها التي يجب على المستخدم الالتفات إليها.
واستخدم فريق الباحثين 91 مقالة من إعداد طلاب يخوضون امتحان اللغة الإنجليزية كلغة أجنبية (تويفل) من أحد المنتديات الصينية و88 مقالة كتبها أمريكيون يدرسون في الصف الثامن.
وفحص الباحثون هذه المقالات من خلال 7 تطبيقات لاكتشاف إنتاج تطبيق شات جي.بي.تي، وبينها تطبيق من إنتاج شركة أوبن إيه.آي المطورة لشات جي.بي.تي نفسه. ووجد الباحثون أن 5.1% فقط من المقالات التي كتبها الطلاب الأمريكيون تم تصنيفها باعتبارها إنتاج تطبيق ذكاء اصطناعي، في حين تم تصنيف 61% من مقالات الأجانب الذين كانوا يخوضون اختبار التويفل باعتبارها إعداد برنامج ذكاء اصطناعي. بل إن أحد تطبيقات الكشف صنفت 97.8% من مقالات اختبار التويفل باعتبارها من إنتاج الذكاء الاصطناعي.
واتفقت التطبيقات السبعة على اعتبار 18 من بين مقالات اختبار التويفل وعددها 91 مقالة من إنتاج أدوات الذكاء الاصطناعي. وأشار الباحثون إلى أن "تشوش النص" ربما يكون هو السبب الرئيسي في اعتبار هذه النصوص من إنتاج الذكاء الاصطناعي على غير الحقيقة.
ويعتبر تشوش النص نوعاً من مقاييس مدى التنوع في المفردات وعشوائية استخدامها في النص. وتشير الدراسات إلى أن الكتاب الذين لا تعتبر اللغة الإنجليزية لغتهم الأم يمتلكون حصيلة لغوية ونحوية محدودة، وهو ما يظهر في النصوص التي يكتبونها، ولذلك تعتبرها تطبيقات اكتشاف الذكاء الاصطناعي أنها ليست نصوصاً مكتوبة من شخص عادي.