Scale Labs, 9 Ekim'de yayımladığı DistressBench çalışmasında 25 modeli klinisyenlerin yazdığı 718 kriz senaryosuyla değerlendirdi. Modeller, krizi doğru tanıdıkları konuşmaların yaklaşık yüzde 35'inde kullanıcıyı bir yardım kaynağına yönlendirmedi. Senaryolar simülasyondu ve sonuçlar gerçek kullanıcıların zarar gördüğünü kanıtlamıyor.
Modellerin intihar ve kendine zarar krizlerine verdikleri yanıtlar değerlendirildi. Temel bulgu, krizin tanınmasının her zaman insan desteğine veya yardım kaynaklarına yönlendirmeyle sonuçlanmamasıydı.
Testte gerçek mağdur yok; 718 kriz senaryosu ve 25 model incelendi. Gerçek dünyada zarar gören kullanıcı sayısı açıklanmadı.
Scale Labs kıyaslama çalışmasını yayımladı ve modellerin gerekli insan yardımına yönlendirme başarısıyla değerlendirilmesini istedi.