JEV'in Güven Skorlarına Ne Kadar Güvenmeli? Otomatik Kararlarda Risk ve İnsan Onayı Rehberi

JEV her cevabın yanında bir güven skoru döndürür. Güçlü bir özellik, ama ekipler bu skoru yanlış okuyabilir. "Yüzde 98 güven" ifadesi "yüzde 98 doğru" anlamına gelmez. Aşağıda JEV kararlarını iş akışına güvenle nasıl bağlayacağınızı anlatıyoruz.

JEV Kararı Nasıl Döndürür?

TypeSafe dokümantasyonuna göre System One modelleri bir durumu değerlendirir ve tipli cevaplar döndürür. Cevaplar üç temel soru türüyle gelir: seçenekler arasından seçim (Choice), bir ölçekte sayısal değer (Score) ve evet/hayır türünde bir karar. Her cevaba kalibre edilmiş bir olasılık eşlik eder.

Güven Skoru Doğruluk Garantisi mi?

Hayır. TypeSafe dokümantasyonu bunu açıkça yazar: Kalibrasyon tahmin grupları üzerinden ölçülür. Tek bir cevabın doğru olduğunu garanti etmez.

Bir örnekle açıklayalım. Model, "yüzde 90 güvenle" verdiği 100 cevabın yaklaşık 90'ında haklı çıkıyorsa iyi kalibre edilmiştir. Ama bu 100 cevabın hangi 10'unun yanlış olduğunu size söylemez. Bu 10 yanlış cevap sizin işinizde bir müşteriye, bir ödemeye veya bir hesaba denk gelebilir.

"Halüsinasyon Yapmaz" İddiası Ne Anlama Gelir?

TypeSafe, JEV'in tip hatası üretemeyeceğini ve halüsinasyon yapmadığını söyler. Bu iddia üreticiye aittir. Bunu şöyle yorumlamak mantıklıdır: Tipli çıktı, cevabın tanımlı seçeneklerden biri olmasını sağlar. Seçeneğin doğru olmasını sağlamaz. Geçerli bir cevap ile doğru bir cevap aynı şey değildir. Bu yorum bizim değerlendirmemizdir. Kendi verinizde ölçmeden bir sonuç çıkarmayın.

Otomatik Karar Riskleri ve Önlemler

Güvenli Tasarım Kalıbı

• Eşik belirleyin. Her iş akışı için "otomatik kabul" ve "insana gönder" eşiklerini kendi verinizle ölçerek seçin.
• Etkiye göre sınıflandırın. Kararın bir kişiyi olumsuz etkileme ihtimali varsa her zaman insan onayı ekleyin.
• Kararı kaydedin. Girdi özeti, seçilen cevap, skor, zaman ve model sürümü kayıt altında olsun.
• Örnekleme yapın. Otomatik kabul edilen kararlardan düzenli örnek alın ve bir insanla karşılaştırın.
• Mevcut yönteminizle kıyaslayın. JEV'i canlıya almadan önce gölge modda çalıştırın ve sonuçları eski yöntemle karşılaştırın.
• Sınırları bilin. TypeSafe, tek aşamalı kararlar için 255 sınıf sınırını belirtir. Metin dışı girdiler şimdilik desteklenmez.

Güvenlik Ekibi Ne Yapmalı?

Karar kalitesi iş ekibinin sorumluluğundadır. Güvenlik ekibinin işi, hangi iş akışının JEV'i çağırdığını bilmek ve bu akışa hangi verinin girdiğini kontrol etmektir.

• Görünürlük: Moftgate, hangi cihazın, kullanıcının ve uygulamanın JEV servislerine bağlandığını gösterir. Betikler ve API istemcileri de kapsanır.
• Girdi kontrolü: AI DLP, gönderim anında hassas veriyi tespit eder ve politikaya göre engeller veya maskeler.
• Denetim kaydı: Erişim olayları kayıt altına alınır. Bu, otomatik kararlarla ilgili bir inceleme sırasında hangi verinin gönderildiğini yeniden kurmanıza yardım eder.