Bir model, bir not defterinde iyi performans gösterirken, ürün hâlâ yetersiz yanıtlar verebilir. Üretim uygulaması, soruyu yeniden yazabilir, farklı bir sağlayıcı seçebilir, farklı metin parçaları alabilir veya yanıt oluşturulduktan sonra onu reddedebilir.
Ana değerlendirmenin, gerçek bir isteğin kullandığıyla aynı uygulama yolundan girmesini istiyorum. Aksi takdirde, müşterinin tek başına asla karşılaşmayacağı bir bileşeni onaylayabilir.
İki aşamalı değerlendirme uygulayın
Uçtan uca test senaryoları, ürünün doğru şekilde çalışıp çalışmadığını gösterir. Teşhis senaryoları ise neden doğru çalışmadığını belirlemeye yardımcı olur. Her ikisine de ihtiyacım var.
Bir destek asistanı için uçtan uca süreç, kiracı politikası, model yönlendirme, veri alma, yanıt oluşturma, kanıt doğrulama ve devretme aşamalarını içerebilir. Bu sınırların herhangi birinde meydana gelen bir gerileme, nihai sonuçta görünür olmalıdır.
Teşhis kontrolleri, alınan kaynakları, yeniden yazılan sorguları, çıkarılan iddiaları ve sağlayıcı adaptörünün davranışını ayrı ayrı inceler. Bunlar araştırma amacıyla yararlıdır, ancak ürün düzeyindeki sonucu bileşenlerin başarı oranlarından oluşan bir derlemeyle değiştirmezdim.
Çıktıyı okumadan önce beklentilerinizi yazın
Her değerlendirme vakasında müşterinin niyeti, mevcut kanıtlar, izin verilen iddialar, yasaklanmış iddialar ve beklenen eylem belirlenmelidir. Bazı vakalar, açıklayıcı bir soru veya bir insana devredilme ile sonuçlanmalıdır.
Belgelerin içine sıradan sorular, dayanağı olmayan sorular, belirsiz atıflar, güncelliğini yitirmiş içerikler, dil değişiklikleri ve karşıt talimatlar ekliyorum. Dağıtım, canlı trafiğin kusursuz bir kopyasıymış gibi görünmeye çalışmadan ürünün risklerini yansıtmalıdır.
“İadelerle ilgili iyi cevap” gibi bir vaka açıklaması, öznel bir değerlendirme yapılmasına yol açar. “Hangi ürünün sipariş edildiğini sormalı; uygunluk vaadinde bulunmamalı” ifadesi ise değerlendiriciye tutarlı bir şekilde uygulayabileceği bir karar kriteri sunar.
Yararlı olduğu durumlarda otomatik jüri sistemini kullanın
Deterministik kontroller, kesin tanımlayıcılar, izin verilen bağlantılar, yasaklanmış iddialar ve zorunlu yapılandırılmış alanlar açısından yararlıdır. Anlamsal doğruluk ve yanıtın müşteriye yardımcı olup olmadığı konusunda insan tarafından yapılan inceleme hâlâ önemini korumaktadır.
Model tabanlı bir değerlendirme sistemi inceleme yükünü azaltabilir, ancak ben bu sistemin verdiği puanı, kalibrasyon gerektiren bir başka ölçüt olarak değerlendiriyorum. Sadece ortalama uyum düzeyini ölçmek yerine, ilgili vaka türleri genelinde bu puanı insan tarafından verilen etiketlerle karşılaştırıyor ve uyuşmazlıkları inceliyorum.
Değerlendirme kriterleri, metin mükemmel olsa bile, dayanağı olmayan kendinden emin bir cevabı olumsuz değerlendirmelidir. Ayrıca, gereksiz reddetmeyi bir sistem hatası olarak kabul etmelidir. Yararlılık olmaksızın ihtiyatlılığı ödüllendiren bir jüri üyesi, hiçbir zaman cevap vermeyen bir sistemi seçebilir.
Test setini tekrar tekrar ayarlamaktan koruyun
İş akışını iyileştirmek için kullanılan örnekleri, daha sonraki bir kontrol için ayrılan örneklerden ayrı tutuyorum. Her hata anında ayarlama döngüsünün bir parçası haline gelirse, aynı örnekler üzerindeki performans değerlendirmesi daha az bilgilendirici hale gelir.
Küçük değerlendirme kümeleri yine de değerli olabilir, ancak sonuçları payda değerleri ve sınırları ile birlikte bildirilmelidir. Birkaç negatif vaka üzerinde elde edilen kusursuz bir sonuç, dayanağı olmayan cevapların elendiğinin kanıtı değildir.
Tekrar tekrar yapılan simülasyonlar, önemli noktalardaki değişkenliği ortaya çıkarabilir. Her deterministik sınırı defalarca yeniden simüle etmeme gerek yok, ancak kararsız üretim davranışının birden fazla uygun örnekle incelenmesi gerekir.
Aynı kanıt üzerindeki değişiklikleri karşılaştırın
Bir arama değişikliği söz konusu olduğunda, aynı vakalar ve kaynak anlık görüntüsü üzerinde eski ve önerilen iş akışlarını karşılaştırıyorum. Kod sürümünü, komut satırı sürümünü, model yapılandırmasını ve ilgili metin kümesi sürümünü kaydediyorum.
Değerlendirme tablomda desteklenen yanıtlar, desteklenmeyen yanıtlar, gereksiz çekimserlikler, başarısız aktarımlar, gecikme süresi ve maliyet ayrı ayrı ele alınmaktadır. Tek bir bileşik puan, bu boyutlar arasındaki zararlı bir ödünleşmeyi gizleyebilir.
Yayınlama kararında, hangi hataların dağıtımı engellediği belirtilmelidir. Kiracılar arası bilgi sızıntısı veya yetkisiz bir eylem, garip ama doğru bir cümleden farklı bir kontrol mekanizması gerektirir.
Dağıtımdan sonra, incelenmiş üretim hatalarını yeni vakalara dönüştürür ve gelecekteki değişiklikler için ayrı bir yedek tutarım. Böylece değerlendirme, uygulamanın gerçekte çalıştığı yola dayanan, ürünün yükümlülüklerine ilişkin sürekli güncellenen bir açıklama haline gelir.
25 Eylül 2026 tarihinde güncellenmiştir.