{"id":16,"date":"2026-06-18T10:00:00","date_gmt":"2026-06-18T07:00:00","guid":{"rendered":"https:\/\/www.hasangultekin.com\/2026\/06\/18\/llm-evals-production-path\/"},"modified":"2026-06-18T10:00:00","modified_gmt":"2026-06-18T07:00:00","slug":"llm-evals-production-path","status":"publish","type":"post","link":"https:\/\/www.hasangultekin.com\/tr\/2026\/06\/18\/llm-evals-production-path\/","title":{"rendered":"LLM de\u011ferlendirmeleri, ger\u00e7ekte kullan\u0131ma sundu\u011funuz yolu izlemelidir"},"content":{"rendered":"<p>Bir model, bir not defterinde iyi performans g\u00f6sterirken, \u00fcr\u00fcn yine de yetersiz yan\u0131tlar verebilir. \u00dcretim uygulamas\u0131, soruyu yeniden yazabilir, farkl\u0131 bir sa\u011flay\u0131c\u0131 se\u00e7ebilir, farkl\u0131 metin par\u00e7alar\u0131 alabilir veya yan\u0131t olu\u015fturulduktan sonra onu reddedebilir.<\/p>\n<p>Ana de\u011ferlendirmenin, ger\u00e7ek bir iste\u011fin kulland\u0131\u011f\u0131yla ayn\u0131 uygulama yolundan girmesini istiyorum. Aksi takdirde, m\u00fc\u015fterinin tek ba\u015f\u0131na asla kar\u015f\u0131la\u015fmayaca\u011f\u0131 bir bile\u015feni onaylayabilir.<\/p>\n<h2>\u0130ki a\u015famal\u0131 de\u011ferlendirme uygulay\u0131n<\/h2>\n<p>U\u00e7tan uca test senaryolar\u0131, \u00fcr\u00fcn\u00fcn do\u011fru \u015fekilde \u00e7al\u0131\u015f\u0131p \u00e7al\u0131\u015fmad\u0131\u011f\u0131n\u0131 g\u00f6sterir. Te\u015fhis senaryolar\u0131 ise \u00fcr\u00fcn\u00fcn neden do\u011fru \u00e7al\u0131\u015fmad\u0131\u011f\u0131n\u0131 belirlemeye yard\u0131mc\u0131 olur. Her ikisine de ihtiyac\u0131m var.<\/p>\n<p>Bir destek asistan\u0131 i\u00e7in u\u00e7tan uca s\u00fcre\u00e7, kirac\u0131 politikas\u0131, model y\u00f6nlendirme, veri alma, yan\u0131t olu\u015fturma, kan\u0131t do\u011frulama ve devretme a\u015famalar\u0131n\u0131 i\u00e7erebilir. Bu s\u0131n\u0131rlar\u0131n herhangi birinde meydana gelen bir gerileme, nihai sonu\u00e7ta g\u00f6r\u00fcl\u00fcr olmal\u0131d\u0131r.<\/p>\n<p>Te\u015fhis kontrolleri, geri getirilen kaynaklar\u0131, yeniden yaz\u0131lan sorgular\u0131, \u00e7\u0131kar\u0131lan iddialar\u0131 ve sa\u011flay\u0131c\u0131 adapt\u00f6r\u00fcn\u00fcn davran\u0131\u015f\u0131n\u0131 ayr\u0131 ayr\u0131 inceler. Bunlar ara\u015ft\u0131rma amac\u0131yla yararl\u0131d\u0131r, ancak \u00fcr\u00fcn d\u00fczeyindeki sonucu bir dizi bile\u015fen ba\u015far\u0131 oran\u0131yla de\u011fi\u015ftirmezdim.<\/p>\n<h2>\u00c7\u0131kt\u0131y\u0131 okumadan \u00f6nce beklentilerinizi yaz\u0131n<\/h2>\n<p>Her de\u011ferlendirme vakas\u0131nda m\u00fc\u015fterinin niyeti, mevcut kan\u0131tlar, izin verilen iddialar, yasaklanm\u0131\u015f iddialar ve beklenen eylem belirlenmelidir. Baz\u0131 vakalar, a\u00e7\u0131klay\u0131c\u0131 bir soru veya bir insana devredilme ile sonu\u00e7lanmal\u0131d\u0131r.<\/p>\n<p>Belgelerin i\u00e7ine s\u0131radan sorular, dayana\u011f\u0131 olmayan sorular, belirsiz referanslar, g\u00fcncelli\u011fini yitirmi\u015f i\u00e7erikler, dil de\u011fi\u015fiklikleri ve kar\u015f\u0131t talimatlar ekliyorum. Da\u011f\u0131t\u0131m, canl\u0131 trafi\u011fin kusursuz bir kopyas\u0131ym\u0131\u015f gibi g\u00f6r\u00fcnmeye \u00e7al\u0131\u015fmadan \u00fcr\u00fcn\u00fcn risklerini yans\u0131tmal\u0131d\u0131r.<\/p>\n<p>\u201c\u0130adelerle ilgili iyi cevap\u201d gibi bir vaka a\u00e7\u0131klamas\u0131, \u00f6znel bir de\u011ferlendirme yap\u0131lmas\u0131na yol a\u00e7ar. \u201cHangi \u00fcr\u00fcn\u00fcn sipari\u015f edildi\u011fini sormal\u0131; uygunluk vaadinde bulunmamal\u0131\u201d ifadesi ise de\u011ferlendiriciye tutarl\u0131 bir \u015fekilde uygulayabilece\u011fi bir karar kriteri sunar.<\/p>\n<h2>Yararl\u0131 oldu\u011fu durumlarda otomatik j\u00fcri sistemini kullan\u0131n<\/h2>\n<p>Deterministik kontroller, kesin tan\u0131mlay\u0131c\u0131lar, izin verilen ba\u011flant\u0131lar, yasaklanm\u0131\u015f iddialar ve zorunlu yap\u0131land\u0131r\u0131lm\u0131\u015f alanlar a\u00e7\u0131s\u0131ndan yararl\u0131d\u0131r. Anlamsal do\u011fruluk ve yan\u0131t\u0131n m\u00fc\u015fteriye yard\u0131mc\u0131 olup olmad\u0131\u011f\u0131 a\u00e7\u0131s\u0131ndan insan taraf\u0131ndan yap\u0131lan inceleme h\u00e2l\u00e2 \u00f6nemini korumaktad\u0131r.<\/p>\n<p>Model tabanl\u0131 bir de\u011ferlendirici, inceleme y\u00fck\u00fcn\u00fc azaltabilir; ancak ben, bu modelin verdi\u011fi puan\u0131 da kalibrasyona ihtiya\u00e7 duyan bir ba\u015fka \u00f6l\u00e7\u00fct olarak de\u011ferlendiriyorum. Sadece ortalama uyum d\u00fczeyini \u00f6l\u00e7mek yerine, ilgili vaka t\u00fcrleri genelinde bu puan\u0131 insan taraf\u0131ndan verilen etiketlerle kar\u015f\u0131la\u015ft\u0131r\u0131yor ve uyu\u015fmazl\u0131klar\u0131 inceliyorum.<\/p>\n<p>De\u011ferlendirme kriterleri, metin m\u00fckemmel olsa bile, dayana\u011f\u0131 olmayan, kendinden emin bir cevab\u0131 olumsuz de\u011ferlendirmelidir. Ayr\u0131ca, gereksiz reddetmeyi bir sistem hatas\u0131 olarak kabul etmelidir. Yararl\u0131l\u0131k i\u00e7ermeyen ihtiyatl\u0131l\u0131\u011f\u0131 \u00f6d\u00fcllendiren bir j\u00fcri \u00fcyesi, hi\u00e7bir zaman cevap vermeyen bir sistemi se\u00e7ebilir.<\/p>\n<h2>Test setini tekrar tekrar ayarlamaktan koruyun<\/h2>\n<p>\u0130\u015f ak\u0131\u015f\u0131n\u0131 iyile\u015ftirmek i\u00e7in kullan\u0131lan \u00f6rnekleri, daha sonra kontrol edilmek \u00fczere ayr\u0131lan \u00f6rneklerden ay\u0131r\u0131yorum. Her hata an\u0131nda ayarlama d\u00f6ng\u00fcs\u00fcn\u00fcn bir par\u00e7as\u0131 haline gelirse, ayn\u0131 \u00f6rnekler \u00fczerindeki performans daha az bilgi verici hale gelir.<\/p>\n<p>K\u00fc\u00e7\u00fck de\u011ferlendirme k\u00fcmeleri yine de de\u011ferli olabilir, ancak sonu\u00e7lar\u0131 paydalar\u0131 ve s\u0131n\u0131rlar\u0131 ile birlikte bildirilmelidir. Birka\u00e7 negatif vaka \u00fczerinde elde edilen kusursuz bir sonu\u00e7, dayana\u011f\u0131 olmayan cevaplar\u0131n elendi\u011finin kan\u0131t\u0131 de\u011fildir.<\/p>\n<p>Tekrar tekrar yap\u0131lan sim\u00fclasyonlar, \u00f6nemli noktalardaki de\u011fi\u015fkenli\u011fi ortaya \u00e7\u0131karabilir. Her deterministik s\u0131n\u0131r\u0131 defalarca yeniden sim\u00fcle etmeme gerek yok; ancak karars\u0131z \u00fcretim davran\u0131\u015flar\u0131 i\u00e7in birden fazla uygun \u00f6rnek elde etmek gerekir.<\/p>\n<h2>Ayn\u0131 kan\u0131t \u00fczerindeki de\u011fi\u015fiklikleri kar\u015f\u0131la\u015ft\u0131r\u0131n<\/h2>\n<p>Bir arama de\u011fi\u015fikli\u011fi s\u00f6z konusu oldu\u011funda, ayn\u0131 vakalar ve kaynak anl\u0131k g\u00f6r\u00fcnt\u00fcs\u00fc \u00fczerinde eski ve \u00f6nerilen i\u015f ak\u0131\u015flar\u0131n\u0131 kar\u015f\u0131la\u015ft\u0131r\u0131yorum. Kod s\u00fcr\u00fcm\u00fcn\u00fc, komut sat\u0131r\u0131 s\u00fcr\u00fcm\u00fcn\u00fc, model yap\u0131land\u0131rmas\u0131n\u0131 ve ilgili metin k\u00fcmesi s\u00fcr\u00fcm\u00fcn\u00fc kaydediyorum.<\/p>\n<p>De\u011ferlendirme tablomda, desteklenen yan\u0131tlar, desteklenmeyen yan\u0131tlar, gereksiz \u00e7ekimserlikler, ba\u015far\u0131s\u0131z aktar\u0131mlar, gecikme s\u00fcresi ve maliyet ayr\u0131 ayr\u0131 ele al\u0131nmaktad\u0131r. Tek bir karma puan, bu boyutlar aras\u0131ndaki zararl\u0131 bir \u00f6d\u00fcnle\u015fimi gizleyebilir.<\/p>\n<p>Yay\u0131nlama karar\u0131nda, da\u011f\u0131t\u0131m\u0131 engelleyen hatalar\u0131n hangileri oldu\u011fu belirtilmelidir. Kirac\u0131lar aras\u0131 bilgi s\u0131z\u0131nt\u0131s\u0131 veya yetkisiz eylemler, garip ama do\u011fru bir c\u00fcmleden ziyade farkl\u0131 bir denetim a\u015famas\u0131na tabi tutulmal\u0131d\u0131r.<\/p>\n<p>Da\u011f\u0131t\u0131mdan sonra, incelenen \u00fcretim hatalar\u0131n\u0131 yeni vakalara d\u00f6n\u00fc\u015ft\u00fcr\u00fcr ve gelecekteki de\u011fi\u015fiklikler i\u00e7in ayr\u0131 bir yedek tutar\u0131m. B\u00f6ylece de\u011ferlendirme, uygulaman\u0131n ger\u00e7ekte \u00e7al\u0131\u015ft\u0131\u011f\u0131 yola dayanan, \u00fcr\u00fcn\u00fcn y\u00fck\u00fcml\u00fcl\u00fcklerine ili\u015fkin s\u00fcrekli g\u00fcncellenen bir a\u00e7\u0131klama haline gelir.<\/p>\n<p class=\"hg-editorial-note\"><small>25 Eyl\u00fcl 2026 tarihinde g\u00fcncellenmi\u015ftir.<\/small><\/p>","protected":false},"excerpt":{"rendered":"<p>Y\u00f6nlendirme, veri alma, yedekleme, do\u011frulama ve devretme i\u015flemlerini bir arada de\u011ferlendirin; ard\u0131ndan ar\u0131zalar\u0131n kayna\u011f\u0131n\u0131 belirlemek i\u00e7in tan\u0131lama kontrollerinden yararlan\u0131n.<\/p>","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_mi_skip_tracking":false,"footnotes":""},"categories":[151],"tags":[165,183,192],"class_list":["post-16","post","type-post","status-publish","format-standard","hentry","category-ai-engineering","tag-evaluation","tag-rag","tag-testing"],"_links":{"self":[{"href":"https:\/\/www.hasangultekin.com\/tr\/wp-json\/wp\/v2\/posts\/16","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.hasangultekin.com\/tr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.hasangultekin.com\/tr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.hasangultekin.com\/tr\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.hasangultekin.com\/tr\/wp-json\/wp\/v2\/comments?post=16"}],"version-history":[{"count":0,"href":"https:\/\/www.hasangultekin.com\/tr\/wp-json\/wp\/v2\/posts\/16\/revisions"}],"wp:attachment":[{"href":"https:\/\/www.hasangultekin.com\/tr\/wp-json\/wp\/v2\/media?parent=16"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.hasangultekin.com\/tr\/wp-json\/wp\/v2\/categories?post=16"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.hasangultekin.com\/tr\/wp-json\/wp\/v2\/tags?post=16"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}