ConvergePilot, benim AI dönüşüm oranı denetim ürünümdu. LLM tarafından üretilen denetimleri, abonelik planları, model erişim kuralları ve AI maliyet analitiği ile birleştirdi. Bunu Express, React, TypeScript, PostgreSQL, Drizzle ve Stripe ile inşa ettim ve uygulamayı Docker ve CapRover ile dağıttım.
Ürün şu anda duraklatılmış durumda. Mühendislik çalışmaları hala faydalı çünkü tanıdık bir boşluğu ortaya çıkardı: makul bir rapor oluşturmak, birinin anlayabileceği, ödeyebileceği ve sorumlu bir şekilde kullanabileceği bir hizmet sunmanın küçük bir parçasıdır.
Bir denetimin açık bir kapsamı olmalıdır.
Bir dönüşüm denetimi, navigasyon, ürün sunumu, güven sinyalleri veya ödeme zorluğunu tartışabilir. Bu kategoriler, rapor bilmediği bilgileri ima etmeye başlayana kadar basit görünüyor. Görünür bir sayfa, bir müşteri yolculuğunu tamamen ortaya koymaz ve bir tasarım gözlemi, gelirin neden değiştiğini belirlemez.
Önem verdiğim ayrım, bir gözlem, bir hipotez ve bir deney arasındadır. “Teslimat bilgilerini bulmak zor” ifadesi, incelenen materyal bunu destekliyorsa bir gözlemdir. “Bu belirsizlik bir satın alma işlemini engelleyebilir” bir hipotezdir. Bilgiyi taşımak ve etkisini ölçmek ise önerilen bir deneydir.
Bu, bir AI denetiminin faydasını değerlendirmek için kullandığım standarttır. Bir öneri, kanıta bağlanmalı, beklenen mekanizmasını açıklamalı ve neyin doğrulanması gerektiğini belirtmelidir. Kendinden emin bir dil, bir tahmini ölçülen bir sonuca dönüştüremez.
Plan, gerçek bir yürütme seçimini kontrol eder.
ConvergePilot, abonelik planına göre model kapama özelliği ekledi. Bu, faturalama ve üretim arasında bir mühendislik ilişkisi oluşturur: ürün, pahalı işe başlamadan önce bir hesabın hangi yürütme seçeneklerini kullanma hakkına sahip olduğunu belirlemelidir.
Devre dışı bir buton yalnızca bir sunum seçimidir. Herhangi bir ücretli AI özelliği için, sunucunun hesabı, haklarını ve izin verilen modeli çözmesini istiyorum. Bir tarayıcı isteğinden gelen rastgele bir model adı asla erişim için yetki sahibi olmamalıdır. Kaydedilmiş bir isteğin daha sonra tekrar denendiğinde aynı ilke geçerlidir.
Bir denetim ile yürütme bağlamını korumak da faydalıdır. Model davranışı değişirse, rapor belirli bir seçenek seti altında üretilen bir eser olarak anlaşılır kalmalıdır. Aksi takdirde, destek görüşmeleri, kimsenin yeniden oluşturamayacağı bir çıktı hakkında tartışmalara dönüşür.
Maliyet ürün modeline aittir.
AI maliyet analizi, ConvergePilot’ın uygulamasının bir parçasıydı. Bu önemlidir çünkü bir abonelik fiyatı ve bir üretim maliyeti farklı şeyleri tanımlar. Aylık bir plan, müşteri için öngörülebilir olabilirken, iç iş yükü denetimlerin sayısı ve karmaşıklığı ile değişkenlik gösterir.
Böyle bir ürün için, başarısız denemeler ve tekrarlar da dahil olmak üzere, tam yürütmeyi gözden geçiriyorum. Başarısız bir rapor yine de sağlayıcı kaynaklarını tüketebilir. Bu nedenle, yararlı soru, yalnızca son başarılı model çağrısının maliyeti değil, kabul edilebilir bir sonucun teslim maliyetidir.
Bu bakış açısı hata yönetimini de değiştirir. Bir yeniden deneme eylemi, ne olacağını iletmeli, bir hatayı teşhis etmek için yeterli bağlamı korumalı ve yanlışlıkla tekrarlanan tıklamaları alakasız ücretli işe dönüştürmekten kaçınmalıdır.
Rapor, bir sonraki adımı desteklemelidir.
Uzun bir öneri listesi, bir kararı iyileştirmeden daha fazla iş yaratabilir. Tercih ettiğim denetim yapısı, bulguları etkilenen müşteri görevlerine göre gruplar, kanıtları varsayımlardan ayırır ve bir sonraki eylemi atamaya yetecek kadar küçük hale getirir. “Güveni artırma” önerisi belirsizdir; eksik bilgiyi tanımlamak ve bir alışverişçinin buna nerede ihtiyaç duyduğunu belirlemek eyleme geçirilebilir.
ConvergePilot, faturalama, üretim, maliyet görünürlüğü ve raporlamayı tek bir uygulamada bir araya getirdi. O uygulamanın varlığını dönüşüm artışının kanıtı olarak sunmuyorum. Mühendislik değeri, bir modelin yalnızca sayfa içeriğinden yanıtlayamayacağı soruları da dahil ederek tüm hizmeti somut hale getirmekteydi.
Bu deneyim, AI çalışmalarımı şekillendirmeye devam ediyor: teslimatı tanımlamak, uygulamayı kısıtlamak, bağlamı korumak ve çıktıyı üzerinde harekete geçmesi gereken kişi için faydalı hale getirmek.
26 Eylül 2026’da güncellendi.