LLM Tabanlı Yeni Nesil Chatbotlar ile 7/24 Destek
Bir müşteri sohbet ekranında iade süresini soruyor. Bot kendinden emin bir cümle kuruyor: "Ürünlerimizde 30 gün koşulsuz iade hakkınız var." Şirketin iade süresi 14 gün. Ekran görüntüsü alınıyor, üç gün sonra o görüntü destek ekibinin önüne bir talep olarak geliyor.
Yeni nesil chatbotların teknik sıçraması gerçek. Aynı sıçrama, eski nesilde hiç görmediğimiz bir hata türünü de beraberinde getirdi. Aşağıda büyük dil modellerinin (LLM) neyi çözdüğünü, nerede tökezlediğini ve kurulum yaparken hangi dört kalemi hesaba katmanız gerektiğini anlatıyorum: doğruluk, gecikme, maliyet ve sürüm.
Sıçrama tam olarak nerede oldu
Eski botlar kelime eşleştiriyordu. "İade" kelimesi geçtiğinde iade akışını açardı; "ürünü geri göndermek istiyorum" cümlesini anlamazdı. Bu yüzden senaryo yazmak, olası tüm ifadeleri önceden listelemek demekti ve liste hiçbir zaman bitmezdi.
LLM'ler bu listeyi gereksiz kıldı. Aynı niyeti yirmi farklı şekilde ifade edebilirsiniz, model bağlamı takip eder, konu değiştirdiğinizde geri döner. Kurulum süresindeki en büyük azalma buradan geliyor.
Ama şunu net söyleyeyim: bu bir "anlama" değil, çok güçlü bir tahmin. Fark önemli, çünkü hataların şeklini o belirliyor.
Halüsinasyon bir arıza değil, çalışma biçiminin sonucu
Model, bilmediği bir konuda susmak yerine olasılıkla en uygun cümleyi üretir. Yukarıdaki 30 günlük iade cümlesi tam olarak böyle doğuyor: sektörde yaygın bir uygulama, model onu makul buluyor, sizin gerçek politikanızı bilmiyor.
Çözüm modeli değiştirmek değil, cevabı kaynağa bağlamak. Sistem önce sizin dokümanınızdan ilgili parçayı buluyor, cevabı yalnızca o parçadan üretiyor, bulamazsa "bu bilgi bende yok" deyip aktarıyor. Bilgi bankası bu yüzden dekoratif bir özellik değil, doğruluğun tek dayanağı.
Ödünç şu: kaynağa sıkı bağlanan bir asistan daha sık "bilmiyorum" der. İlk hafta bu can sıkar, ekip "bot işe yaramıyor" der. Alternatifi, doğru tonda söylenmiş yanlış cevaplar. İkincisi çok daha pahalı.
Gecikme bütçesi
Sesli tarafta cevap tek adımda üretilmiyor. Konuşma metne çevriliyor, kaynak aranıyor, model cevabı yazıyor, metin sese dönüşüyor. Her adım milisaniye ekliyor ve toplam süre insan sohbetinin doğal boşluğunu aştığında konuşma bozuluyor.
Pratikte en çok atlanan kalem kaynak arama adımı. Bilgi bankanız dağınıksa arama uzuyor, model hızlı olsa bile müşteri bekliyor. Yavaşlık şikâyetinin bir kısmı modelden değil, veri düzeninden çıkıyor.
Yazılı kanalda tolerans daha yüksek; iki saniye kimseyi rahatsız etmiyor. Sesli kanalda aynı iki saniye konuşmayı bitiriyor.
Maliyeti konuşma başına düşünün
Fiyatlandırma genelde kullanım üzerinden ilerliyor. Karşılaştırma yaparken bakılacak sayı, kelime birimi başına ücret değil; ortalama bir konuşmanın toplam maliyeti. Uzun sistem talimatları, her turda yeniden gönderilen sohbet geçmişi ve kaynak metinler bu toplamı sessizce büyütüyor.
İki basit önlem işe yarıyor: sistem talimatını kısa tutmak ve kaynak metni gereğinden geniş göndermemek. Yirmi sayfalık bir PDF'i her soruda modele vermek, hem faturayı hem gecikmeyi artırıyor.
Bir de gizli kalem var: başarısız denemeler. Cevap beğenilmeyip yeniden üretildiğinde ya da aktarmadan önce fazladan tur atıldığında sayaç işlemeye devam ediyor. Bu farkı pilot sırasında ölçün ki canlıda sürpriz olmasın.
Model sürümü değişince ne olur
Bu, kurulumdan aylar sonra ortaya çıkan ve kimsenin uyarmadığı bir konu. Tedarikçi model sürümünü güncellediğinde asistanınızın davranışı değişebiliyor. Genelde daha iyiye gidiyor; ama sizin özenle ayarladığınız bir kalıp bozulabiliyor.
Risk | Önlem |
|---|---|
Sürüm değişince cevap tonu kayıyor | Sabit bir test seti tutun, her değişiklikten sonra aynı soruları sorun |
Yeni sürüm daha uzun cevap veriyor | Uzunluk sınırını talimatta açıkça yazın; sesli kanalda bu kritik |
Eski senaryo kalıpları tutmuyor | Sözleşmede sürüm bildirimi ve geri dönüş hakkı olsun |
Test etmenin en ucuz yolu
Karmaşık bir test altyapısı kurmanıza gerek yok. Otuz soruluk sabit bir liste hazırlayın: on tanesi sık gelen konular, on tanesi tuzaklı ifadeler, on tanesi de asistanın bilmemesi gereken şeyler. Her değişiklikten sonra bu otuz soruyu sorun ve cevapları bir tabloya not edin.
Sıkıcı bir iş. Yarım saat sürüyor. Canlıda fark edilen bir hatanın maliyetiyle kıyaslanınca ucuz kalıyor. Soruları da ekipten toplayın; en iyi tuzak sorular her zaman temsilcilerin aklına geliyor.
Her yerde LLM gerekmiyor
Bir de şu var: bütün akışları dil modeline devretmek zorunda değilsiniz. Kimlik doğrulama, menü yönlendirme, tarih-saat seçimi gibi adımlar kural tabanlı kurgulandığında daha hızlı, daha ucuz ve daha öngörülebilir çalışıyor. Karma yapı — kritik adımlar kuralla, konuşma serbest kısmı modelle — sahada en çok tutan kurulum biçimi.
Randevu hattı buna iyi bir örnek: müşteri derdini serbestçe anlatıyor, ama takvim seçimi sabit bir akıştan geçiyor. Böylece ne müşteri menüde sıkışıyor ne de sistem yanlış saati "uyduruyor".
Kararı nasıl vermeli
LLM tabanlı bir asistan, doğruluk ihtiyacınızı karşılayacak şekilde kaynağa bağlanabiliyorsa ve gecikme bütçeniz sesli kanal için yetiyorsa mantıklı bir tercih. İkisinden biri sağlanmıyorsa önce onu düzeltin, model tartışmasına sonra geçin. Operasyon tarafındaki karşılığını çağrı merkezi operasyonunu ele aldığımız yazıda anlatmıştık.
Kendi bilgi bankanızla kurulmuş bir örnek üzerinde bu dört kalemi görmek isterseniz, AI Agent TR ekibiyle bir demo ayarlayın.
Sıkça Sorulan Sorular
Halüsinasyon tamamen ortadan kaldırılabilir mi?
Tamamen değil, ama kaynağa bağlı cevap üretimiyle ciddi biçimde azaltılabiliyor. Fiyat, yasal koşul ve iade gibi konularda serbest üretime hiç izin vermemek en sağlam yol.
Türkçe performansı İngilizceden geride mi?
Aradaki fark eskisi kadar büyük değil. Zorluk daha çok konuşma dilinde: kısaltmalar, devrik cümleler ve bölgesel ifadeler. Test setinizi gerçek Türkçe kayıtlardan çıkarın, çeviriden değil.
Kendi modelimizi eğitmemiz gerekir mi?
Çoğu şirket için gerekmiyor. İhtiyacınız olan şey model eğitimi değil, iyi düzenlenmiş bir bilgi bankası ve net talimatlar. Eğitim, ancak çok özel bir alan diliniz varsa gündeme geliyor.
Sohbet geçmişi ne kadar tutulmalı?
Teknik olarak uzun bağlam mümkün, ama her turda taşınan geçmiş maliyeti ve gecikmeyi artırıyor. Konuşma bazında sınırlamak ve kalıcı bilgiyi müşteri kaydında tutmak daha verimli.
Kural tabanlı botumuz var, geçiş zor mu?
Genelde değil. Sık gelen birkaç konuyu yeni yapıya taşıyıp kalanını olduğu gibi bırakmak mümkün. Zor kısım teknik geçiş değil, hangi cevabın nereden geleceğine karar vermek.
