Yapay zeka asistanları ve ajanlar

ChatGPT gibi genel araçlar geniş bir dünya bilgisiyle eğitilmiştir ama sizin şirketinizi tanımaz. Bir çalışan iç prosedürünüzü sorduğunda ya tahmin eder ya da bilmediğini söyler. Ayrıca çalışanların gizli belgeleri kişisel hesaplara yapıştırması, şirket için ciddi bir veri riski yaratır. Kurumsal yapay zeka asistanı ise aynı dil modeli teknolojisini kendi verinize, kendi kurallarınızla bağlar.

Farklar somuttur: asistan cevabını hangi belgeden aldığını gösterir, kullanıcının yetkisi olmayan belgeyi hiç görmez, kaynakta olmayan bir konuda uydurmak yerine bilmediğini söyler ve tüm konuşmalar şirketin kontrolündeki bir kayıtta tutulur. Model sağlayıcısıyla yapılan anlaşmalar, verinizin model eğitiminde kullanılmamasını sağlayacak şekilde seçilir. İK, finans veya hukuk gibi hassas birimlerin belgeleri ayrı yetki gruplarında tutulur; bir satış temsilcisi, maaş politikasını soran bir soruya o belgeyi görmeden cevap alamaz.

Kısacası fark, modelin kendisinden çok etrafına kurulan yapıdadır: veri bağlantısı, yetki, kayıt ve değerlendirme. Bizim işimiz de tam olarak bu yapıyı kurmaktır.

RAG (getirme destekli üretim), asistanın cevap yazmadan önce sizin belge arşivinizde arama yapması demektir. Belgeler küçük parçalara ayrılır, anlamlarına göre dizinlenir; bir soru geldiğinde en ilgili parçalar bulunur ve modele “sadece bunlara dayanarak cevap ver” talimatıyla verilir. Böylece model, sizin güncel bilginizi kullanır ve cevabın altına kaynağını ekler.

RAG’in kalitesini model seçiminden çok veri hazırlığı belirler. Aynı konunun üç farklı sürümü arşivde duruyorsa asistan da kararsız kalır. Bu yüzden belge sahipliğini, güncelleme akışını ve yetki etiketlerini projenin parçası yapıyoruz. Tablolar, taranmış PDF’ler ve e-posta arşivleri gibi zor kaynaklar için ayrı işleme adımları kuruyoruz. Belge güncellendiğinde dizin de otomatik yenilenir; asistan eski bir prosedürü anlatmaya devam etmez. Hangi soruların cevapsız kaldığını da raporluyoruz; bu liste, şirketinizde hangi bilginin hiç yazılmadığını gösteren değerli bir harita olur ve belge ekibine doğrudan iş listesi çıkarır.

Asistan soru cevaplar; ajan ise iş yapar. Bir yapay zeka ajanı, tanımlı araçları kullanarak birden fazla adımı kendi planlar: bir müşteri talebini okur, CRM’de kaydı bulur, sipariş durumunu sorgular, uygun cevabı hazırlar ve gerekirse bir görev açar. Belge okuma ajanı ise gelen faturayı veya başvuru formunu okuyup alanları çıkarır, kurallara göre kontrol eder ve sisteme aktarılmak üzere hazırlar.

Ajanlar güçlüdür ama sınırsız bırakılmamalıdır. Her ajan için hangi araçlara erişebileceğini, hangi işlemleri sadece önerip hangilerini doğrudan yapabileceğini ve hangi eşikte insana devredeceğini açıkça tanımlıyoruz. Para hareketi, müşteriye giden resmi yazışma veya kayıt silme gibi geri alınması zor adımlarda onay her zaman insanda kalır. Her eylem, gerekçesiyle birlikte kayda geçer. Böylece ajanın neden belirli bir karar verdiği sonradan incelenebilir. Ajanları genellikle önce “öneri modu”nda çalıştırıyoruz; ekip önerileri bir süre onayladıktan ve doğruluk ölçüldükten sonra belirli adımlarda doğrudan işlem yetkisi açılır.

En sık hata, net bir iş hedefi olmadan “yapay zeka ekleyelim” diye başlamaktır. İkinci hata, demo aşamasında etkileyici görünen ama gerçek sorularla hiç ölçülmemiş bir asistanı herkese açmaktır. Üçüncüsü ise maliyet ve gecikmeyi hesaba katmamaktır; her soruya en büyük modeli çağırmak hem pahalı hem yavaş olabilir. Doğru kurguda basit sorular hafif modellere, karmaşık olanlar güçlü modellere yönlendirilir. Sık sorulan sorular için önbellek kullanmak da maliyeti belirgin biçimde düşürür.

İyi bir projenin ölçütleri ise şunlardır: canlıya çıkmadan önce bir test setiyle doğruluk ölçülmüştür, cevaplar kaynak gösterir, asistan bilmediğinde bunu söyler, kullanıcılar kötü cevabı tek tıkla işaretleyebilir ve bu işaretler düzenli olarak incelenir. Ayrıca kim, neyi, ne kadar maliyetle sorduğu görünürdür. Bu disiplin olmadan yapay zeka projesi bir deneme olarak kalır; bu disiplinle günlük işin kalıcı bir parçası olur.