Yapay Zeka Projelerinde Maliyet Kontrolü: Token, Model Seçimi ve Önbellek

Yapay zeka projelerinin çoğu küçük bir pilotla başlar ve maliyet önemsiz görünür. Sonra sistem yüzlerce kullanıcıya açılır, ajanlar her gün binlerce işlem yapar ve ay sonunda fatura beklenenin çok üstüne çıkar. Bunun önüne geçmek için maliyetin nasıl oluştuğunu anlamak ve projenin başından itibaren yönetmek gerekir.

Maliyet nasıl oluşur?

Çoğu yapay zeka hizmeti token bazında ücretlendirilir. Token, metnin küçük parçalarıdır; kabaca bir kelime bir ile birkaç token arasında tutar. Türkçe gibi eklemeli dillerde aynı içerik İngilizceye göre daha fazla token tutabilir.

Faturayı belirleyen başlıca kalemler:

• Girdi tokenları: Modele gönderilen her şey: talimat, belgeler, sohbet geçmişi
• Çıktı tokenları: Modelin ürettiği cevap (genellikle girdiden daha pahalıdır)
• Model seçimi: Büyük ve yetenekli modeller küçük modellere göre çok daha pahalıdır
• Çağrı sayısı: Özellikle ajanlarda bir görev, arka planda onlarca model çağrısına dönüşebilir

Gizli maliyet kaynakları

Şişkin talimatlar: Her çağrıda tekrar gönderilen uzun sistem talimatları ve örnekler, fark edilmeden maliyetin büyük kısmını oluşturabilir.

Uzayan sohbet geçmişi: Sohbet uzadıkça her yeni mesajda tüm geçmiş tekrar gönderilir. Uzun bir sohbetin son mesajları ilk mesajlarından kat kat pahalıdır.

Gereksiz büyük model: Basit bir sınıflandırma ya da özetleme işi için en büyük modeli kullanmak, bir mektubu kargo uçağıyla göndermeye benzer.

Ajan döngüleri: Hedefine ulaşamayan bir ajan aynı adımları tekrar tekrar deneyebilir. Sınır konmazsa tek bir görev beklenmedik bir maliyet çıkarabilir.

Maliyeti düşürmenin yedi yolu

1. İşe uygun modeli seç

Görevleri zorluklarına göre ayır:

• Basit işler (sınıflandırma, kısa özet, veri çıkarma): küçük ve hızlı modeller
• Orta işler (e-posta taslağı, rapor): orta seviye modeller
• Zor işler (karmaşık analiz, çok adımlı akıl yürütme, kod): en yetenekli modeller

Bazı sistemler, gelen talebi önce ucuz bir modelle değerlendirip gerekirse büyük modele yönlendirir. Bu "yönlendirme" yaklaşımı maliyeti ciddi ölçüde azaltabilir.

2. Önbellek kullan

Birçok sağlayıcı, sık tekrarlanan girdi bölümlerini (uzun sistem talimatları, sabit belgeler) önbelleğe alma özelliği sunuyor. Önbellekten okunan tokenlar çok daha ucuza faturalandırılıyor. Talimatın sabit kısmını başa, değişen kısmını sona koymak önbellekten faydalanmayı kolaylaştırır.

3. Toplu işleme kullan

Anında cevap gerekmeyen işler (gece raporları, toplu belge sınıflandırma) için birçok sağlayıcının indirimli toplu işleme seçenekleri var.

4. Talimatları sadeleştir

Talimatlarını düzenli gözden geçir. Gereksiz tekrarları ve kullanılmayan örnekleri çıkar. Kısa ve net bir talimat çoğu zaman hem daha ucuz hem daha iyi sonuç verir.

5. Bağlamı akıllıca yönet

Tüm belgeyi göndermek yerine yalnızca ilgili bölümleri gönder (RAG bunun için ideal). Uzun sohbetlerde eski mesajları özetleyerek geçmişi kısalt.

6. Çıktıyı sınırla

Cevap uzunluğu için makul bir sınır belirle ve gereksiz uzun cevapları engelle. "En fazla 5 madde" gibi talimatlar hem maliyeti hem okuma süresini azaltır.

7. Ajanlara bütçe koy

Her ajan görevi için en fazla adım sayısı, en fazla süre ve en fazla maliyet sınırı tanımla. Sınır aşılırsa görev bir insana devredilsin.

Maliyeti proje yönetimine dahil etmek

Yapay zeka maliyetini teknik ekibe bırakmak yerine proje bütçesinin bir kalemi olarak yönet:

• Pilotta birim maliyeti ölç: "Bir rapor kaç liraya mal oluyor?" "Bir müşteri sorusunun cevabı ne kadar tutuyor?"
• Yaygınlaştırma senaryosu hazırla: Birim maliyeti beklenen kullanım hacmiyle çarp. Bunu kötümser, olası ve iyimser senaryolarla yap; PERT mantığı burada da işe yarar.
• Değerle karşılaştır: Bir raporun yapay zekayla maliyeti, bir çalışanın o rapora harcadığı zamanın maliyetinden ne kadar düşük?
• Aylık izle: Kullanım ve maliyet panosu kur, beklenmedik artışlar için uyarı tanımla.

Son söz

Yapay zeka fiyatları genel olarak düşme eğiliminde; ama kullanım hacmi çok daha hızlı artıyor. Maliyeti kontrol altında tutmanın yolu en ucuz modeli seçmek değil, her işe uygun modeli seçmek, tekrarı önbelleğe almak ve maliyeti projenin başından itibaren ölçmek.