LLM Çıktı A/B Deneyi Nasıl Yapılır

Bu rehber ne yapar

LLM Çıktı A/B Deneyi işi üretimde log, metrik ve geri alma izi olmadan tamamlanmış sayılmaz. Buradaki hedef kullanıcı verisini çoğaltmadan işletim kanıtı üretmektir. Bu iş sonunda Trendyol LLM Aşure 12B için tarihli bir karar kanıtı oluşur, RTX 4060 Ti 16GB sınıfı donanım not edilir ve ölçüm TPS karşılaştırması ile ilişkilendirilir. Akış GitHub Actions ile yürür; daha geniş bağlam Kurs O001: Üretim LLM Operasyonları Temeli içinde işlenir.

Yasal uyarı: Bu içerik eğitim amaçlı teknik çalışma notudur; hukuki görüş, mevzuat yorumu, uyum belgesi veya profesyonel danışmanlık değildir. Kişisel veri, sağlık, finans, çocuk/öğrenci verisi, telif veya regüle sektörlerde gerçek uygulamadan önce yetkin hukuk/uyum uzmanıyla yazılı değerlendirme alın.
Operatör notu: LLM Çıktı A/B Deneyi Nasıl Yapılır: Üretim notunda istem içeriğini değil, olay zamanı, model etiketi, gecikme ve maskeleme sonucunu tutun. İleri seviyede her varsayımı tarihli yazın; sürüm, sürücü veya lisans değişince karar tekrar açılabilsin. Bu rehberde beklenen kanıt outputs/llm-cikti-ab-deneyi.json dosyasıdır.

Ön koşullar

  • Ubuntu 24.04 LTS ya da eşdeğer geliştirme ortamı.
  • Yerel çalışma zamanı kontrolü: python -V.
  • LLM Çıktı A/B Deneyi: Üretim benzeri ama kişisel veri taşımayan küçük bir kontrol girdisi; gerçek log örneğini maskelemeden kopyalamayın.
  • Terminal çıktısı UTF-8 olmalı; Windows tarafında şüphede kalırsanız chcp çıktısını kaydedin.

Adımlar

  1. Kanıt klasörünü aç. LLM Çıktı A/B Deneyi için çıktıyı llm cikti ab deneyi adıyla ayır; aynı klasöre log ve kısa rapor da girecek.
mkdir -p outputs logs reports
  1. Küçük kanıtı üret. LLM Çıktı A/B Deneyi için Üretim pratiğinde kanıt, gizli istemin kendisi değil; zaman, model etiketi ve maskelenmiş sonuçtur. Bu komut gerçek veriyi çağırmadan Trendyol LLM Aşure 12B etiketini karar dosyasına işler.
mkdir -p outputs
python - <<'PY'
from pathlib import Path
Path("outputs/llm-cikti-ab-deneyi.json").write_text('{"model":"trendyol-llm-asure-12b","status":"kontrol-tamam"}\n', encoding="utf-8")
print("outputs/llm-cikti-ab-deneyi.json yazıldı")
PY
  1. Özeti kilitle. LLM Çıktı A/B Deneyi özetini daha sonra değişiklik yakalamak için kullanacaksınız; TPS karşılaştırması notunu bu hash ile birlikte saklayın.
python - <<'PY'
from hashlib import sha256
from pathlib import Path
p = Path("outputs/llm-cikti-ab-deneyi.json")
print(sha256(p.read_bytes()).hexdigest(), p)
PY
  1. Türkçe kırılmayı ara. LLM Çıktı A/B Deneyi Nasıl Yapılır için log satırında Türkçe metin taşıyacaksanız önce maskeleme sonucunu okuyun; ham istemi kalıcı kayda yazmayın. Çıktı temizse GitHub Actions tarafındaki sıradaki adıma geçebilirsiniz.

Doğrulama

Tek komutla son durumu doğrula:

python - <<'PY'
import json
from pathlib import Path
p = Path("outputs/llm-cikti-ab-deneyi.json")
data = json.loads(p.read_text(encoding="utf-8"))
print(p.exists(), data["status"])
print("kanıt:", p)
print("model:", data["model"])
PY

Beklenen çıktı:

True kontrol-tamam
kanıt: outputs/llm-cikti-ab-deneyi.json
model: trendyol-llm-asure-12b

Yaygın Hatalar

  • `ModuleNotFoundError` — Python ortamı rehber için beklenen paketi görmüyor. Çözüm: python -V çıktısını kaydedin, sanal ortamı etkinleştirin ve komutu aynı kabukta tekrar çalıştırın.
  • `redaction missing` — Üretim benzeri log satırı maskelemeden rapora taşınmış. Çözüm: ham istem yerine olay kimliği, gecikme ve model etiketini yazın; örnek veriyi sentetik tutun.
  • `Türkçe karakterler bozuk` — LLM Çıktı A/B Deneyi Nasıl Yapılır çıktısında Türkçe harfler okunmuyorsa kodlama katmanı karışmıştır. Çözüm: locale çıktısını kontrol edin ve dosyayı UTF-8 olarak tekrar üretin.
  • `outputs/llm-cikti-ab-deneyi.json yok` — Rehberin sonunda beklenen kanıt dosyası oluşmamış. Çözüm: önce çalışma klasörünü oluşturun, sonra karar kanıtı adımını tek başına tekrar çalıştırın.
Veri koruma uyarısı: Bu rehber KVKK uyum kararı vermez. Kişisel veri içeren örnekleri üretimde kullanmadan önce amaç, saklama süresi, erişim yetkisi ve yurtdışı aktarım ihtimalini yetkin hukuk/uyum uzmanıyla doğrulayın. Başlangıç noktası: KVKK ve AI.

İlgili rehberler

İlgili katalog girişleri