RAG Altın Set Nasıl Hazırlanır

Bu rehber ne yapar

RAG Altın Set akışında önce kaynak sınırı, sonra araç izni, en son model cevabı kontrol edilir. Böyle yapmazsanız RAG hatasını model kalitesi sanmanız çok kolaydır. Bu iş sonunda Trendyol LLM Aşure 12B için tarihli bir karar kanıtı oluşur, RTX 4060 Ti 16GB sınıfı donanım not edilir ve ölçüm TPS karşılaştırması ile ilişkilendirilir. Akış Python ile yürür; daha geniş bağlam Kurs G001: Türkçe Belge Getirme Temeli içinde işlenir.

Yasal uyarı: Bu içerik eğitim amaçlı teknik çalışma notudur; hukuki görüş, mevzuat yorumu, uyum belgesi veya profesyonel danışmanlık değildir. Kişisel veri, sağlık, finans, çocuk/öğrenci verisi, telif veya regüle sektörlerde gerçek uygulamadan önce yetkin hukuk/uyum uzmanıyla yazılı değerlendirme alın.
Operatör notu: RAG Altın Set Nasıl Hazırlanır: RAG veya ajan akışı kaynak, izin ve log sınırı olmadan demo sayılır; üretim kanıtı sayılmaz. Orta seviyede komutun yanında hata modunu da yazın; gelecekteki bakım çoğu zaman bu satırdan başlar. Bu rehberde beklenen kanıt outputs/rag-degerlendirme-altin-set.json dosyasıdır.

Ön koşullar

  • Ubuntu 24.04 LTS ya da eşdeğer geliştirme ortamı.
  • Yerel çalışma zamanı kontrolü: python -V.
  • RAG Altın Set: Sentetik veya izinli küçük bir belge örneği; gerçek müşteri, hasta, öğrenci ya da dava verisiyle deneme yapmayın.
  • Terminal çıktısı UTF-8 olmalı; Windows tarafında şüphede kalırsanız chcp çıktısını kaydedin.

Adımlar

  1. Kanıt klasörünü aç. RAG Altın Set için çıktıyı rag degerlendirme altin set adıyla ayır; aynı klasöre log ve kısa rapor da girecek.
mkdir -p outputs logs reports
  1. Küçük kanıtı üret. RAG Altın Set için Ajan ve RAG denemelerinde kaynak dosyası, izin listesi ve model cevabı ayrı iz bırakmalıdır. Bu komut gerçek veriyi çağırmadan Trendyol LLM Aşure 12B etiketini karar dosyasına işler.
mkdir -p outputs
python - <<'PY'
import json
from pathlib import Path
snippet = "chunk_text(...); embed(...); retrieve_top_k(...); return source_id"
Path("outputs/rag-degerlendirme-altin-set.json").write_text(json.dumps({"model":"trendyol-llm-asure-12b","status":"kontrol-tamam","rag":snippet,"metric":"source_hit_rate"}, ensure_ascii=False) + "\n", encoding="utf-8")
print("outputs/rag-degerlendirme-altin-set.json yazıldı")
PY
  1. Özeti kilitle. RAG Altın Set özetini daha sonra değişiklik yakalamak için kullanacaksınız; TPS karşılaştırması notunu bu hash ile birlikte saklayın.
python - <<'PY'
from hashlib import sha256
from pathlib import Path
p = Path("outputs/rag-degerlendirme-altin-set.json")
print(sha256(p.read_bytes()).hexdigest(), p)
PY
  1. Türkçe kırılmayı ara. RAG Altın Set Nasıl Hazırlanır denemesinde kaynak Türkçe, cevap İngilizce ise sistem istemine tek dil sınırı ekleyin ve kaynak başlığını çıktıda gösterin. Çıktı temizse Python tarafındaki sıradaki adıma geçebilirsiniz.

Doğrulama

Tek komutla son durumu doğrula:

python - <<'PY'
import json
from pathlib import Path
p = Path("outputs/rag-degerlendirme-altin-set.json")
data = json.loads(p.read_text(encoding="utf-8"))
print(p.exists(), data["status"])
print("kanıt:", p)
print("model:", data["model"])
PY

Beklenen çıktı:

True kontrol-tamam
kanıt: outputs/rag-degerlendirme-altin-set.json
model: trendyol-llm-asure-12b

Yaygın Hatalar

  • `ModuleNotFoundError` — Python ortamı rehber için beklenen paketi görmüyor. Çözüm: python -V çıktısını kaydedin, sanal ortamı etkinleştirin ve komutu aynı kabukta tekrar çalıştırın.
  • `kaynak bulunamadı` — RAG/ajan denemesi kaynak belgesini ya da araç izinini görmüyor. Çözüm: belge yolunu mutlak yazın, izin listesini daraltın ve sentetik örnekle yeniden koşun.
  • `Türkçe karakterler bozuk` — RAG Altın Set Nasıl Hazırlanır çıktısında Türkçe harfler okunmuyorsa kodlama katmanı karışmıştır. Çözüm: locale çıktısını kontrol edin ve dosyayı UTF-8 olarak tekrar üretin.
  • `outputs/rag-degerlendirme-altin-set.json yok` — Rehberin sonunda beklenen kanıt dosyası oluşmamış. Çözüm: önce çalışma klasörünü oluşturun, sonra karar kanıtı adımını tek başına tekrar çalıştırın.
Veri koruma uyarısı: Bu rehber KVKK uyum kararı vermez. Kişisel veri içeren örnekleri üretimde kullanmadan önce amaç, saklama süresi, erişim yetkisi ve yurtdışı aktarım ihtimalini yetkin hukuk/uyum uzmanıyla doğrulayın. Başlangıç noktası: KVKK ve AI.

İlgili rehberler

İlgili katalog girişleri