GGUF Model Nasıl Yüklenir

Bu rehber ne yapar

GGUF Model kararında model adı, kuantizasyon, bağlam penceresi ve Türkçe cevap tutarlılığı aynı deftere yazılır. Bu rehber tek koşuyla o defterin ilk satırını üretir. Bu iş sonunda Kumru 2B için tarihli bir karar kanıtı oluşur, RTX 4090 24GB sınıfı donanım not edilir ve ölçüm TurkBench karşılaştırması ile ilişkilendirilir. Akış llama.cpp ile yürür; daha geniş bağlam Kurs G004: Kuantizasyon Pratiği içinde işlenir.

Yasal uyarı: Bu içerik eğitim amaçlı teknik çalışma notudur; hukuki görüş, mevzuat yorumu, uyum belgesi veya profesyonel danışmanlık değildir. Kişisel veri, sağlık, finans, çocuk/öğrenci verisi, telif veya regüle sektörlerde gerçek uygulamadan önce yetkin hukuk/uyum uzmanıyla yazılı değerlendirme alın.
Operatör notu: GGUF Model Nasıl Yüklenir: Model seçiminde tek skor yerine bağlam, kuantizasyon ve Türkçe cevap tutarlılığını aynı kararda saklayın. Başlangıç seviyesinde tek çıktı dosyası yeterli; karmaşık servis kurmadan önce kanıtı küçük tutun. Bu rehberde beklenen kanıt outputs/gguf-model-yukleme.txt dosyasıdır.

Ön koşullar

  • Ubuntu 24.04 LTS ya da eşdeğer geliştirme ortamı.
  • Yerel çalışma zamanı kontrolü: llama-cli --help.
  • GGUF Model: Karşılaştırılacak en az bir yerel model etiketi; örnek çalışmada model indirme yerine karar dosyası üretilir.
  • Terminal çıktısı UTF-8 olmalı; Windows tarafında şüphede kalırsanız chcp çıktısını kaydedin.

Adımlar

  1. Kanıt klasörünü aç. GGUF Model için çıktıyı gguf model yukleme adıyla ayır; aynı klasöre log ve kısa rapor da girecek.
mkdir -p outputs logs reports
  1. Küçük kanıtı üret. GGUF Model için Model kararında sonuç kadar model etiketi ve kuantizasyon notu da önemlidir; aynı istemi sonra tekrar koşacaksınız. Bu komut gerçek veriyi çağırmadan Kumru 2B etiketini karar dosyasına işler.
mkdir -p outputs
printf '%s\n' 'gguf-model-yukleme | model=kumru-2b | kontrol=tamam' 'llama-cli -m ./models/turkce-q4.gguf -p "Yalnızca Türkçe kısa yanıt ver"' 'metric=prompt_eval_and_generation' | tee outputs/gguf-model-yukleme.txt
  1. Özeti kilitle. GGUF Model özetini daha sonra değişiklik yakalamak için kullanacaksınız; TurkBench karşılaştırması notunu bu hash ile birlikte saklayın.
sha256sum outputs/gguf-model-yukleme.txt
  1. Türkçe kırılmayı ara. GGUF Model Nasıl Yüklenir cevabı ortasında İngilizceye kayarsa sistem istemine tek dil kısıtı ekleyin ve aynı girdiyi tekrar çalıştırın. Çıktı temizse llama.cpp tarafındaki sıradaki adıma geçebilirsiniz.

Maliyet karar kaydı

TRY maliyet notu: Bu rehberdeki ölçüm teknik davranışı anlamak içindir; donanım tam yükte uzun süre çalışacaksa maliyet hesabını TCO karar kaydı içinde ayrı tutun. Ev, ofis ve sanayi tarifesi aynı varsayım değildir. kWh fiyatını canlı fiyat etiketi gibi değil; tarih, tarife türü ve kaynakla birlikte karar kaydına yazın.

Doğrulama

Tek komutla son durumu doğrula:

test -s outputs/gguf-model-yukleme.txt && sed -n '1,3p' outputs/gguf-model-yukleme.txt

Beklenen çıktı:

gguf-model-yukleme | model=kumru-2b | kontrol=tamam
llama-cli -m ./models/turkce-q4.gguf -p "Yalnızca Türkçe kısa yanıt ver"
metric=prompt_eval_and_generation

Yaygın Hatalar

  • `command not found: llama.cpp` — llama.cpp kurulu değil ya da kabuk PATH içinde değil. Çözüm: aracı resmi kurulum yoluyla ekleyin, sonra aynı kabukta sürüm komutunu çalıştırın.
  • `Error: model not found` — Kumru 2B etiketi yerel önbellekte yok veya yanlış yazıldı. Çözüm: ollama list çıktısını kanıt dosyasına ekleyin ve model adını küçük farklara karşı kontrol edin.
  • `Türkçe karakterler bozuk` — GGUF Model Nasıl Yüklenir çıktısında Türkçe harfler okunmuyorsa kodlama katmanı karışmıştır. Çözüm: locale çıktısını kontrol edin ve dosyayı UTF-8 olarak tekrar üretin.
  • `outputs/gguf-model-yukleme.txt yok` — Rehberin sonunda beklenen kanıt dosyası oluşmamış. Çözüm: önce çalışma klasörünü oluşturun, sonra karar kanıtı adımını tek başına tekrar çalıştırın.
Veri koruma uyarısı: Bu rehber KVKK uyum kararı vermez. Kişisel veri içeren örnekleri üretimde kullanmadan önce amaç, saklama süresi, erişim yetkisi ve yurtdışı aktarım ihtimalini yetkin hukuk/uyum uzmanıyla doğrulayın. Başlangıç noktası: KVKK ve AI.

İlgili rehberler

İlgili katalog girişleri