llama.cpp Windows'ta Nasıl Derlenir

Bu rehber ne yapar

llama.cpp Windows'ta rehberi, "kuruldu" cümlesini servis, port ve kanıt dosyasıyla ayırır. Amaç sihirli başarı ekranı değil; bozulduğunda hangi katmana bakacağınızı bilmenizdir. Bu iş sonunda Llama 3.3 70B için tarihli bir karar kanıtı oluşur, RTX 4060 Ti 16GB sınıfı donanım not edilir ve ölçüm TurkBench karşılaştırması ile ilişkilendirilir. Akış llama.cpp ile yürür; daha geniş bağlam Kurs T005: Windows'ta Yerel Yapay Zeka içinde işlenir.

Yasal uyarı: Bu içerik eğitim amaçlı teknik çalışma notudur; hukuki görüş, mevzuat yorumu, uyum belgesi veya profesyonel danışmanlık değildir. Kişisel veri, sağlık, finans, çocuk/öğrenci verisi, telif veya regüle sektörlerde gerçek uygulamadan önce yetkin hukuk/uyum uzmanıyla yazılı değerlendirme alın.
Operatör notu: llama.cpp Windows'ta Nasıl Derlenir: Kurulum rehberinde başarı ekran görüntüsü değil, tekrar üretilebilir komut ve özet kaydıdır. İleri seviyede her varsayımı tarihli yazın; sürüm, sürücü veya lisans değişince karar tekrar açılabilsin. Bu rehberde beklenen kanıt outputs\llama-cpp-windows-derleme.txt dosyasıdır.

Ön koşullar

  • Windows 11 23H2 ya da eşdeğer geliştirme ortamı.
  • Yerel çalışma zamanı kontrolü: Get-Command .\llama-cli.exe -ErrorAction SilentlyContinue.
  • llama.cpp Windows'ta: Model önbelleği ve kurulum kayıtları için en az 10 GB boş disk; kurulum dizini değiştiyse eski yolu da not edin.
  • Terminal çıktısı UTF-8 olmalı; Windows tarafında şüphede kalırsanız chcp çıktısını kaydedin.

Adımlar

  1. Kanıt klasörünü aç. llama.cpp Windows'ta için çıktıyı llama cpp windows derleme adıyla ayır; aynı klasöre log ve kısa rapor da girecek.
New-Item -ItemType Directory -Force outputs, logs, reports | Out-Null
  1. Küçük kanıtı üret. llama.cpp Windows'ta için Kurulum çıktısı dağınık kalırsa en çok zaman kaybettiren şey, hangi adımın gerçekten tamamlandığını yeniden aramaktır. Bu komut gerçek veriyi çağırmadan Llama 3.3 70B etiketini karar dosyasına işler.
mkdir -p outputs
printf '%s\n' 'llama-cpp-windows-derleme | model=llama-3-3-70b | kontrol=tamam' 'llama-cli -m ./models/turkce-q4.gguf -p "Yalnızca Türkçe kısa yanıt ver"' 'metric=prompt_eval_and_generation' | tee outputs\llama-cpp-windows-derleme.txt
  1. Özeti kilitle. llama.cpp Windows'ta özetini daha sonra değişiklik yakalamak için kullanacaksınız; TurkBench karşılaştırması notunu bu hash ile birlikte saklayın.
Get-FileHash "outputs\llama-cpp-windows-derleme.txt" -Algorithm SHA256
  1. Türkçe kırılmayı ara. llama.cpp Windows'ta Nasıl Derlenir çıktısında ı, ş, ç, ğ, ö, ü bozuluyorsa önce terminal kodlamasını düzeltin; model ayarını en sona bırakın. Çıktı temizse llama.cpp tarafındaki sıradaki adıma geçebilirsiniz.

Maliyet karar kaydı

TRY maliyet notu: Bu rehberdeki ölçüm teknik davranışı anlamak içindir; donanım tam yükte uzun süre çalışacaksa maliyet hesabını TCO karar kaydı içinde ayrı tutun. Ev, ofis ve sanayi tarifesi aynı varsayım değildir. kWh fiyatını canlı fiyat etiketi gibi değil; tarih, tarife türü ve kaynakla birlikte karar kaydına yazın.

Doğrulama

Tek komutla son durumu doğrula:

Test-Path "outputs\llama-cpp-windows-derleme.txt"; Get-Content "outputs\llama-cpp-windows-derleme.txt" -TotalCount 3

Beklenen çıktı:

llama-cpp-windows-derleme | model=llama-3-3-70b | kontrol=tamam
llama-cli -m ./models/turkce-q4.gguf -p "Yalnızca Türkçe kısa yanıt ver"
metric=prompt_eval_and_generation

Yaygın Hatalar

  • `Get-Command ollama sonucu boş` — PowerShell PATH yeni kurulumu görmüyor. Çözüm: terminali kapatıp açın, sonra kurulum dizinini PATH içinde kontrol edin.
  • `connection refused` — Servis başlamamış veya beklenen portta dinlemiyor. Çözüm: servisi başlatın, portu sadece gerekli arayüzde açın ve doğrulama komutunu tekrar çalıştırın.
  • `Türkçe karakterler bozuk` — llama.cpp Windows'ta Nasıl Derlenir çıktısında Türkçe harfler okunmuyorsa kodlama katmanı karışmıştır. Çözüm: chcp 65001 çıktısını alın ve dosyayı UTF-8 ile yeniden yazın.
  • `outputs\llama-cpp-windows-derleme.txt yok` — Rehberin sonunda beklenen kanıt dosyası oluşmamış. Çözüm: önce çalışma klasörünü oluşturun, sonra karar kanıtı adımını tek başına tekrar çalıştırın.
Veri koruma uyarısı: Bu rehber KVKK uyum kararı vermez. Kişisel veri içeren örnekleri üretimde kullanmadan önce amaç, saklama süresi, erişim yetkisi ve yurtdışı aktarım ihtimalini yetkin hukuk/uyum uzmanıyla doğrulayın. Başlangıç noktası: KVKK ve AI.

İlgili rehberler

İlgili katalog girişleri