Çevrimdışı Model Önbelleği Nasıl Hazırlanır

Bu rehber ne yapar

Çevrimdışı Model Önbelleği rehberi, "kuruldu" cümlesini servis, port ve kanıt dosyasıyla ayırır. Amaç sihirli başarı ekranı değil; bozulduğunda hangi katmana bakacağınızı bilmenizdir. Bu iş sonunda Trendyol LLM Aşure 12B için tarihli bir karar kanıtı oluşur, RTX 4060 Ti 16GB sınıfı donanım not edilir ve ölçüm TPS karşılaştırması ile ilişkilendirilir. Akış Ollama ile yürür; daha geniş bağlam Kurs T001: Yerel Yapay Zeka Nedir içinde işlenir.

Yasal uyarı: Bu içerik eğitim amaçlı teknik çalışma notudur; hukuki görüş, mevzuat yorumu, uyum belgesi veya profesyonel danışmanlık değildir. Kişisel veri, sağlık, finans, çocuk/öğrenci verisi, telif veya regüle sektörlerde gerçek uygulamadan önce yetkin hukuk/uyum uzmanıyla yazılı değerlendirme alın.
Operatör notu: Çevrimdışı Model Önbelleği Nasıl Hazırlanır: Kurulum rehberinde başarı ekran görüntüsü değil, tekrar üretilebilir komut ve özet kaydıdır. Orta seviyede komutun yanında hata modunu da yazın; gelecekteki bakım çoğu zaman bu satırdan başlar. Bu rehberde beklenen kanıt outputs/cevrimdisi-model-onbellek.txt dosyasıdır.

Ön koşullar

  • Ubuntu 24.04 LTS ya da eşdeğer geliştirme ortamı.
  • Yerel çalışma zamanı kontrolü: ollama list.
  • Çevrimdışı Model Önbelleği: Model önbelleği ve kurulum kayıtları için en az 10 GB boş disk; kurulum dizini değiştiyse eski yolu da not edin.
  • Terminal çıktısı UTF-8 olmalı; Windows tarafında şüphede kalırsanız chcp çıktısını kaydedin.

Adımlar

  1. Kanıt klasörünü aç. Çevrimdışı Model Önbelleği için çıktıyı cevrimdisi model onbellek adıyla ayır; aynı klasöre log ve kısa rapor da girecek.
mkdir -p outputs logs reports
  1. Küçük kanıtı üret. Çevrimdışı Model Önbelleği için Kurulum çıktısı dağınık kalırsa en çok zaman kaybettiren şey, hangi adımın gerçekten tamamlandığını yeniden aramaktır. Bu komut gerçek veriyi çağırmadan Trendyol LLM Aşure 12B etiketini karar dosyasına işler.
mkdir -p outputs
printf '%s\n' 'cevrimdisi-model-onbellek | model=trendyol-llm-asure-12b | kontrol=tamam' 'komut=ollama list' 'metric=local_models' | tee outputs/cevrimdisi-model-onbellek.txt
ollama list
  1. Özeti kilitle. Çevrimdışı Model Önbelleği özetini daha sonra değişiklik yakalamak için kullanacaksınız; TPS karşılaştırması notunu bu hash ile birlikte saklayın.
sha256sum outputs/cevrimdisi-model-onbellek.txt
  1. Türkçe kırılmayı ara. Çevrimdışı Model Önbelleği Nasıl Hazırlanır cevabı ortasında İngilizceye kayarsa sistem istemine tek dil kısıtı ekleyin ve aynı girdiyi tekrar çalıştırın. Çıktı temizse Ollama tarafındaki sıradaki adıma geçebilirsiniz.

Maliyet karar kaydı

TRY maliyet notu: Bu rehberdeki ölçüm teknik davranışı anlamak içindir; donanım tam yükte uzun süre çalışacaksa maliyet hesabını TCO karar kaydı içinde ayrı tutun. Ev, ofis ve sanayi tarifesi aynı varsayım değildir. kWh fiyatını canlı fiyat etiketi gibi değil; tarih, tarife türü ve kaynakla birlikte karar kaydına yazın.

Doğrulama

Tek komutla son durumu doğrula:

test -s outputs/cevrimdisi-model-onbellek.txt && sed -n '1,3p' outputs/cevrimdisi-model-onbellek.txt

Beklenen çıktı:

cevrimdisi-model-onbellek | model=trendyol-llm-asure-12b | kontrol=tamam
kanıt: outputs/cevrimdisi-model-onbellek.txt
Türkçe karakter kontrolü: ı ş ç ğ ö ü

Yaygın Hatalar

  • `command not found: ollama` — Ollama kurulu değil ya da kabuk PATH içinde değil. Çözüm: aracı resmi kurulum yoluyla ekleyin, sonra aynı kabukta sürüm komutunu çalıştırın.
  • `connection refused` — Servis başlamamış veya beklenen portta dinlemiyor. Çözüm: servisi başlatın, portu sadece gerekli arayüzde açın ve doğrulama komutunu tekrar çalıştırın.
  • `Türkçe karakterler bozuk` — Çevrimdışı Model Önbelleği Nasıl Hazırlanır çıktısında Türkçe harfler okunmuyorsa kodlama katmanı karışmıştır. Çözüm: locale çıktısını kontrol edin ve dosyayı UTF-8 olarak tekrar üretin.
  • `outputs/cevrimdisi-model-onbellek.txt yok` — Rehberin sonunda beklenen kanıt dosyası oluşmamış. Çözüm: önce çalışma klasörünü oluşturun, sonra karar kanıtı adımını tek başına tekrar çalıştırın.
Veri koruma uyarısı: Bu rehber KVKK uyum kararı vermez. Kişisel veri içeren örnekleri üretimde kullanmadan önce amaç, saklama süresi, erişim yetkisi ve yurtdışı aktarım ihtimalini yetkin hukuk/uyum uzmanıyla doğrulayın. Başlangıç noktası: KVKK ve AI.

İlgili rehberler

İlgili katalog girişleri