Yerel LLM API için TLS Nasıl Eklenir

Bu rehber ne yapar

Yerel LLM API için TLS işi üretimde log, metrik ve geri alma izi olmadan tamamlanmış sayılmaz. Buradaki hedef kullanıcı verisini çoğaltmadan işletim kanıtı üretmektir. Bu iş sonunda Kumru 2B için tarihli bir karar kanıtı oluşur, RTX 4090 24GB sınıfı donanım not edilir ve ölçüm TurkBench karşılaştırması ile ilişkilendirilir. Akış Ollama ile yürür; daha geniş bağlam Kurs O003: Çoklu GPU ve Sunum içinde işlenir.

Yasal uyarı: Bu içerik eğitim amaçlı teknik çalışma notudur; hukuki görüş, mevzuat yorumu, uyum belgesi veya profesyonel danışmanlık değildir. Kişisel veri, sağlık, finans, çocuk/öğrenci verisi, telif veya regüle sektörlerde gerçek uygulamadan önce yetkin hukuk/uyum uzmanıyla yazılı değerlendirme alın.
Operatör notu: Yerel LLM API için TLS Nasıl Eklenir: Üretim notunda istem içeriğini değil, olay zamanı, model etiketi, gecikme ve maskeleme sonucunu tutun. İleri seviyede her varsayımı tarihli yazın; sürüm, sürücü veya lisans değişince karar tekrar açılabilsin. Bu rehberde beklenen kanıt outputs/yerel-llm-api-tls.txt dosyasıdır.

Ön koşullar

  • Ubuntu 24.04 LTS ya da eşdeğer geliştirme ortamı.
  • Yerel çalışma zamanı kontrolü: curl https://llm.local/api/tags.
  • Yerel LLM API için TLS: Üretim benzeri ama kişisel veri taşımayan küçük bir kontrol girdisi; gerçek log örneğini maskelemeden kopyalamayın.
  • Terminal çıktısı UTF-8 olmalı; Windows tarafında şüphede kalırsanız chcp çıktısını kaydedin.

Adımlar

  1. Kanıt klasörünü aç. Yerel LLM API için TLS için çıktıyı yerel llm api tls adıyla ayır; aynı klasöre log ve kısa rapor da girecek.
mkdir -p outputs logs reports
  1. Küçük kanıtı üret. Yerel LLM API için TLS için Üretim pratiğinde kanıt, gizli istemin kendisi değil; zaman, model etiketi ve maskelenmiş sonuçtur. Bu komut gerçek veriyi çağırmadan Kumru 2B etiketini karar dosyasına işler.
mkdir -p outputs
printf '%s\n' 'yerel-llm-api-tls | model=kumru-2b | kontrol=tamam' 'openssl req -x509 -newkey rsa:2048 -nodes -keyout llm.local.key -out llm.local.crt -subj /CN=llm.local' 'curl --cacert llm.local.crt https://llm.local/api/tags' | tee outputs/yerel-llm-api-tls.txt
  1. Özeti kilitle. Yerel LLM API için TLS özetini daha sonra değişiklik yakalamak için kullanacaksınız; TurkBench karşılaştırması notunu bu hash ile birlikte saklayın.
sha256sum outputs/yerel-llm-api-tls.txt
  1. Türkçe kırılmayı ara. Yerel LLM API için TLS Nasıl Eklenir için log satırında Türkçe metin taşıyacaksanız önce maskeleme sonucunu okuyun; ham istemi kalıcı kayda yazmayın. Çıktı temizse Ollama tarafındaki sıradaki adıma geçebilirsiniz.

Doğrulama

Tek komutla son durumu doğrula:

test -s outputs/yerel-llm-api-tls.txt && sed -n '1,3p' outputs/yerel-llm-api-tls.txt

Beklenen çıktı:

yerel-llm-api-tls | model=kumru-2b | kontrol=tamam
openssl req -x509 -newkey rsa:2048 -nodes -keyout llm.local.key -out llm.local.crt -subj /CN=llm.local
curl --cacert llm.local.crt https://llm.local/api/tags

Yaygın Hatalar

  • `command not found: ollama` — Ollama kurulu değil ya da kabuk PATH içinde değil. Çözüm: aracı resmi kurulum yoluyla ekleyin, sonra aynı kabukta sürüm komutunu çalıştırın.
  • `redaction missing` — Üretim benzeri log satırı maskelemeden rapora taşınmış. Çözüm: ham istem yerine olay kimliği, gecikme ve model etiketini yazın; örnek veriyi sentetik tutun.
  • `Türkçe karakterler bozuk` — Yerel LLM API için TLS Nasıl Eklenir çıktısında Türkçe harfler okunmuyorsa kodlama katmanı karışmıştır. Çözüm: locale çıktısını kontrol edin ve dosyayı UTF-8 olarak tekrar üretin.
  • `outputs/yerel-llm-api-tls.txt yok` — Rehberin sonunda beklenen kanıt dosyası oluşmamış. Çözüm: önce çalışma klasörünü oluşturun, sonra karar kanıtı adımını tek başına tekrar çalıştırın.
Veri koruma uyarısı: Bu rehber KVKK uyum kararı vermez. Kişisel veri içeren örnekleri üretimde kullanmadan önce amaç, saklama süresi, erişim yetkisi ve yurtdışı aktarım ihtimalini yetkin hukuk/uyum uzmanıyla doğrulayın. Başlangıç noktası: KVKK ve AI.

İlgili rehberler

İlgili katalog girişleri