Kurs O003: Çoklu GPU ve Sunum

Bu kurs neden var

Bu kurs, "Çoklu GPU ve Sunum" konusunu dağınık notlardan çıkarıp ölçülebilir bir çalışma akışına bağlar. O003 okuyucusu tek bir kurulum komutunu değil, model, donanım, karşılaştırma ve veri sınırını aynı anda düşünmeyi öğrenir. Eğer Kurs G004: Kuantizasyon Pratiği ve Kurs O001: Üretim LLM Operasyonları Temeli içeriğini bitirmediyseniz önce oraya dönün. Buradaki hedef gösteri yapmak değil; hata çıktısını okuyup hangi katmanın kırıldığını bulmaktır.

Yasal uyarı: Bu içerik eğitim amaçlı teknik çalışma notudur; hukuki görüş, mevzuat yorumu, uyum belgesi veya profesyonel danışmanlık değildir. Kişisel veri, sağlık, finans, çocuk/öğrenci verisi, telif veya regüle sektörlerde gerçek uygulamadan önce yetkin hukuk/uyum uzmanıyla yazılı değerlendirme alın.

Bittiğinde bilecekleriniz

  • Llama 3.3 70B ile kısa Türkçe test üretip çıktıyı dosyaya alacaksınız.
  • H100 80GB sınıfı donanımın nerede sınırlandığını ayıracaksınız.
  • TPS karşılaştırması sonucunu günlük karar kaydına bağlayacaksınız.
  • vLLM Tensor Paralel Nasıl Başlatılır rehberini tek başınıza uygulayacaksınız.

İlgili kataloğa bağlar

Öğrenme grafında yakın düğümler

Bölüm 1: Sunum çalışma zamanı seçimi

Tahmini süre: 45 dakika

Bu bölüm operatör bakışıyla kapasite, geri alma ve olay sonrası okunabilir kanıt ister. Sunum çalışma zamanı seçimi başlığı altında önce model, çalışma zamanı, donanım ve veri katmanı ayrılır; çünkü Çoklu GPU ve Sunum içinde en pahalı hata yanlış katmanı suçlamaktır. O003 Bölüm 1 için iyi not, cevabın güzel görünmesi değil, hangi komutla üretildiğinin iki hafta sonra da anlaşılmasıdır.

Sunum çalışma zamanı seçimi çalışırken Llama 3.3 70B bir vitrin adı değil, sınanacak varsayımdır. Sunum çalışma zamanı seçimi için Model yanıt vermediyse sebep kalite olmayabilir; etiket, önbellek, şablon veya bağlam sınırı da aynı masadadır. O003-1 notunda model etiketi, istem dili ve çıktı yolu aynı satırda durursa kalite tartışması kişisel beğeniden çıkar. Sunum çalışma zamanı seçimi Türkçe cevaplarında ekler, özel adlar ve uzun kurum adları bağlamı beklenenden hızlı doldurabilir; bu yüzden kısa kontrol istemini uzun belge denemesinden ayrı tutun.

Sunum çalışma zamanı seçimi için H100 80GB tarafında dikkat edilecek şey tek başına hız değildir. Donanım notu olmadan aynı komutun başka makinede neden değiştiğini anlamak zorlaşır. Çoklu GPU ve Sunum Bölüm 1 akışında VRAM dolunca bazen daha küçük model seçmek, aynı modeli daha sert kuantize etmekten daha okunur sonuç verir. O003-1 elektrik ve soğutma notu da buraya girer; karar kaydında tarihli varsayım olarak durması yeterlidir, canlı fiyat iddiasına çevirmeyin.

Sunum çalışma zamanı seçimi bölümünde TPS karşılaştırması çıpa görevi görür, ama tek başına ürün kararı gibi davranmaz. Ölçüm tek sayı değil; komut, çıktı, varsayım ve kısa yorumdan oluşan küçük bir pakettir. O003 Bölüm 1 denemesinde komut, kısa çıktı ve özet hash aynı klasöre yazılırsa sonraki model değişimi sessizce geçmez. Böyle bir kayıt düzeni solo çalışan kişi için ikinci hafıza, küçük ekip için de ortak tartışma zemini olur.

Sunum çalışma zamanı seçimi başlığında özel risk şudur: Gerçek veriyle başlamadan önce daha küçük, daha düşük riskli ve tekrar edilebilir bir örnek üretin. Sunum çalışma zamanı seçimi örneğinde kişisel veri, sağlık, finans, öğrenci ya da dava içeriği gerçek örnek gibi kopyalanmamalıdır; sentetik girdiyle aynı teknik kırılmayı yakalayabiliyorsanız onu kullanın. O003-1 çizgisi hukuki uygunluk kararı vermez, sadece teknik denemeyi daha temiz hale getirir ve uzman incelemesine taşınacak notu düzenler.

O003 Bölüm 1 sonunda beklenen çıktı küçük ama işe yarar: outputs/o003/bolum-1.txt dosyası, "Sunum çalışma zamanı seçimi" adı ve ilk risk yorumu. Sunum çalışma zamanı seçimi çıktısı beklenen gibi değilse sırayı bozmayın: önce çalışma zamanı, sonra model etiketi, sonra donanım, en son istem metni. Bu sıra ağır görünmez ama panik anında iyi bir raydır. Bir sonraki adım Bölüm 2 içinde aynı kararı çalışma komutuna bağlar.

Anahtar içgörü: Katman ayrımı kararını model cevabından önce kanıt dosyasıyla görünür yapın.

mkdir -p outputs/o003
printf '%s\n' 'O003 | Sunum çalışma zamanı seçimi | model=llama-3-3-70b | donanim=h100-80gb' > outputs/o003/bolum-1.txt
sha256sum outputs/o003/bolum-1.txt >> outputs/o003/bolum-1.txt.sha256
printf '%s\n' 'metric=evidence_hash' >> outputs/o003/bolum-1.txt

Egzersiz: "Sunum çalışma zamanı seçimi" komutunu çalıştırın, çıktıyı outputs/o003/bolum-1.txt dosyasına kaydedin ve dosyanın ilk satırına hangi katmanın riskli olduğunu yazın. Süre sınırı: 15 dakika.

Bölüm 2: Tensor parallel sınırı

Tahmini süre: 45 dakika

Bu bölüm operatör bakışıyla kapasite, geri alma ve olay sonrası okunabilir kanıt ister. Tensor parallel sınırı başlığı altında önce model, çalışma zamanı, donanım ve veri katmanı ayrılır; çünkü Çoklu GPU ve Sunum içinde en pahalı hata yanlış katmanı suçlamaktır. O003 Bölüm 2 için iyi not, cevabın güzel görünmesi değil, hangi komutla üretildiğinin iki hafta sonra da anlaşılmasıdır.

Tensor parallel sınırı çalışırken Llama 3.3 70B bir vitrin adı değil, sınanacak varsayımdır. Tensor parallel sınırı için Model yanıt vermediyse sebep kalite olmayabilir; etiket, önbellek, şablon veya bağlam sınırı da aynı masadadır. O003-2 notunda model etiketi, istem dili ve çıktı yolu aynı satırda durursa kalite tartışması kişisel beğeniden çıkar. Tensor parallel sınırı Türkçe cevaplarında ekler, özel adlar ve uzun kurum adları bağlamı beklenenden hızlı doldurabilir; bu yüzden kısa kontrol istemini uzun belge denemesinden ayrı tutun.

Tensor parallel sınırı için H100 80GB tarafında dikkat edilecek şey tek başına hız değildir. Donanım notu olmadan aynı komutun başka makinede neden değiştiğini anlamak zorlaşır. Çoklu GPU ve Sunum Bölüm 2 akışında VRAM dolunca bazen daha küçük model seçmek, aynı modeli daha sert kuantize etmekten daha okunur sonuç verir. O003-2 elektrik ve soğutma notu da buraya girer; karar kaydında tarihli varsayım olarak durması yeterlidir, canlı fiyat iddiasına çevirmeyin.

Tensor parallel sınırı bölümünde TPS karşılaştırması çıpa görevi görür, ama tek başına ürün kararı gibi davranmaz. Ölçüm tek sayı değil; komut, çıktı, varsayım ve kısa yorumdan oluşan küçük bir pakettir. O003 Bölüm 2 denemesinde komut, kısa çıktı ve özet hash aynı klasöre yazılırsa sonraki model değişimi sessizce geçmez. Böyle bir kayıt düzeni solo çalışan kişi için ikinci hafıza, küçük ekip için de ortak tartışma zemini olur.

Tensor parallel sınırı başlığında özel risk şudur: Gerçek veriyle başlamadan önce daha küçük, daha düşük riskli ve tekrar edilebilir bir örnek üretin. Tensor parallel sınırı örneğinde kişisel veri, sağlık, finans, öğrenci ya da dava içeriği gerçek örnek gibi kopyalanmamalıdır; sentetik girdiyle aynı teknik kırılmayı yakalayabiliyorsanız onu kullanın. O003-2 çizgisi hukuki uygunluk kararı vermez, sadece teknik denemeyi daha temiz hale getirir ve uzman incelemesine taşınacak notu düzenler.

O003 Bölüm 2 sonunda beklenen çıktı küçük ama işe yarar: outputs/o003/bolum-2.txt dosyası, "Tensor parallel sınırı" adı ve ilk risk yorumu. Tensor parallel sınırı çıktısı beklenen gibi değilse sırayı bozmayın: önce çalışma zamanı, sonra model etiketi, sonra donanım, en son istem metni. Bu sıra ağır görünmez ama panik anında iyi bir raydır. Bir sonraki adım Bölüm 3 içinde aynı kararı çalışma komutuna bağlar.

Anahtar içgörü: Katman ayrımı kararını model cevabından önce kanıt dosyasıyla görünür yapın.

mkdir -p outputs/o003
printf '%s\n' 'O003 | Tensor parallel sınırı | model=llama-3-3-70b | donanim=h100-80gb' > outputs/o003/bolum-2.txt
sha256sum outputs/o003/bolum-2.txt >> outputs/o003/bolum-2.txt.sha256
printf '%s\n' 'metric=evidence_hash' >> outputs/o003/bolum-2.txt

Egzersiz: "Tensor parallel sınırı" komutunu çalıştırın, çıktıyı outputs/o003/bolum-2.txt dosyasına kaydedin ve dosyanın ilk satırına hangi katmanın riskli olduğunu yazın. Süre sınırı: 15 dakika.

Bölüm 3: Toplu iş ve gecikme dengesi

Tahmini süre: 45 dakika

Bu bölüm operatör bakışıyla kapasite, geri alma ve olay sonrası okunabilir kanıt ister. Toplu iş ve gecikme dengesi başlığı altında önce model, çalışma zamanı, donanım ve veri katmanı ayrılır; çünkü Çoklu GPU ve Sunum içinde en pahalı hata yanlış katmanı suçlamaktır. O003 Bölüm 3 için iyi not, cevabın güzel görünmesi değil, hangi komutla üretildiğinin iki hafta sonra da anlaşılmasıdır.

Toplu iş ve gecikme dengesi çalışırken Llama 3.3 70B bir vitrin adı değil, sınanacak varsayımdır. Toplu iş ve gecikme dengesi için Model yanıt vermediyse sebep kalite olmayabilir; etiket, önbellek, şablon veya bağlam sınırı da aynı masadadır. O003-3 notunda model etiketi, istem dili ve çıktı yolu aynı satırda durursa kalite tartışması kişisel beğeniden çıkar. Toplu iş ve gecikme dengesi Türkçe cevaplarında ekler, özel adlar ve uzun kurum adları bağlamı beklenenden hızlı doldurabilir; bu yüzden kısa kontrol istemini uzun belge denemesinden ayrı tutun.

Toplu iş ve gecikme dengesi için H100 80GB tarafında dikkat edilecek şey tek başına hız değildir. Donanım notu olmadan aynı komutun başka makinede neden değiştiğini anlamak zorlaşır. Çoklu GPU ve Sunum Bölüm 3 akışında VRAM dolunca bazen daha küçük model seçmek, aynı modeli daha sert kuantize etmekten daha okunur sonuç verir. O003-3 elektrik ve soğutma notu da buraya girer; karar kaydında tarihli varsayım olarak durması yeterlidir, canlı fiyat iddiasına çevirmeyin.

Toplu iş ve gecikme dengesi bölümünde TPS karşılaştırması çıpa görevi görür, ama tek başına ürün kararı gibi davranmaz. Ölçüm tek sayı değil; komut, çıktı, varsayım ve kısa yorumdan oluşan küçük bir pakettir. O003 Bölüm 3 denemesinde komut, kısa çıktı ve özet hash aynı klasöre yazılırsa sonraki model değişimi sessizce geçmez. Böyle bir kayıt düzeni solo çalışan kişi için ikinci hafıza, küçük ekip için de ortak tartışma zemini olur.

Toplu iş ve gecikme dengesi başlığında özel risk şudur: Gerçek veriyle başlamadan önce daha küçük, daha düşük riskli ve tekrar edilebilir bir örnek üretin. Toplu iş ve gecikme dengesi örneğinde kişisel veri, sağlık, finans, öğrenci ya da dava içeriği gerçek örnek gibi kopyalanmamalıdır; sentetik girdiyle aynı teknik kırılmayı yakalayabiliyorsanız onu kullanın. O003-3 çizgisi hukuki uygunluk kararı vermez, sadece teknik denemeyi daha temiz hale getirir ve uzman incelemesine taşınacak notu düzenler.

O003 Bölüm 3 sonunda beklenen çıktı küçük ama işe yarar: outputs/o003/bolum-3.txt dosyası, "Toplu iş ve gecikme dengesi" adı ve ilk risk yorumu. Toplu iş ve gecikme dengesi çıktısı beklenen gibi değilse sırayı bozmayın: önce çalışma zamanı, sonra model etiketi, sonra donanım, en son istem metni. Bu sıra ağır görünmez ama panik anında iyi bir raydır. Bir sonraki adım Bölüm 4 içinde aynı kararı çalışma komutuna bağlar.

Anahtar içgörü: Katman ayrımı kararını model cevabından önce kanıt dosyasıyla görünür yapın.

mkdir -p outputs/o003
printf '%s\n' 'O003 | Toplu iş ve gecikme dengesi | model=llama-3-3-70b | donanim=h100-80gb' > outputs/o003/bolum-3.txt
sha256sum outputs/o003/bolum-3.txt >> outputs/o003/bolum-3.txt.sha256
printf '%s\n' 'metric=evidence_hash' >> outputs/o003/bolum-3.txt

Egzersiz: "Toplu iş ve gecikme dengesi" komutunu çalıştırın, çıktıyı outputs/o003/bolum-3.txt dosyasına kaydedin ve dosyanın ilk satırına hangi katmanın riskli olduğunu yazın. Süre sınırı: 15 dakika.

Bölüm 4: Türkçe istem karışım testi

Tahmini süre: 45 dakika

Bu bölüm operatör bakışıyla kapasite, geri alma ve olay sonrası okunabilir kanıt ister. Türkçe istem karışım testi başlığı altında önce model, çalışma zamanı, donanım ve veri katmanı ayrılır; çünkü Çoklu GPU ve Sunum içinde en pahalı hata yanlış katmanı suçlamaktır. O003 Bölüm 4 için iyi not, cevabın güzel görünmesi değil, hangi komutla üretildiğinin iki hafta sonra da anlaşılmasıdır.

Türkçe istem karışım testi çalışırken Llama 3.3 70B bir vitrin adı değil, sınanacak varsayımdır. Türkçe istem karışım testi için Model yanıt vermediyse sebep kalite olmayabilir; etiket, önbellek, şablon veya bağlam sınırı da aynı masadadır. O003-4 notunda model etiketi, istem dili ve çıktı yolu aynı satırda durursa kalite tartışması kişisel beğeniden çıkar. Türkçe istem karışım testi Türkçe cevaplarında ekler, özel adlar ve uzun kurum adları bağlamı beklenenden hızlı doldurabilir; bu yüzden kısa kontrol istemini uzun belge denemesinden ayrı tutun.

Türkçe istem karışım testi için H100 80GB tarafında dikkat edilecek şey tek başına hız değildir. Donanım notu olmadan aynı komutun başka makinede neden değiştiğini anlamak zorlaşır. Çoklu GPU ve Sunum Bölüm 4 akışında VRAM dolunca bazen daha küçük model seçmek, aynı modeli daha sert kuantize etmekten daha okunur sonuç verir. O003-4 elektrik ve soğutma notu da buraya girer; karar kaydında tarihli varsayım olarak durması yeterlidir, canlı fiyat iddiasına çevirmeyin.

Türkçe istem karışım testi bölümünde TPS karşılaştırması çıpa görevi görür, ama tek başına ürün kararı gibi davranmaz. Ölçüm tek sayı değil; komut, çıktı, varsayım ve kısa yorumdan oluşan küçük bir pakettir. O003 Bölüm 4 denemesinde komut, kısa çıktı ve özet hash aynı klasöre yazılırsa sonraki model değişimi sessizce geçmez. Böyle bir kayıt düzeni solo çalışan kişi için ikinci hafıza, küçük ekip için de ortak tartışma zemini olur.

Türkçe istem karışım testi başlığında özel risk şudur: Gerçek veriyle başlamadan önce daha küçük, daha düşük riskli ve tekrar edilebilir bir örnek üretin. Türkçe istem karışım testi örneğinde kişisel veri, sağlık, finans, öğrenci ya da dava içeriği gerçek örnek gibi kopyalanmamalıdır; sentetik girdiyle aynı teknik kırılmayı yakalayabiliyorsanız onu kullanın. O003-4 çizgisi hukuki uygunluk kararı vermez, sadece teknik denemeyi daha temiz hale getirir ve uzman incelemesine taşınacak notu düzenler.

O003 Bölüm 4 sonunda beklenen çıktı küçük ama işe yarar: outputs/o003/bolum-4.txt dosyası, "Türkçe istem karışım testi" adı ve ilk risk yorumu. Türkçe istem karışım testi çıktısı beklenen gibi değilse sırayı bozmayın: önce çalışma zamanı, sonra model etiketi, sonra donanım, en son istem metni. Bu sıra ağır görünmez ama panik anında iyi bir raydır. Bir sonraki adım Bölüm 5 içinde aynı kararı çalışma komutuna bağlar.

Anahtar içgörü: Katman ayrımı kararını model cevabından önce kanıt dosyasıyla görünür yapın.

mkdir -p outputs/o003
printf '%s\n' 'O003 | Türkçe istem karışım testi | model=llama-3-3-70b | donanim=h100-80gb' > outputs/o003/bolum-4.txt
ollama list >> outputs/o003/bolum-4.txt || printf '%s\n' 'metric=ollama_list_pending' >> outputs/o003/bolum-4.txt

Egzersiz: "Türkçe istem karışım testi" komutunu çalıştırın, çıktıyı outputs/o003/bolum-4.txt dosyasına kaydedin ve dosyanın ilk satırına hangi katmanın riskli olduğunu yazın. Süre sınırı: 15 dakika.

Bölüm 5: Kapasite planı

Tahmini süre: 45 dakika

Bu bölüm operatör bakışıyla kapasite, geri alma ve olay sonrası okunabilir kanıt ister. Kapasite planı başlığı altında önce demo başarısı ile üretim işletimi ayrılır; çünkü Çoklu GPU ve Sunum içinde en pahalı hata yanlış katmanı suçlamaktır. O003 Bölüm 5 için iyi not, cevabın güzel görünmesi değil, hangi komutla üretildiğinin iki hafta sonra da anlaşılmasıdır.

Kapasite planı çalışırken Llama 3.3 70B bir vitrin adı değil, sınanacak varsayımdır. Kapasite planı için Model etiketi değiştiğinde eski loglarla yeni davranışı ayıramıyorsanız üretim notu eksiktir. O003-5 notunda model etiketi, istem dili ve çıktı yolu aynı satırda durursa kalite tartışması kişisel beğeniden çıkar. Kapasite planı Türkçe cevaplarında ekler, özel adlar ve uzun kurum adları bağlamı beklenenden hızlı doldurabilir; bu yüzden kısa kontrol istemini uzun belge denemesinden ayrı tutun.

Kapasite planı için H100 80GB tarafında dikkat edilecek şey tek başına hız değildir. Kapasite hesabında tek iyi koşuyu değil, kuyruk biriktiği andaki tepe belleği okuyun. Çoklu GPU ve Sunum Bölüm 5 akışında VRAM dolunca bazen daha küçük model seçmek, aynı modeli daha sert kuantize etmekten daha okunur sonuç verir. O003-5 elektrik ve soğutma notu da buraya girer; karar kaydında tarihli varsayım olarak durması yeterlidir, canlı fiyat iddiasına çevirmeyin.

Kapasite planı bölümünde TPS karşılaştırması çıpa görevi görür, ama tek başına ürün kararı gibi davranmaz. Ölçümde gecikme bütçesi, hata oranı ve geri alma işareti birlikte görünmelidir. O003 Bölüm 5 denemesinde komut, kısa çıktı ve özet hash aynı klasöre yazılırsa sonraki model değişimi sessizce geçmez. Böyle bir kayıt düzeni solo çalışan kişi için ikinci hafıza, küçük ekip için de ortak tartışma zemini olur.

Kapasite planı başlığında özel risk şudur: Üretim bölümünde ham istemi kalıcı loga taşımadan önce maskeleme sonucunu ayrıca kontrol edin. Kapasite planı örneğinde kişisel veri, sağlık, finans, öğrenci ya da dava içeriği gerçek örnek gibi kopyalanmamalıdır; sentetik girdiyle aynı teknik kırılmayı yakalayabiliyorsanız onu kullanın. O003-5 çizgisi hukuki uygunluk kararı vermez, sadece teknik denemeyi daha temiz hale getirir ve uzman incelemesine taşınacak notu düzenler.

O003 Bölüm 5 sonunda beklenen çıktı küçük ama işe yarar: outputs/o003/bolum-5.txt dosyası, "Kapasite planı" adı ve ilk risk yorumu. Kapasite planı çıktısı beklenen gibi değilse sırayı bozmayın: önce çalışma zamanı, sonra model etiketi, sonra donanım, en son istem metni. Bu sıra ağır görünmez ama panik anında iyi bir raydır.

Anahtar içgörü: İşletim izi kararını model cevabından önce kanıt dosyasıyla görünür yapın.

mkdir -p outputs/o003
printf '%s\n' 'O003 | Kapasite planı | model=llama-3-3-70b | donanim=h100-80gb' > outputs/o003/bolum-5.txt
printf '%s\n' 'metric=p95_latency_ms' 'kontrol=rollback_tag_noted' >> outputs/o003/bolum-5.txt

Egzersiz: "Kapasite planı" komutunu çalıştırın, çıktıyı outputs/o003/bolum-5.txt dosyasına kaydedin ve dosyanın ilk satırına hangi katmanın riskli olduğunu yazın. Süre sınırı: 15 dakika.