Her sayı, bir kural setine bağlı.
Aşağıda her boyutun veri kümesi, puanlama formülü, örnek sayısı ve örnek soru var. Tartışmaya açık metodoloji = güvenilir benchmark.
Veri sürümü 2025.05 · CC-BY 4.09.9 altında derleme başarısız olur.
Şema, istatistik, dışa aktarım, metodoloji, karantina.
Ham loglar ve çıktı hash'leri son kilidi açacak.
91 koşu denetlendi, 0 bloklayan hata
64/64 yetkili birinci elden koşu gerekli tekrar sayısına sahip
14 boyut; örnek, puanlama ve aralık meta verisini tanımlıyor
14/14 boyutun tekrarlanabilirlik denetimi var
23 koşu, ham loglar ve çıktı hash'leri yayınlanana kadar açıkça geçici
JSON, CSV, boyutlar, donanım ve birleştirilmiş topluluk akışları derleme anında üretiliyor
Topluluk gönderimleri doğrulanır, tekrarları ayıklanır; geçersiz satırlar birleştirme öncesi karantinaya alınır
TR-MMLU
Türkçe çok-konulu çoktan-seçmeli sınav (9 disiplin)
Bu boyut editöryal + harici kaynaklarla beslenir. Skorlar; akademik leaderboard'lar (alibayram, malhajar, OpenEvals), model üreticisinin yayınladığı raporlar ve YerelAI editör değerlendirmesi birleştirilerek raporlanır. Her satır kaynak URL'si ve editorial-estimate statüsüyle işaretlidir. Bu mod “ölçüm yapılmadı” demek değildir, bu mod “ölçümü başkası yaptı, biz attribution ile aktardık” demektir. Eklenen her bağımsız tekrar verified statüsüne taşır.
Yüksel et al. (2024) tarafından geliştirilen Türkçe MMLU varyantı. 9 lise/üniversite dersi (Biyoloji, Kimya, Coğrafya, Tarih, Matematik, Felsefe, Fizik, Din Kültürü, Türk Dili ve Edebiyatı) için 5-shot çoktan-seçmeli. Multi-choice değerlendirme için logprobs gerekir.
Aşağıdakilerden hangisi Tanzimat Fermanı'nın ilan edildiği yıldır? A) 1789 B) 1839 C) 1856 D) 1876 E) 1908
Her soru için modelin logprob'u en yüksek olan şıkkı seçer. Doğru cevap oranı %. Cevap sırası deterministik (seed sabit).
TurkishMMLU (Yüksel)
Yüksel et al. 2024 TurkishMMLU — YerelAI birinci-elden ölçüm (9 ders)
Birinci-elden ölçüm pipeline'ı aktif. Harness: EleutherAI lm-evaluation-harness. 5-shot, apply_chat_template, seed 42, greedy logprob, deterministik koşu. Her model için results.json + SHA-256 yayımlanır. 27 model ölçülmüştür.
Yüksel et al. (2024, EMNLP Findings) tarafından geliştirilen TurkishMMLU akademik benchmark'i (9 ders, çoktan-seçmeli). alibayram liderlik tablosundan AYRI ve bağımsız bir ölçümdür: YerelAI bunu EleutherAI lm-evaluation-harness ile birinci-elden çalıştırır (5-shot, apply_chat_template + fewshot_as_multiturn, seed 42). Her koşunun results.json'u (per-subject aggregate sonuçlar) + SHA-256 çıktı karması + pinli komut & harness sürümü ile yayımlanır; bağımsız biri aynı kurulumda bayt-birebir tekrar üretebilir.
lm-evaluation-harness task=turkishmmlu, 5-shot, apply_chat_template (fewshot_as_multiturn), çoktan-seçmeli logprob seçimi; 9 dersin makro ortalaması (%).
Belebele (TR)
Belebele Türkçe okuduğunu-anlama (Meta) — YerelAI birinci-elden ölçüm
Birinci-elden ölçüm pipeline'ı aktif. Harness: EleutherAI lm-evaluation-harness. Aynı determinizm sözleşmesi (5-shot, apply_chat_template, seed 42, greedy logprob). Her model için results.json + SHA-256 yayımlanır. 10 model ölçülmüştür.
Belebele (Bandarkar et al. 2024, Meta AI) çok-dilli makine okuduğunu-anlama benchmark'inin Türkçe (tur_Latn) bölümü: 900 soru, her biri bir paragraf + 4 şıklı anlama sorusu. YerelAI bunu EleutherAI lm-evaluation-harness ile birinci-elden çalıştırır (5-shot, apply_chat_template, seed 42). TurkishMMLU bilgi/ezber ölçerken Belebele OKUDUĞUNU ANLAMA ölçer — ayrı bir yetenek. Her koşunun results.json'u (per-subject aggregate sonuçlar) + SHA-256 çıktı karması + pinli komut & harness sürümü ile yayımlanır; bağımsız biri aynı kurulumda bayt-birebir tekrar üretebilir.
lm-evaluation-harness task=belebele_tur_Latn, 5-shot, apply_chat_template, 4-şıklı çoktan-seçmeli logprob seçimi; doğru cevap oranı (%).
TurkBench
8.151 soru × 21 alt-görev × 6 kategori
Bu boyut editöryal + harici kaynaklarla beslenir. Skorlar; akademik leaderboard'lar (alibayram, malhajar, OpenEvals), model üreticisinin yayınladığı raporlar ve YerelAI editör değerlendirmesi birleştirilerek raporlanır. Her satır kaynak URL'si ve editorial-estimate statüsüyle işaretlidir. Bu mod “ölçüm yapılmadı” demek değildir, bu mod “ölçümü başkası yaptı, biz attribution ile aktardık” demektir. Eklenen her bağımsız tekrar verified statüsüne taşır.
Türkçe genel-amaçlı kapsamlı benchmark. 21 alt-görev arasında doğal dil çıkarım, ad varlık tanıma, soru-cevap, özetleme. Her görev için resmi metrik (F1, exact-match, ROUGE) ortalamalanır. Bu sitede henüz TurkBench ölçümü ya da alıntı skoru yok.
21 alt-görevin metrik ortalaması (her birinin resmi metriği, bazıları F1, bazıları accuracy). Resmi pipeline GitHub repo'sunda.
MMLU-Pro-TR
MMLU-Pro'nun Türkçe lokalize sürümü
Bu boyut editöryal + harici kaynaklarla beslenir. Skorlar; akademik leaderboard'lar (alibayram, malhajar, OpenEvals), model üreticisinin yayınladığı raporlar ve YerelAI editör değerlendirmesi birleştirilerek raporlanır. Her satır kaynak URL'si ve editorial-estimate statüsüyle işaretlidir. Bu mod “ölçüm yapılmadı” demek değildir, bu mod “ölçümü başkası yaptı, biz attribution ile aktardık” demektir. Eklenen her bağımsız tekrar verified statüsüne taşır.
MMLU-Pro'nun Türkçeye çevrilmiş sürümü. Klasik MMLU'nun aksine 10 seçenekli ve daha karmaşık akıl yürütme gerektirir. Bu sitede henüz MMLU-Pro-TR ölçümü ya da alıntı skoru yok.
10-şıklı logprob seçim. Mikro-ortalama doğru cevap oranı.
KPSS Genel
Genel Kültür + Genel Yetenek (planlanan boyut, henüz ölçüm yok)
Bu boyut editöryal + harici kaynaklarla beslenir. Skorlar; akademik leaderboard'lar (alibayram, malhajar, OpenEvals), model üreticisinin yayınladığı raporlar ve YerelAI editör değerlendirmesi birleştirilerek raporlanır. Her satır kaynak URL'si ve editorial-estimate statüsüyle işaretlidir. Bu mod “ölçüm yapılmadı” demek değildir, bu mod “ölçümü başkası yaptı, biz attribution ile aktardık” demektir. Eklenen her bağımsız tekrar verified statüsüne taşır.
Planlanan tasarım; henüz veri seti ve ölçüm yok. Hedef: ÖSYM'nin yayımladığı 2018-2024 KPSS Genel Kültür ve Genel Yetenek sorularından tabakalı örneklemle 800 soruluk bir set derlemek ve modelleri 5 şıklı çoktan seçmeli olarak değerlendirmek.
Planlanan: 5 şıklı çoktan seçmeli, ÖSYM resmî cevap anahtarına göre doğru / toplam.
TUS Klinik
Tıpta Uzmanlık Sınavı klinik soruları (planlanan boyut, henüz ölçüm yok)
Bu boyut editöryal + harici kaynaklarla beslenir. Skorlar; akademik leaderboard'lar (alibayram, malhajar, OpenEvals), model üreticisinin yayınladığı raporlar ve YerelAI editör değerlendirmesi birleştirilerek raporlanır. Her satır kaynak URL'si ve editorial-estimate statüsüyle işaretlidir. Bu mod “ölçüm yapılmadı” demek değildir, bu mod “ölçümü başkası yaptı, biz attribution ile aktardık” demektir. Eklenen her bağımsız tekrar verified statüsüne taşır.
Planlanan tasarım; henüz veri seti ve ölçüm yok. Hedef: TUS klinik bölümünden 2019-2024 arası 500 soruluk bir set derlemek. Sorular Türk tıp diline ve tedavi kılavuzlarına aşinalık gerektirir; amaç halüsinasyon riskini görünür kılmaktır.
Planlanan: ÖSYM cevap anahtarına göre doğru / toplam. Kesin bilgi yoksa "Bilmiyorum" cezasız.
E-ticaret TR
Ürün başlığı + açıklama, insan değerlendirmesi (planlanan boyut, henüz ölçüm yok)
Bu boyut editöryal + harici kaynaklarla beslenir. Skorlar; akademik leaderboard'lar (alibayram, malhajar, OpenEvals), model üreticisinin yayınladığı raporlar ve YerelAI editör değerlendirmesi birleştirilerek raporlanır. Her satır kaynak URL'si ve editorial-estimate statüsüyle işaretlidir. Bu mod “ölçüm yapılmadı” demek değildir, bu mod “ölçümü başkası yaptı, biz attribution ile aktardık” demektir. Eklenen her bağımsız tekrar verified statüsüne taşır.
Planlanan tasarım; henüz veri seti, değerlendirici ve ölçüm yok. Hedef: 250 ürün için başlık ve 100 kelimelik açıklama üretimini 5'lik Likert ölçeğiyle (akıcılık, marka uyumu, SEO, doğruluk, satın alma niyeti) insan değerlendirmesine sunmak.
Planlanan: her değerlendirici 5 boyutu 5'lik Likert ile puanlar; puanlar min-max normalize edilip yüzdeye çevrilir. Değerlendirici sayısı ve kimliği belirlenmedi.
Hukuki TR
Sözleşme + dilekçe + ihtarname üretimi (planlanan boyut, henüz ölçüm yok)
Bu boyut editöryal + harici kaynaklarla beslenir. Skorlar; akademik leaderboard'lar (alibayram, malhajar, OpenEvals), model üreticisinin yayınladığı raporlar ve YerelAI editör değerlendirmesi birleştirilerek raporlanır. Her satır kaynak URL'si ve editorial-estimate statüsüyle işaretlidir. Bu mod “ölçüm yapılmadı” demek değildir, bu mod “ölçümü başkası yaptı, biz attribution ile aktardık” demektir. Eklenen her bağımsız tekrar verified statüsüne taşır.
Planlanan tasarım; henüz veri seti, hukukçu incelemesi ve ölçüm yok. 100 hukuki senaryo için belge üretimi hedeflenir. Avukat incelemesi tamamlanmayan sonuçlar geçici kabul edilir; terminoloji, format, mevzuat referansı ve kullanılabilir taslak boyutları ayrı etiketlenir.
Planlanan: hukuk uzmanı incelemesi varsa 4 boyutlu Likert; uzman incelemesi yoksa yalnızca geçici/editoryal etiket. Mevzuat referans hataları ayrıca işaretlenir.
Halüsinasyon TR
Türkçe TruthfulQA varyantı (planlanan boyut, henüz ölçüm yok)
Bu boyut editöryal + harici kaynaklarla beslenir. Skorlar; akademik leaderboard'lar (alibayram, malhajar, OpenEvals), model üreticisinin yayınladığı raporlar ve YerelAI editör değerlendirmesi birleştirilerek raporlanır. Her satır kaynak URL'si ve editorial-estimate statüsüyle işaretlidir. Bu mod “ölçüm yapılmadı” demek değildir, bu mod “ölçümü başkası yaptı, biz attribution ile aktardık” demektir. Eklenen her bağımsız tekrar verified statüsüne taşır.
Planlanan tasarım; henüz veri seti, hakem hattı ve ölçüm yok. Hedef: TruthfulQA'nın Türkçe bir varyantını (500 yaygın yanlış inanış ve tarihsel olay sorusu) hazırlamak. Model "Atatürk hangi yıl Cumhuriyeti ilan etti?" gibi sorulara güvenle yanlış cevap verirse puan kaybeder. Yüksek skor = az halüsinasyon.
Planlanan: her cevaba doğruluk + dürüstlük puanı veren bir hakem (insan ya da LLM); bilinçli "bilmiyorum" cevabı ödüllendirilir. Hakem hattı henüz kurulmadı.
Instruction-TR
Talimat takibi, IFEval Türkçe (planlanan boyut, henüz ölçüm yok)
Bu boyut editöryal + harici kaynaklarla beslenir. Skorlar; akademik leaderboard'lar (alibayram, malhajar, OpenEvals), model üreticisinin yayınladığı raporlar ve YerelAI editör değerlendirmesi birleştirilerek raporlanır. Her satır kaynak URL'si ve editorial-estimate statüsüyle işaretlidir. Bu mod “ölçüm yapılmadı” demek değildir, bu mod “ölçümü başkası yaptı, biz attribution ile aktardık” demektir. Eklenen her bağımsız tekrar verified statüsüne taşır.
Planlanan tasarım; henüz veri seti ve ölçüm yok. Hedef: IFEval (Zhou et al. 2023) komut setini Türkçeye çevirmek ve "JSON ile cevap ver", "200 kelimeden az tut", "noktalama kullanma" gibi otomatik denetlenebilir kurallara modelin uyup uymadığını ölçmek.
Planlanan: otomatik kural doğrulayıcı (regex + JSON parse + uzunluk denetimi). Her talimat geçti/kaldı.
Kod-TR
Türkçe yorumlu HumanEval (planlanan boyut, henüz ölçüm yok)
Bu boyut editöryal + harici kaynaklarla beslenir. Skorlar; akademik leaderboard'lar (alibayram, malhajar, OpenEvals), model üreticisinin yayınladığı raporlar ve YerelAI editör değerlendirmesi birleştirilerek raporlanır. Her satır kaynak URL'si ve editorial-estimate statüsüyle işaretlidir. Bu mod “ölçüm yapılmadı” demek değildir, bu mod “ölçümü başkası yaptı, biz attribution ile aktardık” demektir. Eklenen her bağımsız tekrar verified statüsüne taşır.
Planlanan tasarım; henüz veri seti ve ölçüm yok. Hedef: HumanEval'in 164 sorusunun problem açıklamasını ve örneklerini Türkçeye çevirmek ve üretilen Python kodunu testlerle çalıştırmak. İngilizce HumanEval+ ölçümleri ayrı bir sayfadadır: /kod-benchmark.
Planlanan: pass@1 = test geçen kod / toplam.
Token/saniye
Inference hızı (hardware × quant)
Birinci-elden ölçüm pipeline'ı aktif. Harness: app/scripts/local-ollama-tps-sweep.mjs. 5 ardışık run, medyan tok/s, Ollama model digest + her response için SHA-256 kayıt altında. 8 Türkçe model üzerinde RTX 5080 sweep çalışmıştır.
Batch=1 çıktı hızı (tok/s), Ollama üzerinde, ısınma koşusu atılarak. Bağlam uzunluğu ve tekrar sayısı her koşunun kaydında yazar: RTX 5080 taraması 2048 bağlam, 512 yeni token, 5 koşu; RX 7900 XTX taraması 4096 bağlam, 4 koşu; RTX 3080 Laptop taraması 4096 bağlam, 5 koşu. Hız, donanıma bağlıdır; farklı donanımlardaki değerler birbiriyle karşılaştırılmaz.
Koşu başına tok/s; yayımlanan koşu değerlerinin ortalaması ya da capture dosyasındaki medyan gösterilir. Soğuk başlatma hariç.
Maliyet (1M token)
1 milyon Türkçe token için yaklaşık maliyet (TRY)
Bu boyut bir ölçüm değil, modellenmiş bir hesaplamadır. Skorlar bir formülden türetilir (aşağıda); harness koşmaz. `measurement: 'modeled'` etiketiyle saklanır. Doğruluk = formülün doğruluğu, değil ölçüm tekrarlanabilirliği.
Bulut API'lar için fiyat listesi × 1M token. Yerel modeller için yalnızca elektrik-only işletim alt sınırı gösterilir; GPU/PC satın alma fiyatı canlı tam sistem sepetiyle ayrıca hesaplanır.
cloud: vendor.priceUSDper1MToken × USD/TRY × Türkçe-token-overhead (1.4x). local: elektrik-only alt sınır = (gpu.tdpKW × saat × tarihli kWh varsayımı) / tokensProduced × 1M. Donanım satın alma dahil edilmez; ROI için kullanıcı canlı tam sistem sepeti girer.
Yeniden üret
Skorlara güvenmek zorunda değilsin. Açık veriyi indir, kendi makinende çalıştır, kendi log'unu üret ve yayımlanmış çıktı hash'leriyle karşılaştır. Reprodüksiyon = doğrulama.
- Adım 1Açık veriyi indir
curl -O https://www.yerel.ai/api/benchmarks.json
- Adım 2Boyut metadatasını çek
curl -O https://www.yerel.ai/api/dimensions.json
- Adım 3Skorları kendi makinende doğrula
jq ".runs[] | select(.measurement==\"direct\")" benchmarks.json
- Adım 4Çıktı hash'leriyle karşılaştır
sha256sum results.json # her direct koşunun yayımlanmış hash'i
Her boyut için tekrarlanabilirlik puanı
YerelAI benchmark'larının her biri 5 kriterde denetlenir. Veri ayrımı belgeli mi? Kod açık kaynak mı? Seed sabit mi? Ortalama puan: 43/100. Son denetim: 2026-06-19.
TR-MMLU
Türkçe çok-konulu çoktan-seçmeli sınav (9 disiplin)
Skorlar alibayram TurkishMMLU liderlik tablosundan ALINTIDIR — YerelAI birinci-elden çalıştırmaz. Tekrarlanabilirlik üst kaynağa aittir; biz yalnızca kaynağı + ölçüm tarihini belirtiriz. YerelAI Docker imajı / kendi harness koşusu yoktur (önceki yayımlanmış-imaj iddiası kaldırıldı).
TurkishMMLU (Yüksel)
Yüksel et al. 2024 TurkishMMLU — YerelAI birinci-elden ölçüm (9 ders)
YerelAI'ın iki birinci-elden, byte-tekrarlanabilir kalite boyutundan biri (diğeri Belebele-TR). EleutherAI lm-evaluation-harness 0.4.12, task=turkishmmlu, 5-shot, apply_chat_template (fewshot_as_multiturn), seed=42, RTX 4090 (driver 590.48.01). Deterministik. Her koşunun results.json'u (per-subject aggregate sonuçlar) + SHA-256 çıktı karması + pinli komut & harness sürümü ile yayımlanır; bağımsız biri aynı kurulumda bayt-birebir tekrar üretebilir. Docker yok ama tam komut + harness sürümü pinli (deterministik olduğu için container, hash kadar güçlü değil).
Belebele (TR)
Belebele Türkçe okuduğunu-anlama (Meta) — YerelAI birinci-elden ölçüm
Birinci-elden, byte-tekrarlanabilir okuduğunu-anlama boyutu. lm-evaluation-harness task=belebele_tur_Latn (Meta facebook/belebele tur_Latn, parquet-native), 5-shot, apply_chat_template, seed 42, RTX 5090. Deterministik (sabit few-shot + greedy logprob). Her koşunun results.json'u (tek görev belebele_tur_Latn, 900 soru, aggregate sonuç) + SHA-256 çıktı karması + pinli komut & harness sürümü ile yayımlanır; bağımsız biri aynı kurulumda bayt-birebir tekrar üretebilir.
TurkBench
8.151 soru × 21 alt-görev × 6 kategori
Tanımlı boyut, ANCAK henüz birinci-elden ölçüm YOK (0 koşu). Önceki "Docker + requirements.txt mevcut" iddiası kaldırıldı (mevcut değildi). Ölçüm yapıldığında kart gerçek artefaktlarla güncellenecek.
MMLU-Pro-TR
MMLU-Pro'nun Türkçe lokalize sürümü
Birinci-elden YerelAI ölçümü yok; boyutun hiç kaydı yok (eski editöryal tahmin satırları kaldırıldı). Önceki topluluk-PR container iddiası kaldırıldı (mevcut değildi). Dataset: malhajar/mmlu-pro-tr (HF, alıntı).
KPSS Genel
Genel Kültür + Genel Yetenek (planlanan boyut, henüz ölçüm yok)
Planlanan in-house boyut: veri seti yayımlanmadı, birinci-elden ölçüm/harness YOK. Önceki "harness'a gömülü ÖSYM doğrulama" iddiası kaldırıldı (mevcut değil).
TUS Klinik
Tıpta Uzmanlık Sınavı klinik soruları (planlanan boyut, henüz ölçüm yok)
Planlanan in-house boyut: veri seti yayımlanmadı, birinci-elden ölçüm YOK. Önceki "topluluk koşuları" ifadesi kaldırıldı (koşu yok).
E-ticaret TR
Ürün başlığı + açıklama, insan değerlendirmesi (planlanan boyut, henüz ölçüm yok)
Planlanan insan-değerlendirme boyutu: veri seti yayımlanmadı, birinci-elden ölçüm YOK. Önceki "ürün veri seti paylaşıldı" iddiası kaldırıldı (paylaşılmadı).
Hukuki TR
Sözleşme + dilekçe + ihtarname üretimi (planlanan boyut, henüz ölçüm yok)
Planlanan hukuk boyutu: yalnızca görev tanımı taslağı var, veri seti/birinci-elden ölçüm YOK. Avukat incelemesi tamamlanmadı.
Halüsinasyon TR
Türkçe TruthfulQA varyantı (planlanan boyut, henüz ölçüm yok)
Planlanan boyut; birinci-elden ölçüm YOK. Önceki GPT-4-hakem / κ-istatistiği iddiası kaldırıldı — böyle bir ölçüm/istatistik yapılmadı.
Instruction-TR
Talimat takibi, IFEval Türkçe (planlanan boyut, henüz ölçüm yok)
Birinci-elden harness YOK; boyutun hiç kaydı yok (eski editöryal tahmin satırları kaldırıldı). Önceki "container her donanımda aynı" iddiası kaldırıldı (container yok).
Kod-TR
Türkçe yorumlu HumanEval (planlanan boyut, henüz ölçüm yok)
Birinci-elden harness YOK; boyutun hiç kaydı yok (eski editöryal tahmin satırları kaldırıldı). Önceki sabitlenmiş-pytest Docker imajı iddiası kaldırıldı (mevcut değil).
Token/saniye
Inference hızı (hardware × quant)
Speed varies by driver version and thermal state. Cannot fully fix seeds for wall-clock measurements.
Maliyet (1M token)
1 milyon Türkçe token için yaklaşık maliyet (TRY)
Modeled dimension, formula transparent but dependent on external factors (TRY/USD rate, EPDK kWh).
Türkçe AI değerlendirme manzarası
YerelAI 14-boyutlu rubric'imizi tek doğru kaynak olarak sunmaz. Aşağıda, metodoloji sayfalarımızda referans gösterdiğimiz harici Türkçe AI değerlendirme çerçeveleri var. Tam liste JSON olarak. Satır-seviyesinde veri yalnızca alibayram-tr-mmlu'dan içe aktarılmıştır (CC-BY-NC-4.0 lisansla, 66 satır, ham veriler external-benchmarks.json içinde).
Klasik NLP görevleri (NER, NLI, QA). YerelAI rubric uygulama-seviyesi kalite + hız + maliyet kapsar.
Birinci elden ölçtüğümüz TurkishMMLU-Yüksel boyutunun veri seti kaynağı (arXiv:2407.12402). Her run seed=42 ile örnekler.
Planlanan turkbench boyutu için hedeflenen veri kaynağı. Henüz birinci elden ölçülmedi; eklendiğinde bu kümeden örneklenecek.
Planlanan mmlu-pro-tr boyutu için hedeflenen veri kaynağı. Türkçe için en zor sınavlardan; henüz birinci elden ölçülmedi.
Daha geniş model coverage; YerelAI daha derin rubric. Tamamlayıcı.
Tek satır-seviyesi içe aktarılan harici kaynak. CC-BY-NC-4.0 lisansla.