Türkçe LLM Liderlik Tablosu — TurkishMMLU-Yüksel
Birinci elden ölçülen 2 kalite boyutu: TurkishMMLU-Yüksel (27 model) + Belebele-TR. Çıktı hızı ayrı bir hız ölçütü; TR-MMLU alibayram'dan alıntı. 142 model.
TurkishMMLU (Yüksel) liderlik tablosu
| # | Model | TurkishMMLU (Yüksel) | Belebele (TR) | Kanıt |
|---|---|---|---|---|
| 1 | YTU-Turkish-Gemma-9b | %62.3 | %85.9 | Birinci taraf — 2 boyut |
| 2 | Trendyol-LLM-Asure-12B | %62.2 | %86.6 | Birinci taraf — 2 boyut |
| 3 | Turkish-Gemma-9b-T1 | %55.7 | %83.9 | Birinci taraf — 2 boyut |
| 4 | Cosmos Turkish Culture 9B | %55.4 | %82.1 | Birinci taraf — 2 boyut |
| 5 | Trendyol-LLM 7B chat v4.1.0 | %54.1 | %77.9 | Birinci taraf — 2 boyut |
| 6 | Qwen2.5-7B Turkish Culture | %54.0 | %73.6 | Birinci taraf — 2 boyut |
| 7 | Qwen 2.5 7B | %53.7 | %78.8 | Birinci taraf — 2 boyut |
| 8 | Kizagan E4B Turkish Reasoning | %51.2 | %76.0 | Birinci taraf — 2 boyut |
| 9 | Turkish-Llama-8b | %48.6 | ölçülmedi | Birinci taraf — Yüksel |
| 10 | WiroAI-Turkish-9b | %47.9 | %82.6 | Birinci taraf — 2 boyut |
| 11 | Kizagan E4B Turkish (Agent) | %47.4 | %71.4 | Birinci taraf — 2 boyut |
| 12 | Trendyol-LLM-8b v2.0 | %46.1 | ölçülmedi | Birinci taraf — Yüksel |
| 13 | Turkish-Gemma-4b-T1-Scout | %44.8 | ölçülmedi | Birinci taraf — Yüksel |
| 14 | Llama-3-8B Turkish Culture | %44.7 | ölçülmedi | Birinci taraf — Yüksel |
| 15 | Turkish-Llama-8b v0.1 | %44.7 | ölçülmedi | Birinci taraf — Yüksel |
Ölçülen modeller: YTU-Turkish-Gemma-9b — TurkishMMLU-Yüksel %62.3 · Trendyol-LLM-Asure-12B — TurkishMMLU-Yüksel %62.2 · Turkish-Gemma-9b-T1 — TurkishMMLU-Yüksel %55.7 · Cosmos Turkish Culture 9B — TurkishMMLU-Yüksel %55.4 · Trendyol-LLM 7B chat v4.1.0 — TurkishMMLU-Yüksel %54.1 · Qwen2.5-7B Turkish Culture — TurkishMMLU-Yüksel %54.0 · Qwen 2.5 7B — TurkishMMLU-Yüksel %53.7 · Kizagan E4B Turkish Reasoning — TurkishMMLU-Yüksel %51.2 · Turkish-Llama-8b — TurkishMMLU-Yüksel %48.6 · WiroAI-Turkish-9b — TurkishMMLU-Yüksel %47.9 · Kizagan E4B Turkish (Agent) — TurkishMMLU-Yüksel %47.4 · Trendyol-LLM-8b v2.0 — TurkishMMLU-Yüksel %46.1 · Turkish-Gemma-4b-T1-Scout — TurkishMMLU-Yüksel %44.8 · Llama-3-8B Turkish Culture — TurkishMMLU-Yüksel %44.7 · Turkish-Llama-8b v0.1 — TurkishMMLU-Yüksel %44.7 · Qwen 2B Turkish SFT — TurkishMMLU-Yüksel %39.8 · Turkcell-LLM-7b v1 — TurkishMMLU-Yüksel %32.8 · OpenHermes Strix Mistral 7B (TR) — TurkishMMLU-Yüksel %27.7 · MAM Turkish 790M — TurkishMMLU-Yüksel %23.9 · Trendyol-LLM 7B base v1.0 — TurkishMMLU-Yüksel %22.7 · Trendyol-LLM 8B T1 — TurkishMMLU-Yüksel %21.3 · Kumru 2B Turkish Reasoning (GRPO) — TurkishMMLU-Yüksel %21.2 · Kanarya 750M — TurkishMMLU-Yüksel %21.0 · Kanarya-2B — TurkishMMLU-Yüksel %20.8 · Kumru-2B — TurkishMMLU-Yüksel %20.7 · Kara-Kumru v1.0 2B — TurkishMMLU-Yüksel %19.9 · Trendyol-LLM 7B chat v0.1 — TurkishMMLU-Yüksel %18.6 · tr-Qwen2.5-0.5B-SFT v1 — TurkishMMLU-Yüksel %18.2