Türkçe LLM Liderlik Tablosu — TurkishMMLU-Yüksel

Birinci elden ölçülen 2 kalite boyutu: TurkishMMLU-Yüksel (27 model) + Belebele-TR. Çıktı hızı ayrı bir hız ölçütü; TR-MMLU alibayram'dan alıntı. 142 model.

TurkishMMLU (Yüksel) liderlik tablosu

Birinci-taraf ölçülen TurkishMMLU (Yüksel) skoruna göre sıralı; Belebele (TR) yan sütun. Skorların bulunmadığı yerde "ölçülmedi".
# Model TurkishMMLU (Yüksel) Belebele (TR) Kanıt
1 YTU-Turkish-Gemma-9b %62.3 %85.9 Birinci taraf — 2 boyut
2 Trendyol-LLM-Asure-12B %62.2 %86.6 Birinci taraf — 2 boyut
3 Turkish-Gemma-9b-T1 %55.7 %83.9 Birinci taraf — 2 boyut
4 Cosmos Turkish Culture 9B %55.4 %82.1 Birinci taraf — 2 boyut
5 Trendyol-LLM 7B chat v4.1.0 %54.1 %77.9 Birinci taraf — 2 boyut
6 Qwen2.5-7B Turkish Culture %54.0 %73.6 Birinci taraf — 2 boyut
7 Qwen 2.5 7B %53.7 %78.8 Birinci taraf — 2 boyut
8 Kizagan E4B Turkish Reasoning %51.2 %76.0 Birinci taraf — 2 boyut
9 Turkish-Llama-8b %48.6 ölçülmedi Birinci taraf — Yüksel
10 WiroAI-Turkish-9b %47.9 %82.6 Birinci taraf — 2 boyut
11 Kizagan E4B Turkish (Agent) %47.4 %71.4 Birinci taraf — 2 boyut
12 Trendyol-LLM-8b v2.0 %46.1 ölçülmedi Birinci taraf — Yüksel
13 Turkish-Gemma-4b-T1-Scout %44.8 ölçülmedi Birinci taraf — Yüksel
14 Llama-3-8B Turkish Culture %44.7 ölçülmedi Birinci taraf — Yüksel
15 Turkish-Llama-8b v0.1 %44.7 ölçülmedi Birinci taraf — Yüksel

Ölçülen modeller: YTU-Turkish-Gemma-9b — TurkishMMLU-Yüksel %62.3 · Trendyol-LLM-Asure-12B — TurkishMMLU-Yüksel %62.2 · Turkish-Gemma-9b-T1 — TurkishMMLU-Yüksel %55.7 · Cosmos Turkish Culture 9B — TurkishMMLU-Yüksel %55.4 · Trendyol-LLM 7B chat v4.1.0 — TurkishMMLU-Yüksel %54.1 · Qwen2.5-7B Turkish Culture — TurkishMMLU-Yüksel %54.0 · Qwen 2.5 7B — TurkishMMLU-Yüksel %53.7 · Kizagan E4B Turkish Reasoning — TurkishMMLU-Yüksel %51.2 · Turkish-Llama-8b — TurkishMMLU-Yüksel %48.6 · WiroAI-Turkish-9b — TurkishMMLU-Yüksel %47.9 · Kizagan E4B Turkish (Agent) — TurkishMMLU-Yüksel %47.4 · Trendyol-LLM-8b v2.0 — TurkishMMLU-Yüksel %46.1 · Turkish-Gemma-4b-T1-Scout — TurkishMMLU-Yüksel %44.8 · Llama-3-8B Turkish Culture — TurkishMMLU-Yüksel %44.7 · Turkish-Llama-8b v0.1 — TurkishMMLU-Yüksel %44.7 · Qwen 2B Turkish SFT — TurkishMMLU-Yüksel %39.8 · Turkcell-LLM-7b v1 — TurkishMMLU-Yüksel %32.8 · OpenHermes Strix Mistral 7B (TR) — TurkishMMLU-Yüksel %27.7 · MAM Turkish 790M — TurkishMMLU-Yüksel %23.9 · Trendyol-LLM 7B base v1.0 — TurkishMMLU-Yüksel %22.7 · Trendyol-LLM 8B T1 — TurkishMMLU-Yüksel %21.3 · Kumru 2B Turkish Reasoning (GRPO) — TurkishMMLU-Yüksel %21.2 · Kanarya 750M — TurkishMMLU-Yüksel %21.0 · Kanarya-2B — TurkishMMLU-Yüksel %20.8 · Kumru-2B — TurkishMMLU-Yüksel %20.7 · Kara-Kumru v1.0 2B — TurkishMMLU-Yüksel %19.9 · Trendyol-LLM 7B chat v0.1 — TurkishMMLU-Yüksel %18.6 · tr-Qwen2.5-0.5B-SFT v1 — TurkishMMLU-Yüksel %18.2