LLM推論速度比較表

モデル名	量子化	ハード構成	読込速度	推論速度	フレームワーク	バックエンド	OS	パラメータ	ソース	備考
Mistral Instruct 7B	Q4_K_M	Raspberry Pi5	不明	2.35	llama.cpp	不明	不明	7	Link
Mistral Instruct 7B	Q4	i7-7700HQ	不明	3	不明	不明	不明	7	Link
Mistral Instruct 7B	Q4	M1	不明	12	不明	不明	不明	7	Link
Mistral Instruct 7B	Q4	RTX 4060 Ti	不明	44	不明	不明	不明	7	Link
Mistral Instruct 7B	Q4	P40	不明	45	不明	不明	不明	7	Link
Mistral Instruct 7B	Q4	M1 Max	不明	58	不明	不明	不明	7	Link
Mistral Instruct 7B	Q4	RTX 3060	不明	59	不明	不明	不明	7	Link
Mistral Instruct 7B	Q4	M1 Ultra	不明	70	不明	不明	不明	7	Link
Mistral Instruct 7B	Q4	RTX 4070	不明	70	不明	不明	不明	7	Link
Mistral Instruct 7B	Q4	RTX 3090	不明	120	不明	不明	不明	7	Link
Mistral Instruct 7B	Q4	RTX 4090	不明	140	不明	不明	不明	7	Link
llama 3 Instruct 70B	不明	Tesla P40 x2	不明	3	不明	不明	不明	70	Link
llama 3 Instruct 70B	Q4	M1 Max	不明	6	不明	不明	不明	70	Link
llama 2 7B	Q4_0	Radeon PRO W7900	2832.28	91.65	llama.cpp	ROCm	不明	7	Link
llama 2 7B	Q4_0	Radeon RX 7900 XTX	3197.94	100.74	llama.cpp	ROCm	不明	7	Link
llama 2 7B	Q4_0	RTX 4090	8044.07	157.44	llama.cpp	ROCm	不明	7	Link
llama 2 7B	Q4_0	RTX 3090	4325.43	136.71	llama.cpp	ROCm	不明	7	Link
llama 3 8B	Q4_0	EPYC 7B13 8xDDR4-3200	83.88	27.72	llama.cpp	-	不明	8	Link
llama 3 8B	Q4_0	Radeon Instinct M125	295.25	29.12	llama.cpp	ROCm 6.1	不明	8	Link
llama 3 8B	Q4_0	Radeon PRO VII	585.45	42.73	llama.cpp	ROCm 6.1	不明	8	Link
llama 2 13B	Q4_K_M	RTX 4090	690.15	78.27	ollama	CUDA	不明	13	Link
llama 2 7B	Q4_K_M	RTX 4090	1148.29	123.31	ollama	CUDA	不明	7	Link
llama 2 7B	Q4_K_M	M2 Ultra 192GB	361.18	92.26	ollama	不明	不明	7	Link
llama 2 13B	Q4_K_M	M2 Ultra 192GB	211.2	55.49	ollama	不明	不明	13	Link
llama 2 70B	Q4_K_M	M2 Ultra 192GB	53.54	14.38	ollama	不明	不明	70	Link
Mistral Instruct 7B	Q6_K	M1 Pro CPU	不明	14.8	LMStudio	不明	不明	7	Link	おそらくトータルt/s
Mistral Instruct 7B	Q6_K	M1 Pro GPU	不明	19.4	LMStudio	不明	不明	7	Link	おそらくトータルt/s
Mistral Instruct 7B	Q6_K	Ryzen 7 7840U	不明	7.3	LMStudio	不明	不明	7	Link	おそらくトータルt/s
Mistral Instruct 7B	Q6_K	Radeon 780M	不明	5	LMStudio	不明	不明	7	Link	おそらくトータルt/s
Mistral Instruct 7B	Q6_K	Ryzen 5 7535HS	不明	7.4	LMStudio	不明	不明	7	Link	おそらくトータルt/s
Mistral Instruct 7B	Q6_K	RTX 4060 Mobile OC	不明	37.9	LMStudio	不明	不明	7	Link	おそらくトータルt/s
Mistral Instruct 7B	Q6_K	Ryzen 7 7800x3d	不明	9.7	LMStudio	不明	不明	7	Link	おそらくトータルt/s
Mistral Instruct 7B	Q6_K	RTX 4080 OC	不明	78.1	LMStudio	不明	不明	7	Link	おそらくトータルt/s
Mistral Instruct 7B	Q6_K	RTX 4090 OC	不明	108.5	LMStudio	不明	不明	7	Link	おそらくトータルt/s
Mistral Instruct 7B	Q6_K	M3 Pro 12Core 18GB CPU	不明	17.9	LMStudio	不明	不明	7	Link	おそらくトータルt/s
Mistral Instruct 7B	Q6_K	M3 Pro 12Core 18GB GPU	不明	21.1	LMStudio	不明	不明	7	Link	おそらくトータルt/s
Mistral Instruct 7B	Q6_K	M1 Pro	不明	12.1	LLM Farm	不明	不明	7	Link	おそらくトータルt/s, iPad Pro
Mistral Instruct 7B	Q6_K	core i7 14700k	不明	9.8	LMStudio	不明	不明	7	Link	おそらくトータルt/s
Mistral Instruct 7B	Q6_K	Ryzen Z1 Extreme	不明	5.3	LMStudio	不明	不明	7	Link	おそらくトータルt/s
Mistral Instruct 7B	Q6_K	RTX 4080 SUPER	不明	71.6	LMStudio	不明	不明	7	Link	おそらくトータルt/s
Mistral Instruct 7B	Q6_K	RTX 4070 Ti SUPER	不明	62	LMStudio	不明	不明	7	Link	おそらくトータルt/s
Mistral Instruct 7B	Q6_K	RTX 4070 SUPER	不明	58.2	LMStudio	不明	不明	7	Link	おそらくトータルt/s
Mistral Instruct 7B	Q6_K	Radeon RX 7900 XTX	不明	70.1	LMStudio	不明	不明	7	Link	おそらくトータルt/s
Mistral Instruct 7B	Q6_K	Radeon RX 6800XT 16GB	不明	52.9	LMStudio	不明	不明	7	Link	おそらくトータルt/s
Mistral Instruct 7B	Q6_K	RTX 3070 Ti	不明	41.8	LMStudio	不明	不明	7	Link	おそらくトータルt/s
Mistral Instruct 7B	Q6_K	Ryzen 5900HX	不明	7	LMStudio	不明	不明	7	Link	おそらくトータルt/s
llama 2 7B	Q4_K_M	EPYC 9374F 12xDDR5-4800	150	34	llama.cpp	-	Linux	7	Link
llama 2 7B	Q8_0	EPYC 9374F 12xDDR5-4800	123	24	llama.cpp	-	Linux	7	Link
llama 2 13B	Q4_K_M	EPYC 9374F 12xDDR5-4800	80	20	llama.cpp	-	Linux	13	Link
llama 2 13B	Q4_8_0	EPYC 9374F 12xDDR5-4800	65	14	llama.cpp	-	Linux	13	Link
llama 2 70B	Q4_K_M	EPYC 9374F 12xDDR5-4800	16	5.8	llama.cpp	-	Linux	70	Link
llama 2 70B	Q4_8_0	EPYC 9374F 12xDDR5-4800	12	3.7	llama.cpp	-	Linux	70	Link
llama 2 7B	Q4_K_M	Threadripper 1950X 4xDDR4-2400	39	11	llama.cpp	-	Linux	7	Link
llama 2 7B	Q8_0	Threadripper 1950X 4xDDR4-2400	32	7.7	llama.cpp	-	Linux	7	Link
llama 2 13B	Q4_K_M	Threadripper 1950X 4xDDR4-2400	20	6	llama.cpp	-	Linux	13	Link
llama 2 13B	Q4_8_0	Threadripper 1950X 4xDDR4-2400	17	4.3	llama.cpp	-	Linux	73	Link
llama 2 70B	Q4_K_M	Threadripper 1950X 4xDDR4-2400	3.9	1.1	llama.cpp	-	Linux	70	Link
Nemtron 4 340B	Q8_0	EPYC 9374F	4.34	0.72	llama.cpp	-	Ubuntu?	430	Link
Llama 3 70B	fp16	EPYC 9374F	20.97	4.01	llama.cpp	-	不明	70	Link	コンテキスト1024
Llama 3 70B	fp16	EPYC 9374F + RTX 4090	105.43	3.97	llama.cpp	-	不明	70	Link	コンテキスト1024, レイヤーオフロードなし
Cohere Command R+	fp16	EPYC 9374F	8.4	2.55	llama.cpp	-	不明	104	Link	コンテキスト1024
Cohere Command R+	fp16	EPYC 9374F + RTX 4090	70.47	0.77	llama.cpp	-	不明	104	Link	コンテキスト1024, レイヤーオフロードなし
Mixtral 8x22B	Q8_0	EPYC 9374F	22.41	6.44	llama.cpp	-	不明	104	Link	コンテキスト1024
Mixtral 8x22B-v0.1	Q5_K_M	EPYC 9654 x2	不明	5.9	llama.cpp	-	不明	104	Link
llama 3 70B	Q2_K	EPYC 9654 x2	不明	6	llama.cpp	-	不明	70	Link
llama 3 70B	Q5_K_M	EPYC 9654 x2	不明	3.8	llama.cpp	-	不明	70	Link
llama 3 8B	fp16	Threadripper 7960X 4xDDR5-6400 + RTX 4090	702.28	49.13	Ollama	-	不明	8	Link
llama 3 70B	Q4	Threadripper 7960X 4xDDR5-6400 + RTX 4090	15.8	4.61	Ollama	-	不明	70	Link
Cohere Command R 35B	Q4_K_M	Threadripper 7960X 4xDDR5-6400 + RTX 4090	123.91	18.27	Ollama	-	不明	35	Link
llava 34B	Q4_K_M	Threadripper 7960X 4xDDR5-6400 + RTX 4090	1040.51	32.21	Ollama	-	不明	34	Link
qwen2 72B	Q4	Threadripper 7960X 4xDDR5-6400 + RTX 4090	14.41	4.44	Ollama	-	不明	72	Link
WizardLM 2 8x22B	Q4	Threadripper 7960X 4xDDR5-6400 + RTX 4090	11.28	5.85	Ollama	-	不明	141	Link
WizardLM 2 7B	fp16	Threadripper 7960X 4xDDR5-6400 + RTX 4090	1888.67	52.75	Ollama	-	不明	8	Link
WizardLM 2 8x22B	Q4	Ryzen 9 5950X 2xDDR4 + RTX 3090	不明	2.3	Ollama	-	不明	141	Link
llama 3 70B	Q4	P40 x2	不明	4	llama.cpp	-	不明	141	Link
WizardLM 2 8x22B	Q4	RTX 4090 x2 + RTX 3080 Ti	不明	5.6	llama.cpp	-	不明	141	Link