← 返回概览

Performance Lab / Verified Data

AI SSD Benchmark

对比各机型下 AI SSD 与 Normal SSD 模式在不同模型、上下文长度、输入规模下的推理性能。

AI SSD 模式下，热点 prefill 与 decode 性能显著优于普通 SSD 模式。每个模型展示其最大可测上下文（CTX）下的结果：青色 = AI SSD，灰色虚线 = Normal SSD，红色 ✕ = 显存不足无法运行（OOM）。

CPU：AMD RYZEN AI MAX+ 395GPU：Radeon 8060SDRAM：128GBVRAM：96GBAI Cache：128GBllama.cpp：b9568_20260707

Cold Prefill TPS · 最大 AI SSD 加速

×1.08

gpt-oss:20b · CTX 128K · Input 1K

Hot Decode TPS · 最大 AI SSD 加速

×1.39

Qwen3.5_122B_A10B · CTX 256K · Input 8K

Cold TTFT · 最大 AI SSD 加速

×1.07

gpt-oss:20b · CTX 128K · Input 1K

热 TTFT · 最大 AI SSD 加速

×349.2

Gemma4:26B-A4B-IT · CTX 128K · Input 64K

gpt-oss:20b

最大 CTX 128K

Cold Prefill TPS

tokens/s · 越高越好

Hot Decode TPS

tokens/s · 越高越好

Cold TTFT

ms · 越低越好

热 TTFT

ms · 越低越好
gpt-oss:20b 性能明细表
Input模式Cold TTFT (ms)Cold Prefill TPS (tokens/s)Hot Decode TPS (tokens/s)热 TTFT (ms)热Prefill加速
1KAI SSD969.0130270.57154.0×9.42
1KNormal SSD1037120966.911034×1.00
2KAI SSD1652139265.95234.0×9.37
2KNormal SSD1621141264.881646×0.98
4KAI SSD3144138962.93266.0×16.2
4KNormal SSD3117140359.283161×0.99
8KAI SSD6463131662.81368.0×24.7
8KNormal SSD6304134955.446352×0.99
16KAI SSD14417116159.31558.0×36.2
16KNormal SSD14251117652.1014202×1.00
32KAI SSD37052895.256.06903.0×57.0
32KNormal SSD36234916.248.6136468×0.99
64KAI SSD99152665.842.061649×83.8
64KNormal SSD97228678.940.6197632×1.00
128KAI SSD-----
128KNormal SSD-----

gpt-oss:120b

最大 CTX 128K

Cold Prefill TPS

tokens/s · 越高越好

Hot Decode TPS

tokens/s · 越高越好

Cold TTFT

ms · 越低越好

热 TTFT

ms · 越低越好
gpt-oss:120b 性能明细表
Input模式Cold TTFT (ms)Cold Prefill TPS (tokens/s)Hot Decode TPS (tokens/s)热 TTFT (ms)热Prefill加速
1KAI SSD2088590.551.11198.0×16.4
1KNormal SSD2217549.751.562197×1.01
2KAI SSD3458655.050.43235.0×22.5
2KNormal SSD3604625.649.183625×1.00
4KAI SSD6362680.149.55290.0×32.5
4KNormal SSD6436671.843.576512×0.99
8KAI SSD12937652.348.10404.0×46.1
8KNormal SSD12931651.941.9812948×1.00
16KAI SSD28650581.341.00630.0×62.6
16KNormal SSD28250589.639.6128415×0.99
32KAI SSD69630474.940.281048×89.5
32KNormal SSD68523482.535.8668629×1.00
64KAI SSD175855374.732.681915×123.1
64KNormal SSD173387380.030.11173736×1.00
128KAI SSD-----
128KNormal SSD-----

Qwen3.5_122B_A10B

最大 CTX 256K

Cold Prefill TPS

tokens/s · 越高越好

Hot Decode TPS

tokens/s · 越高越好

Cold TTFT

ms · 越低越好

热 TTFT

ms · 越低越好
Qwen3.5_122B_A10B 性能明细表
Input模式Cold TTFT (ms)Cold Prefill TPS (tokens/s)Hot Decode TPS (tokens/s)热 TTFT (ms)热Prefill加速
1KAI SSD4630261.829.27745.0×6.44
1KNormal SSD4005299.722.214024×1.00
2KAI SSD7794287.828.94768.0×10.5
2KNormal SSD7101314.121.577069×1.00
4KAI SSD14725291.827.93862.0×17.8
4KNormal SSD13444318.720.8013503×1.00
8KAI SSD27905301.428.37953.0×30.7
8KNormal SSD26866312.720.4426861×1.00
16KAI SSD57648288.325.641191×51.3
16KNormal SSD55674298.420.1955803×1.00
32KAI SSD127878258.424.851545×87.2
32KNormal SSD124014266.419.14124298×1.00
64KAI SSD304732216.323.301731×194.3
64KNormal SSD298399220.917.87298668×1.00
128KAI SSD815325161.419.712877×322.7
128KNormal SSD794568165.616.00794622×1.00

Qwen3.6-35B-A3B

最大 CTX 256K

Cold Prefill TPS

tokens/s · 越高越好

Hot Decode TPS

tokens/s · 越高越好

Cold TTFT

ms · 越低越好

热 TTFT

ms · 越低越好
Qwen3.6-35B-A3B 性能明细表
Input模式Cold TTFT (ms)Cold Prefill TPS (tokens/s)Hot Decode TPS (tokens/s)热 TTFT (ms)热Prefill加速
1KAI SSD1742700.668.60304.0×6.42
1KNormal SSD1212999.857.061217×1.00
2KAI SSD2371954.068.26284.0×9.07
2KNormal SSD2098107356.752106×1.00
4KAI SSD4174103567.10331.0×13.9
4KNormal SSD3861111755.753862×1.00
8KAI SSD8347101164.90402.0×23.5
8KNormal SSD7802108054.167828×1.00
16KAI SSD17789936.461.18503.0×40.4
16KNormal SSD16986979.952.0816993×1.00
32KAI SSD41348800.556.23707.0×68.0
32KNormal SSD39499837.748.0039620×1.00
64KAI SSD106536619.347.80981.0×131.8
64KNormal SSD101442650.341.33101738×1.00
128KAI SSD308657426.737.211787×211.6
128KNormal SSD293804448.232.89294137×1.00

Gemma3:27B-IT

最大 CTX 128K

Cold Prefill TPS

tokens/s · 越高越好

Hot Decode TPS

tokens/s · 越高越好

Cold TTFT

ms · 越低越好

热 TTFT

ms · 越低越好
Gemma3:27B-IT 性能明细表
Input模式Cold TTFT (ms)Cold Prefill TPS (tokens/s)Hot Decode TPS (tokens/s)热 TTFT (ms)热Prefill加速
1KAI SSD6299182.711.48414.0×16.2
1KNormal SSD6304187.011.746461×0.98
2KAI SSD11368193.011.94808.0×14.6
2KNormal SSD11896185.311.7611624×1.02
4KAI SSD21491197.611.78852.0×26.3
4KNormal SSD22098192.711.7622223×0.99
8KAI SSD42555196.311.521153×39.1
8KNormal SSD44210189.211.4644289×1.00
16KAI SSD91388181.011.001793×54.6
16KNormal SSD95081174.110.9495294×1.00
32KAI SSD220898149.110.033016×79.3
32KNormal SSD229802143.410.05229579×1.00
64KAI SSD613450107.28.642052×371.1
64KNormal SSD642412102.38.62643426×1.00
128KAI SSD-----
128KNormal SSD-----

Gemma4:26B-A4B-IT

最大 CTX 128K

Cold Prefill TPS

tokens/s · 越高越好

Hot Decode TPS

tokens/s · 越高越好

Cold TTFT

ms · 越低越好

热 TTFT

ms · 越低越好
Gemma4:26B-A4B-IT 性能明细表
Input模式Cold TTFT (ms)Cold Prefill TPS (tokens/s)Hot Decode TPS (tokens/s)热 TTFT (ms)热Prefill加速
1KAI SSD2541475.751.61349.0×7.65
1KNormal SSD1329910.642.461315×1.01
2KAI SSD2757805.851.59363.0×8.03
2KNormal SSD2481899.443.772504×0.99
4KAI SSD6741633.850.14425.0×16.8
4KNormal SSD5620763.042.985736×0.98
8KAI SSD15707533.349.03449.0×38.1
8KNormal SSD15130554.542.0615191×1.00
16KAI SSD47133351.445.64625.0×85.7
16KNormal SSD46161359.138.5846331×1.00
32KAI SSD158371208.041.35951.0×190.9
32KNormal SSD157088209.932.30156892×1.00
64KAI SSD576065114.133.021641×407.6
64KNormal SSD573362114.727.94573105×1.00
128KAI SSD-----
128KNormal SSD-----