首页/在线工具/GPU 选型

GPU 选型

根据模型规模、量化方式与部署约束推荐合适的 GPU 配置。

模型-GPU 匹配推荐

根据模型、量化方式、输入 token 数与并发条件，给出更适合的 GPU 选型建议，并判断是否可单卡部署。

模型DeepSeek-R1DeepSeek-R1-0528DeepSeek-R1-0528-Qwen3-8BDeepSeek-R1-Distill-Llama-70BDeepSeek-R1-Distill-Qwen-14BDeepSeek-R1-Distill-Qwen-32BDeepSeek-V3DeepSeek-V3-0324DeepSeek-V3.1DeepSeek-V3.2DeepSeek-V3.2-ExpDeepSeek-V3.2-SpecialeDeepSeek-V4-FlashDeepSeek-V4-ProMiniMax-M1-80k-hfMiniMax-M2MiniMax-M2.1MiniMax-M2.5MiniMax-M2.7MiniMax-Text-01MiniMax-Text-01-hfKimi-K2-InstructKimi-K2-Instruct-0905Kimi-K2-ThinkingKimi-Linear-48B-A3B-InstructMoonlight-16B-A3BMoonlight-16B-A3B-InstructMiniCPM-SALAQwen2.5-7B-InstructQwen3-0.6BQwen3-1.7BQwen3-14BQwen3-235B-A22BQwen3-235B-A22B-Instruct-2507Qwen3-235B-A22B-Thinking-2507Qwen3-30B-A3BQwen3-30B-A3B-Instruct-2507Qwen3-30B-A3B-Thinking-2507Qwen3-32BQwen3-4BQwen3-4B-Instruct-2507Qwen3-4B-Thinking-2507Qwen3-8BQwen3-Coder-30B-A3B-InstructQwen3-Coder-480B-A35B-InstructQwen3-Coder-NextQwen3-Next-80B-A3B-InstructQwen3-Next-80B-A3B-ThinkingQwen3.5-0.8BQwen3.5-122B-A10BQwen3.5-27BQwen3.5-2BQwen3.5-35B-A3BQwen3.5-397B-A17BQwen3.5-4BQwen3.5-9BQwen3.6-27BQwen3.6-35B-A3BWebWorld-14BWebWorld-32BWebWorld-8BStep-3.5-FlashMiMo-7B-RL-0530MiMo-V2-FlashMiMo-V2.5-ProGLM-4-32B-0414GLM-4-9B-0414GLM-4.5GLM-4.5-AirGLM-4.6GLM-4.7GLM-4.7-FlashGLM-5GLM-5.1GLM-Z1-32B-0414GLM-Z1-9B-0414GLM-Z1-Rumination-32B-0414量化方式INT4INT8FP8FP16BF16输入 tokens（不含输出）最大输出长度批大小并发安全余量显卡类别全部消费级工作站数据中心

启用主流推理框架的运行时 / KV 管理优化

建议总显存456.22 GiB

单卡所需显存456.22 GiB

模型参数量685B / A37B

优先推荐

按照量化支持、所需卡数、部署定位和推荐优先级排序。

NVIDIA H200 141GB

数据中心

生产级 · 141 GB

4 卡

预计至少需要 4 张同规格显卡进行张量并行部署。

NVIDIA A100 80GB

数据中心

生产级 · 80 GB

7 卡

预计至少需要 7 张同规格显卡进行张量并行部署。

NVIDIA H100 80GB

数据中心

生产级 · 80 GB

7 卡

预计至少需要 7 张同规格显卡进行张量并行部署。

NVIDIA A40 48GB

数据中心

生产级 · 48 GB

11 卡

预计至少需要 11 张同规格显卡进行张量并行部署。

NVIDIA L40 48GB

数据中心

生产级 · 48 GB

11 卡

预计至少需要 11 张同规格显卡进行张量并行部署。

NVIDIA L40S 48GB

数据中心

生产级 · 48 GB

11 卡

预计至少需要 11 张同规格显卡进行张量并行部署。

					部署说明
NVIDIA H200 141GB数据中心 · 生产级	141 GB	INT4	4 卡	需多卡	建议使用 4 卡张量并行，并结合输入 token 数与并发继续压测。
NVIDIA A100 80GB数据中心 · 生产级	80 GB	INT4	7 卡	需多卡	建议使用 7 卡张量并行，并结合输入 token 数与并发继续压测。
NVIDIA H100 80GB数据中心 · 生产级	80 GB	INT4	7 卡	需多卡	建议使用 7 卡张量并行，并结合输入 token 数与并发继续压测。
NVIDIA A40 48GB数据中心 · 生产级	48 GB	INT4	11 卡	需多卡	建议使用 11 卡张量并行，并结合输入 token 数与并发继续压测。
NVIDIA L40 48GB数据中心 · 生产级	48 GB	INT4	11 卡	需多卡	建议使用 11 卡张量并行，并结合输入 token 数与并发继续压测。
NVIDIA L40S 48GB数据中心 · 生产级	48 GB	INT4	11 卡	需多卡	建议使用 11 卡张量并行，并结合输入 token 数与并发继续压测。
NVIDIA RTX A6000 48GB工作站 · 部门级	48 GB	INT4	11 卡	需多卡	建议使用 11 卡张量并行，并结合输入 token 数与并发继续压测。
NVIDIA L20 48GB数据中心 · 部门级	48 GB	INT4	11 卡	需多卡	建议使用 11 卡张量并行，并结合输入 token 数与并发继续压测。
NVIDIA RTX 6000 Ada 48GB工作站 · 部门级	48 GB	INT4	11 卡	需多卡	建议使用 11 卡张量并行，并结合输入 token 数与并发继续压测。
NVIDIA A100 40GB数据中心 · 生产级	40 GB	INT4	13 卡	需多卡	建议使用 13 卡张量并行，并结合输入 token 数与并发继续压测。
GeForce RTX 5090 32GB消费级 · 实验验证	32 GB	INT4	17 卡	需多卡	建议使用 17 卡张量并行，并结合输入 token 数与并发继续压测。
NVIDIA A10 24GB数据中心 · 生产级	24 GB	INT4	24 卡	需多卡	建议使用 24 卡张量并行，并结合输入 token 数与并发继续压测。
NVIDIA A30 24GB数据中心 · 生产级	24 GB	INT4	24 卡	需多卡	建议使用 24 卡张量并行，并结合输入 token 数与并发继续压测。
NVIDIA L4 24GB数据中心 · 生产级	24 GB	INT4	24 卡	需多卡	建议使用 24 卡张量并行，并结合输入 token 数与并发继续压测。
NVIDIA TITAN RTX 24GB消费级 · 实验验证	24 GB	INT4	24 卡	需多卡	建议使用 24 卡张量并行，并结合输入 token 数与并发继续压测。
GeForce RTX 3090 24GB消费级 · 实验验证	24 GB	INT4	24 卡	需多卡	建议使用 24 卡张量并行，并结合输入 token 数与并发继续压测。
GeForce RTX 4090 24GB消费级 · 实验验证	24 GB	INT4	24 卡	需多卡	建议使用 24 卡张量并行，并结合输入 token 数与并发继续压测。
NVIDIA T4 16GB数据中心 · 生产级	16 GB	INT4	-	需多卡	32 卡张量并行内仍无法覆盖；建议单独验证模型切分、专家并行或 CPU/NVMe offload。
NVIDIA A2 16GB数据中心 · 生产级	16 GB	INT4	-	需多卡	32 卡张量并行内仍无法覆盖；建议单独验证模型切分、专家并行或 CPU/NVMe offload。
GeForce RTX 2060 6GB消费级 · 实验验证	6 GB	INT4	-	需多卡	32 卡张量并行内仍无法覆盖；建议单独验证模型切分、专家并行或 CPU/NVMe offload。
GeForce RTX 2060 SUPER 8GB消费级 · 实验验证	8 GB	INT4	-	需多卡	32 卡张量并行内仍无法覆盖；建议单独验证模型切分、专家并行或 CPU/NVMe offload。
GeForce RTX 2070 8GB消费级 · 实验验证	8 GB	INT4	-	需多卡	32 卡张量并行内仍无法覆盖；建议单独验证模型切分、专家并行或 CPU/NVMe offload。
GeForce RTX 2070 SUPER 8GB消费级 · 实验验证	8 GB	INT4	-	需多卡	32 卡张量并行内仍无法覆盖；建议单独验证模型切分、专家并行或 CPU/NVMe offload。
GeForce RTX 2080 8GB消费级 · 实验验证	8 GB	INT4	-	需多卡	32 卡张量并行内仍无法覆盖；建议单独验证模型切分、专家并行或 CPU/NVMe offload。
GeForce RTX 2080 SUPER 8GB消费级 · 实验验证	8 GB	INT4	-	需多卡	32 卡张量并行内仍无法覆盖；建议单独验证模型切分、专家并行或 CPU/NVMe offload。
GeForce RTX 5050 8GB消费级 · 实验验证	8 GB	INT4	-	需多卡	32 卡张量并行内仍无法覆盖；建议单独验证模型切分、专家并行或 CPU/NVMe offload。
GeForce RTX 5060 8GB消费级 · 实验验证	8 GB	INT4	-	需多卡	32 卡张量并行内仍无法覆盖；建议单独验证模型切分、专家并行或 CPU/NVMe offload。
GeForce RTX 2080 Ti 11GB消费级 · 实验验证	11 GB	INT4	-	需多卡	32 卡张量并行内仍无法覆盖；建议单独验证模型切分、专家并行或 CPU/NVMe offload。
GeForce RTX 3060 12GB消费级 · 实验验证	12 GB	INT4	-	需多卡	32 卡张量并行内仍无法覆盖；建议单独验证模型切分、专家并行或 CPU/NVMe offload。
GeForce RTX 5070 12GB消费级 · 实验验证	12 GB	INT4	-	需多卡	32 卡张量并行内仍无法覆盖；建议单独验证模型切分、专家并行或 CPU/NVMe offload。
GeForce RTX 5060 Ti 16GB消费级 · 实验验证	16 GB	INT4	-	需多卡	32 卡张量并行内仍无法覆盖；建议单独验证模型切分、专家并行或 CPU/NVMe offload。
GeForce RTX 5070 Ti 16GB消费级 · 实验验证	16 GB	INT4	-	需多卡	32 卡张量并行内仍无法覆盖；建议单独验证模型切分、专家并行或 CPU/NVMe offload。
GeForce RTX 5080 16GB消费级 · 实验验证	16 GB	INT4	-	需多卡	32 卡张量并行内仍无法覆盖；建议单独验证模型切分、专家并行或 CPU/NVMe offload。
GeForce RTX 4060 Ti 16GB消费级 · 实验验证	16 GB	INT4	-	需多卡	32 卡张量并行内仍无法覆盖；建议单独验证模型切分、专家并行或 CPU/NVMe offload。
GeForce RTX 4080 16GB消费级 · 实验验证	16 GB	INT4	-	需多卡	32 卡张量并行内仍无法覆盖；建议单独验证模型切分、专家并行或 CPU/NVMe offload。