任务定义与基准模型
本报告基于以下三种典型 AI 工作负载计算各平台成本:
1. LLM 微调(7B/13B/70B)
使用 LoRA/QLoRA 微调 Llama 3/Mistral 系列,batch_size=4, seq_len=4096。
2. 扩散模型训练(Stable Diffusion 3)
从零训练 SD3,分辨率 1024×1024,batch_size=8。
3. 推理部署(7B/13B/70B)
使用 vLLM 部署推理服务,并发 50 请求/s。
性能得分计算方法
性价比 = 相对性能得分 / 每小时成本($)
相对性能得分以 H100 SXM5 为基准 100 分,其他 GPU 按 tokens/s 或 iterations/s 折算。
LLM 微调(70B LoRA)成本排名
| 排名 | 平台 | GPU | $/h | 性能得分 | 性价比 |
|---|---|---|---|---|---|
| 1 | Vast.ai | H100 | $1.5 | 95 | 63.3 |
| 2 | RunPod | H100 | $2.5 | 98 | 39.2 |
| 3 | GCP (Spot) | A100-80GB | $0.7 | 80 | 114.3 |
| 4 | Voltage Park | A100-80GB | $1.5 | 82 | 54.7 |
| 5 | AWS (Spot) | H100 | $1.0 | 95 | 95.0 |
GCP Spot 的 A100-80GB 性价比最高(114.3),但 Spot 实例有中断风险。按需实例中 Vast.ai H100 性价比领先(63.3)。
扩散模型训练成本排名
| 排名 | 平台 | GPU | $/h | 性能得分 | 性价比 |
|---|---|---|---|---|---|
| 1 | Vast.ai | RTX 4090 | $0.15 | 45 | 300.0 |
| 2 | RunPod | RTX 4090 | $0.25 | 48 | 192.0 |
| 3 | GCP (Spot) | L4 | $0.25 | 30 | 120.0 |
| 4 | AWS (Spot) | A10G | $0.30 | 32 | 106.7 |
| 5 | Vast.ai | A100-40GB | $1.0 | 75 | 75.0 |
RTX 4090 在扩散模型训练中性价比远超专业卡,因为 SD3 训练对显存需求(24GB)恰好匹配。
推理部署成本排名(70B vLLM)
| 排名 | 平台 | GPU | $/h | tokens/s | $/M tokens |
|---|---|---|---|---|---|
| 1 | RunPod | H100 (Serverless) | $2.5 | 3500 | $0.71 |
| 2 | Vast.ai | H100 | $1.5 | 3200 | $0.47 |
| 3 | AWS (Spot) | H100 | $1.0 | 3400 | $0.29 |
| 4 | GCP (Spot) | A100-80GB | $0.7 | 2800 | $0.25 |
| 5 | Lambda Cloud | H100 | $2.8 | 3500 | $0.80 |
推理部署建议使用 Serverless 端点(如 RunPod Serverless),按请求计费比常驻实例更省钱。
推荐组合方案
预算优先方案(月成本 < $500)
- 训练:Vast.ai RTX 4090 × 4($0.15/h × 4 = $0.60/h)
- 推理:RunPod Serverless H100(按需,$0.71/M tokens)
- 月训练 100h 成本:$60
- 月推理 100M tokens 成本:$71
- 月总成本:$131
平衡方案(月成本 $500-2000)
- 训练:GCP Spot A100-80GB × 8($0.7/h × 8 = $5.6/h)
- 推理:Vast.ai H100 常驻($1.5/h,$0.47/M tokens)
- 月训练 100h 成本:$560
- 月推理 200M tokens 成本:$94
- 月总成本:$654
企业级方案(月成本 $2000+)
- 训练:Lambda Cloud H100 集群 × 8($2.8/h × 8 = $22.4/h)
- 推理:Lambda Cloud H100 常驻 × 2($5.6/h 持续)
- 月训练 100h 成本:$2240
- 月推理持续运行成本:$4032
- 月总成本:$6272(SLA 99.9% 保障)
隐藏成本分析
| 隐藏成本项 | 影响平台 | 预估额外成本 |
|---|---|---|
| 数据出口费 | AWS/GCP/Azure | $0.05-0.12/GB |
| 存储费(SSD) | 所有平台 | $0.05-0.15/GB/月 |
| IP 地址费 | AWS | $3.6/月/弹性 IP |
| 快照费 | AWS/GCP | $0.05/GB/月 |
Vast.ai 和 RunPod 等专用 GPU 云通常不收数据出口费,是训练大量数据的优势。
方法论说明
本报告数据来源:
- 价格数据:TransAtlas 实时价格数据库(每 4 小时自动采集)
- 性能基准:MLPerf 4.0 训练/推理基准 + 自建测试(Llama 3 70B + SD3)
- 采集时间:2026 年 9 月 1-23 日
- 样本量:15+ 平台,500+ 价格数据点
性能得分为相对值(H100 SXM5 = 100),实际性能因驱动版本、CUDA 版本和框架优化而异。