LLM 自托管成本计算器如何工作

了解 LLM 自托管成本计算器如何估算显存、匹配 GPU，并按你选择的参数计算云租、电费和运维人力成本。

最近更新: 2026-10-03

LLM 自托管成本计算器根据模型、部署方式和运行假设，估算一次性投入与月度成本。计算过程如下：

模型 + 精度 + 部署方式 + 运行时长 + 汇率
                         ↓
                 显存估算 + 硬件匹配
                         ↓
                  公开价格 + 运行假设
                         ↓
              一次性成本 + 月度拆分 + 结论

更多信息说明估算包含哪些费用，以及如何调整假设。

第一步：选择模型与精度

计算器根据所选模型的参数量和精度估算显存。不同精度对应的每参数字节数如下：

精度	每参数字节数
FP16	2
INT8	1
INT4	0.5
GGUF Q4	0.55

对于 MoE 模型，估算按所有专家权重放入 GPU 显存的情况处理，使用总参数量计算。

第二步：估算显存并匹配硬件

所需显存的计算公式为：

所需显存（GB）= 总参数量（B）× 每参数字节数 × 显存开销系数

显存开销系数默认为 1.2，用于预留权重之外的基础运行开销。你可以在计算器中选择不同的显存开销场景。

以下示例使用默认的 1.2 系数：

7B FP16：  7 × 2 × 1.2   = 16.8 GB
7B INT4：  7 × 0.5 × 1.2 = 4.2 GB
32B FP16：32 × 2 × 1.2  = 76.8 GB
32B INT4：32 × 0.5 × 1.2 = 19.2 GB

实际显存还受上下文长度、并发量、KV cache、激活值、未量化层和推理框架影响。模型复制和分片也会增加开销，预留多少余量需要用目标工作负载测试。

硬件按以下顺序匹配：

模型推荐的硬件符合所选精度、显存足够且有当前价格时，优先采用。
否则，选择有价格且显存足够的最小硬件档位。
云端匹配覆盖单个实例中总计不超过 640 GB 的 GPU 显存；超过该范围时显示不可用。

多 GPU 部署需要推理软件把模型分配到各张卡上，GPU 之间的互联也会影响运行表现。

第三步：计算云租或本地硬件成本

云端租用

云端部署使用匹配硬件的公开价格，计算：

云端月度算力成本 = 每小时价格 × 所选月运行小时数

价格区间取货币换算后的最低价和最高价。云端电费视为已包含在租金中，运维人力按你设置的月薪区间和 FTE 比例计入。

本地硬件

本地部署使用公开的硬件价格区间，按所选整机系数计算：

本地一次性整机估算 = 硬件价格 × 整机系数

整机系数默认为 1.4，用于为机箱、CPU、内存、电源等 GPU 之外的组件预留预算。你可以按实际配置调整。部分多卡价格由单卡参考价推算，价格备注会说明计算依据。

第四步：计算运行与运维费用

月运行时长有以下预设：

预设	每月小时数	约占 30 天月份
轻度	120	17%
中度	360	50%
重度	720	100%

这些小时数表示系统每月运行多久。要确定能处理多少请求，需要测量目标工作负载的吞吐量和延迟。

本地部署的电费按以下公式估算：

功率（kW）× 月运行小时数 × 电价 × PUE

电价默认为 0.65 元/kWh，PUE 默认为 1.2，都可以按所在地区和设施调整。功率默认使用 GPU TDP；输入实测整机功率后，按实测值计算。GPU TDP 不包含 CPU、内存、存储和风扇等组件的耗电。展示的电费区间约为计算结果的 90%–110%。

运维人力按“月薪 × FTE 比例”估算。使用默认值时：

15,000–25,000 元/月 × 0.15 FTE
= 2,250–3,750 元/月

本地硬件的月度折旧参考，使用一次性成本区间的最高值除以所选折旧期，默认是 36 个月。可以用它比较自购硬件与云端租用。默认汇率为 1 USD = 7.2 CNY，你也可以在计算器中修改。

第五步：查看成本结果

根据部署方式和可用价格，结果会显示：

预计显存和匹配的硬件。
本地部署的一次性成本。
月度算力、电费、运维人力和总成本。
本地折旧参考，以及价格可用时的云租对比。
供应商、硬件或实例名称、地区、币种、计费单位、更新时间、价格备注和可用的来源链接。
所选场景的结论。

月度成本按所选汇率同时显示 USD 和 CNY。硬件档位没有当前价格时，对应结果显示不可用。

价格从哪里来

计算器会说明价格的来源，以及是否为参考估算：

来源类型	含义	是否为参考估算
官方价格 API	来自云厂商公开价格 API，例如 Azure Retail Prices API。	否
官方价格计算器	来自官方计算器或估算页面。	通常否
零售挂牌价	有明确卖家价格的公开商品页面。	否
市场参考价	第三方聚合、交易平台或渠道参考价。	有时是
线性推算	用单卡或单节点参考价乘以 GPU 数量估算。	是
待报价	尚无厂商公开价格的参考值。	是

标为估算值的价格可能来自市场参考，也可能由较小配置推算而来。比较多 GPU 系统时，注意价格包含几张卡，以及哪些主机组件。

价格备注和来源链接会说明每条报价包含什么。

比较不同供应商的价格

计算器采用当前列出的价格，并在结果中显示供应商、地区、计费单位、更新时间和备注；有来源链接时也会一并显示。

税费、存储、网络传输和支持服务可能包含在价格内，也可能单独收费。比较供应商时，查看各条价格的备注。预留实例、竞价实例和协议价可能与列出的价格不同。

按实际配置调整估算

LLM 成本计算器把所选输入代入上述公式。可以用当地电价、团队人力成本和实测功率替换默认值。估算包含的费用见更多信息。

按任务选择模型成本计算器

根据任务选择：LLM 运行成本、图片生成成本、视频生成成本或决策模型成本English。也可以浏览模型介绍English，了解具体模型的用途、接入方式和成本。模型介绍与决策模型计算器使用英文。