LLM 自托管成本计算器包含哪些费用

本页说明 LLM 自托管成本计算器估算哪些费用，以及模型、显存和部署方式如何影响结果。具体默认值和公式见计算器如何工作。

这个 LLM 成本计算器估算什么

选择开放权重 LLM、精度、部署方式、月运行时长和汇率，即可比较本地硬件与云端租用的预算。结果按所选场景显示：

• 本地硬件或整机的一次性成本区间。
• 月度算力、电费、运维人力和本地硬件折旧参考。
• 有匹配硬件价格时的云端租用成本。
• 本地折旧与云端算力价格都可用时的自建与租用对比。

打开 LLM 成本计算器，比较不同模型和部署方式。

模型参数量与 MoE

模型通常用参数量描述。7B 大约表示 70 亿个参数，14B 和 70B 表示更大的参数规模。参数更多通常意味着更大的权重和更高的显存需求，推荐的硬件档位也可能随之变化。

参数量不能单独决定模型质量、速度、许可证或是否适合你的应用。计算器使用总参数量估算显存。对于混合专家（MoE）模型，按所有专家权重放入 GPU 显存的情况计算。

模型目录显示名称、系列、参数量和 MoE 信息。链接到模型仓库的条目，可以在仓库中查看版本、权重格式和下载说明。许可证摘要与仓库链接见模型许可证参考页。

精度与量化

精度决定估算中每个参数占用多少字节。目前有以下选项：

• FP16：每参数 2 字节。
• INT8：每参数 1 字节。
• INT4：每参数 0.5 字节。
• GGUF Q4：每参数 0.55 字节，包含 Q4 GGUF 格式的简化预留。

这些是估算采用的平均权重大小。实际权重文件与运行时内存会随量化格式和推理框架变化，GPTQ、AWQ、FP8 和不同 GGUF 变体也会有差异。选择硬件档位时，需要结合具体权重文件大小和运行时内存。

显存与硬件匹配

显存是 GPU 或加速器提供的高速内存。计算器为模型权重和基础运行开销估算显存，使用默认系数时：

所需显存 ≈ 总参数量（B）× 每参数字节数 × 1.2

默认的 1.2 系数可以通过显存开销场景调整。实际部署还会使用 KV cache、激活值、框架工作区和未量化层，模型复制或分片也会产生额外开销。上下文长度、并发量和架构会影响需要预留多少显存。

模型推荐硬件的显存足够且有当前价格时，计算器优先采用；否则选择有价格且显存足够的最小档位。云端匹配覆盖单个实例中总计不超过 640 GB 的 GPU 显存。

多 GPU 部署需要推理软件把模型分配到各张卡上，并配有合适的 GPU 互联。

部署方式

云端租用使用匹配硬件的公开按量付费价格，按所选月运行时长换算。云端电费包含在租金中，运维人力按所选月薪区间和 FTE 比例计入。

本地自购使用公开硬件价格区间作为预算参考，乘以所选整机系数，再加上电费、运维成本和月度折旧参考。整机系数默认为 1.4，可以按 CPU、内存、机箱等配套组件的成本调整。

哪种方式更便宜，取决于利用率、地区、供货、账号条件、折扣、互联、支持、电价和团队运维需求。

月运行时长

LLM 成本计算器用运行时长预设计算每月的租用和用电费用。这些小时数表示计费或通电时长；请求容量需要结合实测吞吐量、延迟和并发量判断。各档时长和公式见计算器如何工作。

成本包含什么

根据部署方式，估算会包含：

• 带有来源和更新时间的本地硬件或云端算力价格。
• 按 GPU TDP 或实测整机功率、运行时长、电价和 PUE 计算的本地电费。
• 按所选月薪区间和全职等效（FTE）比例计算的运维人力。
• 按所选周期计算的本地硬件折旧参考。
• 按所选汇率换算的 USD 和 CNY 金额。
• 供应商、硬件或实例名称、地区、币种、计费单位、更新时间、价格备注和可用的来源链接。

哪些费用需要另算

应用开发、迁移、微调、评测、安全、备份和冗余部署需要单独安排预算。税费、存储、网络传输和支持服务是否另收，取决于供应商的价格条款。

上下文长度、KV cache、并发量、批处理和推理框架都会影响内存与吞吐量，需要用计划承载的工作负载测量。

计算器会显示价格备注、更新时间和可用的来源链接。参考估算或没有记录来源链接的价格，也会在旁边标明。模型的下载要求和允许用途见对应仓库与模型许可证参考页。

调整默认假设

计算器为显存开销、电价、PUE、人力、折旧、整机成本和汇率提供默认值，你可以按实际配置调整。精度决定每参数字节数，实测内存与功率则有助于选择适合工作负载的假设。具体数值、公式和演算示例见计算器如何工作。

常见问题

为什么 LLM 成本计算器没有某个模型的云端结果？

计算器需要有当前价格且显存足够的硬件档位。没有价格匹配，或显存需求超过 640 GB 云端匹配范围时，结果显示不可用。

多张 GPU 的总显存等于一张大显存 GPU 吗？

不等于。显存分布在各张 GPU 上，需要推理软件把模型分配到各卡，互联也会影响运行性能。

720 小时代表 GPU 一直满载吗？

它表示系统在这个月运行 720 小时，包含忙碌和空闲时段。能承载多少请求取决于实测吞吐量和工作负载。

为什么估算电费和实际账单不同？

计算器默认使用 GPU TDP；输入实测整机功率后，按实测值计算，再乘以电价和 PUE。GPU TDP 不包含 CPU、内存和风扇等组件的耗电，用对应工作负载下的整机功率会更接近实际用电情况。

估算更低就代表部署更好吗？

较低的估算可能来自更短的运行时长、不同硬件或较少的运维人力。比较费用时，也要考虑工作负载所需的速度、可靠性和支持服务。

快速术语表

• 参数（Parameters）：模型训练得到的数值，参数量用于估算模型权重占用的显存。
• 量化（Quantization）：用更少的位数表示参数以降低内存占用，通常需要权衡质量和兼容性。
• 显存（VRAM）：GPU 或加速器用于加载模型参数和运行时状态的内存。
• MoE：混合专家模型，本计算器按总参数量估算显存，即使每次计算激活的参数更少。
• 部署（Deployment）：运行模型或提供模型服务的方式，例如云端租用和本地硬件。
• 运行时长预设（Usage preset）：用于计算月度费用的运行小时数。
• 按量付费（Pay-as-you-go）：按云实例的运行时间或用量付费。
• FTE（全职等效）：全职人力的折算单位，用于表示运维岗位投入的比例。

按任务选择模型成本计算器

根据任务选择：LLM 运行成本、图片生成成本、视频生成成本或决策模型成本English。也可以浏览模型介绍English，了解具体模型的用途、接入方式和成本。模型介绍与决策模型计算器使用英文。

AirLLM 按层加载权重，以磁盘传输换取较小 GPU 常驻占用。如果准备用计算器估算这种流式部署的成本，先读 AirLLM 安装与运行成本指南。