自托管 LLM 要花多少钱？

模型权重可以免费获取，不代表部署不花钱。硬件、电力和日常运维都可能计入账单，具体还取决于模型、容量和部署方式。

自托管 LLM 的成本由什么决定？

这份估算主要看四件事：模型、部署方式、用量，以及把系统持续跑起来所需的运维工作。

LLM 成本计算器如何得出估算

LLM 自托管成本计算器把模型的硬件需求、部署方式、月运行时长和运维假设一起计算，每项输入都会影响预算。

模型与尺寸数据

参数量、架构和模型尺寸来自官方文档与 Hugging Face。

价格数据

GPU、硬件和云价格都是带日期的人工核验参考。不同条目可能来自官方价格页、公开商品页、渠道或第三方市场；结果区会显示各条数据的更新时间、条件和来源链接（如果有）。

云价格计费方式

云价格使用按量付费的小时费率，不包含预留容量、协议价和用量折扣。

运行时长

轻度、中度和重度使用，分别对应每月约 120、360 和 720 小时。

运维成本

月度人力按当地月薪乘以 FTE 比例估算，不是固定的供应商运维费。

汇率

默认汇率是 1 USD = 7.2 CNY。如果你的预算使用其他汇率，可以在计算器中修改。

可调整的输入

汇率、电价、人力月薪、FTE 比例、PUE、整机成本系数和折旧周期都可以按你所在地区和设施调整。

• •这是规划估算，不是供应商报价。
• •供应商、地区、合同和供货情况都会影响实际价格。
• •真实容量还取决于吞吐量、并发、上下文长度、量化和延迟目标。
• •模型质量不在价格估算范围内。
• •迁移、微调、安全、合规和应用开发都可能增加成本。
• •冗余、故障响应等生产要求可能改变总成本。

如何估算 LLM 自托管成本

选好模型，说明部署方式，得到一个可以拿去讨论预算的可分享数字。

1. 01

   选择模型

   选一个模型和最接近你计划运行规模的尺寸。

2. 02

   说明部署方式

   比较云端租用与本地硬件的 LLM 运行成本，再设置月运行时长，并按所在地区调整费用假设。

3. 03

   查看并分享估算

   查看 LLM 自托管预算和各项费用，再把配置链接分享给团队。

要不要自托管 LLM？

计算器先帮你看清自托管这一侧的成本，最终选择还要看你的用量、预算和团队是否能负责运维。

两种方式都可能合适。当有当前可用的公开价格时，计算器会把自托管估算与模型原厂的 API 参考价并列展示。

这个计算器会给你什么

How Much To Run AI 先把一次性部署成本和月度运维成本算出来，帮你判断自托管是否值得继续研究。

• 一次性部署成本区间
• 月度运维成本估算
• 算力、电费和运维人力拆分
• 本次计算使用的模型与部署假设
• 可调整的假设：汇率、电价、人力成本、PUE、整机系数和折旧周期
• 可分享的链接：配置会保存在 URL 中，对方打开后能看到相同结果。也可以把结果导出为 PNG 或 PDF 报告。

当前支持的开源模型

用 LLM 成本计算器比较已覆盖的开放权重模型系列，以及不同参数量下的自托管预算。