行业观点
2023 年 3 月 1 日，OpenAI 宣布开发者可通过 API 将 ChatGPT 和 Wisper 模型集成到他们的应用程序和产品中。
本次 ChatGPT API 接入的模型名为 GPT-3.5-turbo，只需 0.2 美分/千 Tokens。本文尝试测算训练和不同推理场
景之下的实际成本；未来随着模型压缩的持续发展，推理成本可能进一步降低，也有望大幅推动生成式模型在各
个场景的大规模商用。我们的成本估算思路是：计算 AI 模型在进行训练与推理时所需的浮点运算次数，与 AI 算
力集群的平均算力 (以每秒浮点运算次数计) 做比，以此估算 AI 模型的训练成本与推理成本。
在通用大模型训练方面，经测算，使用云计算时 ChatGPT 的训练成本约为 170 万美元，若自建 AI 算力中心进
行模型训练，训练成本有望降至约 51 万美元；在大模型推理方面，使用云计算时的ChatGPT 每处理 1,000Tokens
信息需花费约0.177 美分，自建AI 算力中心有望将成本降至0.053 美分。
不同应用场景中 AI 模型面临的任务复杂度有所不同，我们考虑模型缓存命中率、计算集群闲置率、模型压缩等
因素，综合估算各典型场景下模型的推理成本：1）搜索引擎场景中，以新版 Bing 为例，完成一次搜索的成本约
为 1.73 美分；2）办公软件融合 ChatGPT 后可支持文字生成、文字修改等功能，完成一次用户需求的成本约为
1.70 美分；3）AI 客服作为对话场景应用，有望率先实现B 端落地。经测算，AI 客服场景解决一次用户需求的
成本约为0.08 美分。
未来随着模型压缩技术的持续发展，推理成本可能进一步降低，也有望大幅推动生成式模型在各个场景的大规模
商用。
投资逻辑
我们认为有海外场景的公司有可能率先与GPT-3.5-turbo 进行对接，建议关注福昕软件、万兴科技等海外营收占
比较高的应用公司。
风险提示
海外基础软硬件使用受限；应用落地不及预期；行业竞争加剧风险
敬请参阅最后一页特别声明 1
扫码进群领取
1、优质研报免费获取，行业报告定期打包
2、每日推送行业最新深度研报（精选10篇）
3、最新行业报告、公司研究、专业大咖分享 行业专题研究报告
内容目录
1. AI 模型训练成本估算 .......... 3
2. 通用 AI 模型推理成本估算 ............. 4
3. 多应用场景下ChatGPT 推理成本估算 ......... 4
3.1 搜索引擎场景 .....................5
3.2 办公软件场景 ......................6
3.3 AI 客服场景 ..................6
4. 投资建议.............. 7
5. 风险提示.............. 7
图表目录
图表 1： AI 模型训练成本估算............. 3
图表 2： AI 模型训练所需浮点运算次数计算与模型参数规模正相关......... 3
图表 3： 前沿 AI 模型的有效算力比率 ............. 3
图表 4： 考虑有效算力比率后的训练所需浮点运算次数计算 ........ 4
图表 5： AI 模型推理成本估算............. 4
图表 6： AI 模型推理所需浮点运算次数计算........ 4
图表 7： 具体应用场景中 AI 模型完成一次任务所需成本 ........... 4
图表 8： 新版 Bing 搜索引擎的运作方式 ........... 5
图表 9： Bing 搜索引擎场景任务的所需 Tokens............ 5
图表 10： 办公软件场景任务的所需Tokens ........ 6
图表 11： AI 客服场景任务的所需 Tokens .......... 6
敬请参阅最后一页特别声明 2
行业专题研究报告
2023 年 3 月 1 日，OpenAI 宣布开发者可通过 API 将 ChatGPT 和 Wisper 模型集成到他
们的应用程序和产品中。本次 ChatGPT API 接入的模型名为 GPT-3.5-turbo，是许多非
聊天用例的最佳模型，且只需 0.2 美分/千 Tokens。本文尝试测算训练和不同推理场景之
下的实际成本；未来随着模型压缩的持续发展，推理成本可能进一步降低，也有望大幅推
动生成式模型在各个场景的大规模商用。
AI 模型的成本主要由训练成本和推理成本构成：
训练成本：衡量从头开发一个AI 模型的算力费用、或是对现有AI 模型知识库进行迭
代更新所需的算力费用。
推理成本：衡量用户使用AI 模型时产生的算力费用。
我们的成本估算思路是：计算 AI 模型在进行训练与推理时所需的浮点运算次数，与 AI
算力集群的平均算力 (以每秒浮点运算次数计) 做比，以此估算 AI 模型的训练成本与推
理成本。
1. AI 模型训练成本估算
我们以 ChatGPT 为例，采用以下公式估算AI 模型的训练成本：
图表1：AI 模型训练成本估算
AI模型训练所需的浮点运算次数
训练成本 =× AI算力集群单位时间价格
AI算力集群单位时间有效浮点运算次数
来源：量子位公众号，国金证券研究所
训练所需的浮点运算次数：根据 OpenAI 于 2020 年发表的相关研究，对于GPT-3
等采用 Decoder 结构 Transformer 骨干网络的大型语言模型而言，其训练所需的浮
点运算次数可以遵照下述公式：
图表2：AI 模型训练所需浮点运算次数计算与模型参数规模正相关
AI模型训练所需的浮点运算次数= 6 × 模型参数规模× 训练集大小
来源：《Scaling Laws for Neural Language Models》（Jared Kaplan 等，2020）， 国金证券研究所
ChatGPT 采用 Decoder 结构 Transformer 骨干网络，虽然他的参数量包含1.3B、6B、
175B 这几种，但目前开放 API 接口的 GPT-3.5-turbo 与 Instruct Davinci 相近，因而
采用 1,750 亿参数规模进行计算。
在训练集大小上，我们假设ChatGPT 采用的训练集大小为 4,000 亿 Tokens（数据单
位，1,000 Tokens 约对应 750 个英文单词、500个中文字符），由此得出 ChatGPT
训练所需的浮点运算次数。
AI 算力集群单位时间有效浮点运算次数：在利用 GPU 进行 AI 模型训练时，GPU算
力除了用以训练模型，还被用以通信、训练数据读写等，因此有效浮点运算次数才能
衡量 AI 算力集群的算力水平。
图表3：前沿AI 模型的有效算力比率
模型名称时间 使用硬件 有效算力比率
GPT-32020 年 5 月 NVIDIA V100 21.3%
MT-NLG2021 年 10 月 NVIDIA A100 30.2%
PaLM 2022 年 4 月 Google TPU 46.2%
来源：《PaLM: Scaling Language Modeling with Pathways》（Aakanksha Chowdhery 等，2022），国金证券研究所
ChatGPT 模型在底层算法结构层面与 MT-NLG 模型类似，并且同样采用NVIDIA
A100 进行训练，我们保守估计ChatGPT 有效算力比率为 30%。
敬请参阅最后一页特别声明 3
行业专题研究报告
图表4：考虑有效算力比率后的训练所需浮点运算次数计算
AI 算力集群单位时间有效浮点运算次数 = 算力集群峰值算力 × 有效算力比率
来源：机器学习算法与自然语言处理公众号，国金证券研究所
OpenAI 的模型训练算力由 Microsoft Azure 通过云服务提供，由于 ChatGPT 采用
NVIDIA A100 训练，我们选取了 Microsoft Azure 的 ND A100 v4 系列作为对标的AI
计算集群，该AI 计算集群由8 块 NVIDIA A100 组成，NVIDIA A100 的峰值算力为
312PFlops，使用价格为每小时 10.9 美元。
通过上述计算，我们得出在使用云计算时ChatGPT 的训练成本约为 170 万美元。根
据微软 2022 年财报，微软云的毛利率为70%，因此如果自建 AI 算力中心进行模型
训练，ChatGPT 的训练成本将降至约 51 万美元。
2. 通用 AI 模型推理成本估算
由于 AI模型的应用场景多元化，在不同应用场景中AI模型会进行复杂度不同的推理运算，
为便于后续AI 模型场景成本估算，我们将估算 AI 模型每处理1,000 Tokens 信息所需的
推理成本。
我们同样以ChatGPT 为例，采用如下公式估算AI 模型的推理成本：
图表5：AI 模型推理成本估算
AI模型推理所需的浮点运算次数
推理成本 =× AI算力集群单位时间价格
AI算力集群单位时间有效浮点运算次数
来源：量子位公众号，国金证券研究所
推理所需的浮点运算次数：根据 OpenAI 于 2020 年发表的相关研究，对于GPT-3
等采用 Decoder 结构 Transformer 骨干网络的大型语言模型而言，其推理所需的浮
点运算次数可以按照如下公式计算：
图表6：AI 模型推理所需浮点运算次数计算
AI模型推理所需的浮点运算次数= 2 × 模型参数规模× 训练集大小
来源：《Scaling Laws for Neural Language Models》（ Jared Kaplan 等，2020），国金证券研究所
推理成本计算中的其余参数与训练成本计算中相同。根据计算，我们得出在使用云计
算时 ChatGPT 每处理 1,000 Tokens 信息需要花费约 0.177 美分，如果自建AI 算力
中心为模型推理提供算力支持，成本将进一步降低至 0.053 美分。
3. 多应用场景下 ChatGPT 推理成本估算
由于在不同的应用场景中，AI模型所面临的任务复杂度有所不同，因此AI 推理成本的估
算必须基于应用场景。我们采用如下公式估算各应用场景中 ChatGPT 的推理成本：
图表7：具体应用场景中AI 模型完成一次任务所需成本
1
场景成本 = 场景任务所需Tokens × 推理成本× (1- 缓存命中率) × × 模型压缩因子
1- 计算集群闲置率
来源：新钛云服公众号，算法邦公众号，机器之心公众号，国金证券研究所
其中，各参数的意义如下：
场景任务所需Tokens：其指在具体应用场景中，为了完成给定的场景任务，如搜索
信息、文书修改撰写等，AI模型需要处理的 Tokens 数量。这既包括向 AI 模型输入
的信息，也包括 AI 模型自主生成的信息。
推理成本：我们在前文计算得到在使用云计算时 ChatGPT 每处理 1,000 Tokens 信息
敬请参阅最后一页特别声明 4