私有部署概览

在自己的机房里跑模型，数据留在企业边界内，推理网段对机房外零出站；核心经营系统里敏感分类的调用，也只走本地推理。满足下面任一条才值得自建：数据不能出域；需要可审计、可回退的模型与知识库；负载稳定且高到能摊薄硬件。这些都不成立，或业务离不开最新的闭源前沿模型，调云 API 更省。

SZV 负责自建之后的那一段：交付能验收，变更能回退，调用能审计。下文先给判断方法。推理引擎、模型网关、检索、工具接入、可观测怎样配合，见私有部署的组成。

自建的条件

先把自建、云 API 与专有云实例摆在一张表里。专有云实例指在云服务商机房里租用独占 GPU，自己跑开源模型。

各个条件的含义：

• 数据不可出域。 「域」是合同或制度画出的边界。《网络安全法》要求关键信息基础设施运营者把境内收集和产生的个人信息与重要数据存在境内，境内的云也能满足它。自建对应更严的一档：数据不出企业自己的机房。
• 可审计、可回退。 云 API 的模型版本由服务商决定，旧版本下线后，就没法再拿当时的模型核查当时的回答。自建可以把模型权重、引擎版本、知识库索引一起钉住：审计时拿得出当时的模型、资料与引用，出问题时按版本退回。与上游议价时，手里也多一套能独立运转的模型。
• 负载稳定且高。 这一条最容易算错，下一节单独讲。

立项会上用这张表，先排除不该自建的情形，再谈规模。

自建与云 API 的成本比较

用量大不等于自建更便宜，因为两边的成本结构不对称。自建的成本大多是固定的：硬件折旧、电、机房、运维人力，机器闲着也照付。云 API 只为用掉的 token 付钱。所以要比的是每月实际用掉的 token，不是机器的峰值能力。

PUE 是机房总用电与 IT 设备用电之比，制冷越费电，它越高。SLO 是服务等级目标，即对延迟等指标约定的达标线。

代入时常见的错：

1. 容量按峰值吞吐算。并发拉高，总吞吐会涨，每个用户也等得更久。容量要取 TPOT 仍达标时的那个点。
2. 忽略夜间空转。只在白天用的问答，利用率天然偏低。把文档入库、报表摘要这类批处理排进夜间，固定成本才摊得薄。
3. 拿不同质量比价。云上闭源前沿模型与本地开源模型能力不同，对照价应取云上同级开源模型的价格。

拿现有调用量或试点期的估计值代入上表的各行，立项前就能看出差多少。

运维入口与零出站

推理网段对外零出站，可以写成防火墙规则。但 SZV 还要升级、排障、看监控，运维通道就是一条穿过边界的线。这条线怎么开，决定「数据不出机房」能否成立。

图里穿过机房边界的只有一条线，蓝色标出的受控入口就在这条线上。离线承诺成立与否，看这个入口怎么开。

企业按自己的安全等级选其中一个，签约前定下，并记进验收记录。

常开的远程隧道

常开隧道让运维最省事，但隧道本身就是一条出站连接。有了它，零出站再也无法用测试证明，所以不把它列为选项。

只靠应用层开关

HF_HUB_OFFLINE=1 只管模型仓库的客户端。vLLM 默认开启匿名使用统计，要另设 VLLM_NO_USAGE_STATS=1 或 DO_NOT_TRACK=1（vLLM 使用统计）。组件一多，应用层开关总会漏掉一个。底线因此放在网络层：推理网段默认拒绝出站，容器的转发路径（Docker 的 DOCKER-USER 链）一并约束，再用一次失败的对外连接证明。规则写法见网络与机房条件。

安全审核只需核对两样：一条入口线，一份失败连接的记录。

回答的一致性

本地部署不保证同一问题得到同一回答，哪怕模型在自己机房、温度设为 0。推理引擎把并发请求拼成批计算，批的大小随负载变，浮点累加的顺序跟着变，输出就会漂。

vLLM 文档写明，为了性能，默认不保证结果可复现；在线服务只能开启「批不变」模式换取一致，且只在同一硬件、同一版本下成立（vLLM 可复现性）。

自建能保证的还有：

• 同一份资料：知识库按版本钉住，各部门查的是同一版。
• 可复现的检索：记下索引版本与检索参数，事后能重跑出当时的候选片段。
• 可追溯的引用：每条回答带来源文档与片段编号。

审计问「当时为什么这么答」时，拿出的是当时的资料版本与引用片段，不必重新问一遍模型。

模型选型

业务能力由模型决定，显卡只负责装下它，所以先定模型，再定卡。

KV 缓存是模型为已读内容保存的中间结果，占用显存。MoE（混合专家）模型每次只激活一部分参数，但全部参数都要放进显存。

评估现场时，按这张表把候选筛到一两个，再上评测集比；卡数从显存一行倒推。

三档配置

推荐配置以报价时为准。型号与数量受供货、进出口政策和型号更名影响，评估现场时给出可交付的等效方案。

每一档的适用条件：

• 一台没有冗余。 整机备件是冷备，换机期间服务中断。适合能接受停机的部门级问答与文档处理。
• 一柜的两台推理机互为备份。 前提是每台都能独立装下所用模型；一台故障时，容量降到一半。实时问答与夜间批处理共用同一套模型，利用率最容易做高。
• 一间按机房级设计。 供电、制冷、网络与灾备单独设计，风冷还是液冷由单柜功耗决定。
• 国资与有信创要求的客户走国产路线。 这类客户的采购要求国产芯片，默认用昇腾、昆仑芯或海光，上表的 6000D 推荐不适用。引擎侧要确认对该卡的适配，例如 vLLM 的昇腾硬件插件（vllm-ascend）。

验收用的数

「能用」不是验收结论。模型、引擎、索引每变一次，都要能回答「比上次好还是差」，所以验收留下能重跑的数：质量与容量。阈值在签约时按业务填写，这里只给字段与测法。

下次升级时，跑同一套评测集与压测脚本，结果直接与验收基线对比。

限制与不适用

• 自建要一次性的硬件投入，也要相应的机房条件。
• 模型更新只能走介质或白名单通道。
• 一台档没有冗余，换机期间服务中断。
• 业务离不开最新的闭源前沿模型时，自建不适用。
• 用量低且起伏大时，调云 API 更省。
• 国资与有信创要求的客户走国产路线，不适用 6000D 推荐，见上文三档配置。

相关页

• 私有部署的组成：各个部分怎样接成一次问答。
• 网络与机房条件：推理网段默认拒绝出站的规则与验证。
• 估算显卡数量：从用量与 SLO 倒推模型、精度与卡数。
• 交付与验收：验收证据怎样整理、交给谁。