一台推理服务器
先把问答和文档整理用起来 少数人同时使用
4U 风冷 GPU 服务器 · 2–4 卡
负载类型知识库问答与文档处理
冗余方式整机冷备
交付形态整机上架
部门级问答与文档处理
算力自由 全公司共享一套基建
多个业务系统并行
把
高 TPS 评测集
模型
先定任务 再配显卡
一个机柜
中等规模模型装得下 全公司日常够用
42U 机柜 · 2 台 8 卡推理机 + 规则引擎 / 存储 / 交换 · 16 卡
负载类型经营系统推理与批处理
冗余方式双路供电与整机互备
交付形态整柜上架
一间专属机房
多张卡一起用 更大的模型 更多人同时在线
多柜机房 含灾备
负载类型多个业务系统并行推理
冗余方式机房级灾备
交付形态自有或合作机房
组件
推理 检索 工具
- 推理引擎
- 加载权重 连续批处理并发请求
- 模型网关
- 统一入口 按 token 限流 路由与回退
- 检索
- 知识库混合检索与重排 按文档权限过滤
- 工具接入
- 经 MCP 连接在用系统 读写分开授权
- 可观测
- 显卡与引擎指标 每次调用的追踪与 token 用量
交付物
交接物
- 部署记录
- 部署时的配置与步骤
- 配置与版本清单
- 编排文件 出站规则 权重与镜像的版本哈希
- 验收证据包
- 评测集的版本与得分 压测脚本与曲线
- 变更权限表
- 谁可以改 谁批准
- 选型记录
- 评估阶段的负载 候选与决策
数据不出门 算力自己调度
连日志也留在机房
驻留显卡不与别家共用
吞吐多个模型各司其职
选型上线前后持续回归
评测硬件先行 软件接力
评估现场
负载与机房条件 一并测定部署验收
容量 质量 边界 逐项验收软件开发
为企业场景量身定制