- 版本:v1.0(定稿)
- 更新日期:2026-10-10
- 证据截止日期:2026-10-10。厂商路线图、出货状态和监管进展只反映截至该日可查到的公开信息。
- 适用对象:以中国境内持牌金融机构(银行、证券、保险)为主,境外监管仅作参照。
标注约定
- 【事实】:有可核查来源,编号对应文末“参考来源”。
- 【判断】:讨论组基于证据作出的推断,成熟度评级和优先级都属于判断。
- 【推测】:路线图类预测,或目前无法核实的论断。
厂商公告只能证明“厂商发布或宣称了某项能力”,不能证明该能力的独立性能、安全性,也不能证明它在金融机构达到了可投产的成熟度。
摘要
-
版图:AI Infra 可以划为十层:物理层、算力、集群网络与存储、训练、推理、模型供给、数据、编排与智能体、LLMOps 与评测,以及贯穿各层的安全治理。安全治理与 AI 网关、路由与成本计量都是横切能力,图中单独绘出;网关不计入十层(见第 2 章)。
-
重心转移【判断】:行业重心正从“训练规模”转向“推理经济性、数据可信、治理与评测”。数据中心用电快速增长【事实,[R1]】,电力与散热正成为算力扩张的硬约束【判断】。
-
成熟度分化【判断】:基础软硬件栈已经生产成熟,包括通用 GPU、开源推理引擎和主流训练框架。下列方向仍处于早期采用或实验阶段,不宜直接按“标配”采购:
- 预填充/解码(PD)解耦与跨节点 KV 缓存:少数大型模型服务商的自研栈已有生产或在线服务部署,开源引擎的实现仍为实验性;无论规模,都须按自有负载验证;
- 开放互联标准(UEC、UALink);
- 智能体协议的授权与安全模型;
- 生成式 AI 观测标准;
- 提示注入防御。
-
金融机构的定位【判断】:多数金融机构是 AI 基础设施的使用方而不是建设方。投入重点应放在三类能力上:
- 受控推理平台;
- 可审计的数据与检索;
- 业务评测与治理。
自建大规模预训练集群对多数机构不具备投入产出合理性。
-
监管基线:相关文件均已发布【事实,[F1][F2][F3][F5]】,基线已基本明确【判断】。
- 2026 年 6 月,金融监管总局发布《关于银行业保险业人工智能安全开发应用的指导意见》。据地方金融管理部门转载的发布要点,它要求把 AI 风险纳入全面风险管理体系,实行风险分类分级和高风险应用准入,并在高风险应用的关键环节设置人工监督和干预机制。文号与逐条原文待核(见第 7 章 V2)。
- 数据安全、生成内容标识等规定已经施行。
-
下一阶段优先级【判断】:
- P0:AI 风险治理与模型台账(含高风险场景的上线前业务评测)、数据边界与权限透传(含已上线或拟上线 RAG 的权限过滤与检索留痕)、统一 AI 网关(含基础用量采集),以及已上线场景的可用性与失败恢复。
- P1:可审计 RAG 的平台化与持续、规模化的业务评测,国产算力的负载分层与双栈验证,新建场景的低时延优化,单位任务成本核算。
- P2:PD 解耦等高级推理优化、高权限智能体、自主训练。
1. 范围与口径
1.1 定义
AI Infra 指支撑 AI 系统全过程的底层技术与工程系统。这一过程从数据接入开始,依次经过模型训练、部署和在线推理,直至观测与治理。
1.2 成熟度分级(全文统一口径)
| 级别 | 名称 | 判定标准 |
|---|---|---|
| L4 | 生产成熟 | 多家机构规模化生产使用,接口稳定,有商业支持或事实标准 |
| L3 | 规模采用 | 有多家生产案例,但适用条件明显,或仍在快速迭代 |
| L2 | 早期采用 | 有实现与少量生产或试点,官方文档仍标注实验性,或缺少跨场景验证 |
| L1 | 实验 | 仅有论文、规范草案或单厂商预览 |
- 成熟度针对“技术 + 典型负载”评定,不给整家厂商定级。
- 评级反映的是业界整体状况,不代表已通过任何金融机构的验收。
- 金融机构采用某项技术,仍须用自有负载完成两项验证:基准测试,以及失败恢复验收(见 5.4)。
1.3 金融优先级判定标准
优先级按三个维度综合排序:
- 监管刚性:有无明确的监管义务或期限;
- 业务影响:出错对客户、资金或业务连续性的后果;
- 落地难度:依赖的技术成熟度与改造成本。
判定规则【判断】:
- P0(上线前提):满足下列任一条件:
- (a) 有明确的监管义务,且出错后果严重或不可逆;
- (b) 影响已上线(或即将上线)业务的连续性;
- (c) 是其他 P0 事项的前置依赖或落地载体。
- P1(规模化支撑):不满足 P0 条件,但支撑规模化推广,且有明确业务需求或可核查的收益依据;缺失时不直接造成合规或连续性缺口。
- P2(前瞻评估):技术成熟度在 L2 及以下,或收益依赖场景实测、尚无明确业务需求。
- 判定顺序:按 P0 → P1 → P2 顺序判定,先满足者为准;P2 的成熟度条件只适用于不满足 P0、P1 条件的事项。
同一方向内,控制措施与平台化建设可以分属不同优先级。例如,RAG 的权限过滤与检索留痕属 P0,可审计 RAG 的平台化建设属 P1(见 5.2)。
2. AI Infra 分层版图
flowchart TB
subgraph X["横切能力"]
direction LR
X1["安全与治理<br/>身份权限 · 供应链 · 合规审计"]
X2["AI 网关<br/>路由 · 限流 · 计量分摊"]
end
subgraph APP["应用支撑层"]
direction LR
A1["编排与智能体<br/>工作流框架 · MCP/A2A · 工具调用"]
A2["LLMOps 与评测<br/>链路追踪 · 业务评测 · 发布回滚"]
end
subgraph DATA["数据与模型层"]
direction LR
D1["数据平台<br/>湖仓 · 向量/混合检索 · RAG · 特征"]
D2["模型供给<br/>闭源 API · 开源权重自托管"]
end
subgraph RUN["运行层"]
direction LR
R1["推理服务<br/>引擎 · 量化 · KV 缓存 · PD 解耦"]
R2["训练<br/>框架 · 并行策略 · 后训练"]
end
subgraph INF["基础设施层"]
direction LR
I1["集群、网络与存储<br/>调度 · 互联 · 并行存储 · 容错"]
I2["算力与芯片<br/>GPU · 云厂商 ASIC · 国产 NPU"]
I3["物理层<br/>电力 · 液冷 · 机房"]
end
APP --> DATA --> RUN --> INF
X -.-> APP
X -.-> DATA
X -.-> RUN
X -.-> INF
2.1 分层总表
成熟度与金融相关度均为【判断】。
| 层 | 代表技术/产品 | 成熟度 | 金融相关度 |
|---|---|---|---|
| 物理层 | 高密度机柜、液冷、电力配额 | 超大规模厂商 L3;金融自建机房 L2(金融场景附加评级) | 中(自建机房的机构为高) |
| 算力与芯片 | NVIDIA GPU + CUDA | L4 | 高 |
| AMD Instinct + ROCm | L3 | 中 | |
| Google TPU、AWS Trainium(云内) | L3 | 低(境内可用性有限) | |
| 华为昇腾 + CANN | 推理 L3;大规模训练 L2 | 高 | |
| 新一代机架级产品(Vera Rubin、AMD Helios) | L1–L2(厂商宣称量产或爬坡,交付待核) | 低 | |
| 集群、网络与存储 | Slurm、InfiniBand | L4 | 低 |
| Kubernetes + DRA/Kueue/Volcano,RoCE 以太网 | L3 | 高(GPU 池化、多租户) | |
| UEC 以太网规范 | L2 | 低 | |
| UALink | L1–L2 | 低 | |
| 训练 | PyTorch FSDP、Megatron-Core、DeepSpeed | L4 | 低–中(以微调为主) |
| FP8 训练、MoE 专家并行 | L3 | 低 | |
| 强化学习后训练框架(verl、OpenRLHF、TRL) | L2–L3 | 低 | |
| 推理 | vLLM、SGLang、TensorRT-LLM;连续批处理、前缀缓存、FP8/INT4 量化 | L4 | 高 |
| 投机解码 | L3 | 中 | |
| PD 解耦:大型模型服务商自研栈 | L3(生产或在线服务部署案例主要来自论文自报 [C10][C12]) | 低 | |
| PD 解耦、跨节点 KV 缓存:开源引擎通用实现 | L2 | 中(须实测) | |
| 模型供给 | 闭源 API | L4 | 高(受数据分级约束) |
| 开源权重自托管 | L3 | 高 | |
| 数据 | 湖仓表格式(Iceberg、Delta、Paimon) | L4 | 高 |
| 向量检索(含 pgvector、Elasticsearch 等通用库) | L4 | 高 | |
| 混合检索 + 重排 | L3 | 高 | |
| 权限透传的可信 RAG | L2 | 高 | |
| GraphRAG | L2 | 中 | |
| 编排与智能体 | 工作流与状态机框架(LangGraph 等) | L3 | 高 |
| MCP 工具互操作(协议普及度) | L3 | 高 | |
| MCP 授权与安全实践 | L2 | 高 | |
| 高权限自主智能体 | L1(金融场景附加评级) | 高(风险) | |
| LLMOps 与评测 | 链路追踪、费用与延迟监测 | L3 | 高 |
| OpenTelemetry GenAI 约定 | L2 | 中 | |
| 业务正确性评测 | L2 | 高 | |
| 安全与治理 | 身份权限、KMS、SBOM、制品签名 | L4 | 高 |
| safetensors、模型签名 | L3 | 高 | |
| 提示注入防御 | L1–L2 | 高 | |
| AI 网关(横切) | 统一接入、模型路由、限流降级、token 计量分摊 | L3 | 高 |
3. 各方向现状与演进趋势
3.1 物理层:电力与散热成为硬约束
- 【事实】IEA 估算:2024 年全球数据中心用电约 415 TWh,到 2030 年将增至约 945 TWh,增长一倍以上。AI 是主要驱动因素 [R1]。
- 【判断】机架级系统使单柜功率和液冷成为选址与扩容的前置条件。对于自建机房的金融机构,扩容的瓶颈往往先出现在机房供电与制冷上,而不是采购预算上。
- 【推测】单柜功率的具体数值以厂商规格为准,本报告不引用未核实的数值。
3.2 算力与芯片:机架级集成、异构并存
现状
- 【事实】NVIDIA:2026 年 5 月宣布 Vera Rubin 进入全面量产爬坡,量产出货定于 2026 年秋季开始 [C1]。截至证据截止日,尚未核实实际交付情况。
- 【事实】Google:第七代 TPU(TPU7x,Ironwood)于 2025 年 11 月开放预览,2026 年 3 月 31 日正式可用(GA)[C2]。
- 【事实(二手)】AMD:据 2026 年 2 月的报道,AMD 称机架级系统 Helios(72 颗 MI455X)按计划于 2026 年下半年推出 [C3]。后续报道对量产与出货时间说法不一,实际交付尚未核实【推测】。
- 【事实】华为:披露了 CloudMatrix384 超节点(384 颗昇腾 910C)的推理服务架构 [C4]。论文中的性能数据为作者自报。
趋势与不确定性
- 【判断】演进方向是从单芯片峰值转向“整机架互联 + 低精度 + 软件栈”的系统竞争。
- 【判断】国产算力的差距主要在软件栈、算子覆盖和互联,不在单卡峰值。具体情况:
- 推理侧已在中等规模模型上进入规模采用;
- 大规模训练仍处于早期采用阶段。
- 【判断】采购评估应比较以下指标,而不是厂商峰值倍数:
- 同一模型、同一精度、同一负载下的有效吞吐;
- 尾时延;
- 功耗;
- 驱动维护与备件恢复。
- 【推测】新一代产品能否按期大规模交付,取决于 HBM 与先进封装产能。出口管制走向也有不确定性,境内机构的可得性存在变数。
3.3 集群、网络与存储:以太网追赶,容错优先
现状
- 【事实】超以太网联盟于 2025 年 6 月发布 UEC 1.0 规范 [C5]。【事实(二手)】此后持续修订,2026 年 7 月发布 1.0.3,版本页本轮未打开核对。UALink 联盟于 2025 年 4 月发布 UALink 200G 1.0 规范,面向纵向扩展(Scale-up)互联 [C6]。
- 【事实】Kubernetes v1.34 的动态资源分配(DRA)核心 API 已转为 GA [C7]。Kubernetes 文档指出,命名空间隔离须配合网络等其他控制,才能实现多租户隔离 [C8]。
- 【事实(二手)】据 Meta Llama 3 技术报告:约 54 天的预训练期间发生 419 次意外中断,约 78% 与硬件相关 [C9]。上述数值据二手转述,原文表格待逐项核对。
趋势与判断
-
【判断】万卡级训练中,容错和检查点效率比峰值算力更能决定有效训练时间。
-
【判断】金融机构的典型规模是数十到千卡,以推理为主。这一层对金融机构的重点是:
- GPU 池化与多租户调度;
- 故障域隔离;
- 独立备份恢复。
超大规模训练网络不是重点。
-
【判断】扩容与资源共享会扩大故障和攻击的影响范围。副本和纠删码无法恢复被同步删除的数据。
3.4 训练框架与并行策略:重心转向后训练
- 【事实】主流栈包括:
- PyTorch(FSDP2、torchtitan)、Megatron-Core、DeepSpeed、JAX;
- 昇腾生态的 MindSpore/MindSpeed。
- 【事实】公开技术报告自报已在大规模训练中采用 FP8 混合精度与 MoE 专家并行 [C10];性能数据为作者自报。
- 【判断】行业重心从“预训练规模”转向“后训练与强化学习”:数据与奖励设计、推理–训练混合负载成为新的工程重点。“预训练收益放缓”本身仍有争议(见第 6 章)。
- 【判断】对金融机构而言,预训练基本不是选项。真实需求是 LoRA/SFT 微调、偏好对齐和蒸馏,因此这一层在金融投入中应降权。
3.5 推理服务与优化:成本主战场,解耦尚未定型
现状
- 【事实】PagedAttention(vLLM)、RadixAttention(SGLang)等内存管理技术已成为主流引擎的基础 [C11]。
- 【事实】PD 解耦的研究包括 DistServe(OSDI 2024)、Splitwise(ISCA 2024)、Mooncake(FAST 2025)[C12]。其中 Mooncake 描述的是服务商自身的生产系统,性能数据为作者自报。DeepSeek-V3 技术报告第 3.4 节也写明,其在线服务采用预填充与解码分离的部署策略(预填充最小部署单元 4 节点 32 卡,解码 40 节点 320 卡)[C10]。vLLM 官方文档仍将解耦预填充标为“实验性” [C13]。
- 【事实】vLLM 安全文档指出:多租户部署下,共享前缀缓存构成时序侧信道(CVE-2025-46570),并提供
cache_salt隔离机制。该机制的代价是缓存复用率下降 [C14]。
趋势与判断
- 【判断】推理是成本占比最高、优化空间最大的一层。引擎、连续批处理、前缀缓存和常用量化已经生产成熟。
- 【判断】PD 解耦与跨节点 KV 缓存的收益取决于多个因素:提示长度、输出长度、并发量和网络条件。在百卡以下的中低并发场景,新增的传输开销和运维复杂度可能抵消收益。无论部署规模,都须用自有负载实测,不作为通用标配。
- 【判断】量化之后,须重新评测金额、日期和工具参数等关键字段的准确性。在多租户场景,缓存边界应由可信网关统一控制。
3.6 模型供给层:闭源 API 与开源自托管并行
- 【判断】金融机构的基础设施选型首先取决于模型供给方式:
- 闭源 API:能力强,但受数据分级、跨境和第三方集中度约束;
- 开源权重自托管:数据不出域,但要承担推理平台、评测与补丁维护成本。
- 【判断】开源权重模型显著降低了自托管门槛。双轨并存(按数据级别路由)将是常态。
- 【事实】外部引入生成式 AI 服务时,须核对网信部门的备案与适用范围要求 [F4]。《生成式人工智能服务管理暂行办法》第二条区分了面向境内公众的服务和不向公众提供服务的研发应用。
3.7 数据平台:难点在权限与时效,不在检索算法
- 【事实】Elasticsearch 等通用检索系统已支持混合检索与重排 [C15];pgvector 为 PostgreSQL 提供向量检索能力 [C16]。
- 【判断】独立向量数据库的差异化在缩小,向量检索正被既有数据库与搜索系统吸收。超大规模高维检索仍有专用系统的空间。
- 【判断】企业 RAG 的瓶颈在文档解析、权限继承、更新一致性和评测:
- 权限过滤须在内容进入模型之前执行;
- 撤权、删除和版本更新须同步覆盖原文、索引、缓存和智能体记忆;
- 向量化不等于匿名化。
- 【判断】特征平台只在需要在线特征的场景才是必要层,不是所有生成式 AI 应用的必备组件。
3.8 编排与智能体:协议收敛,授权滞后
现状
- 【事实】MCP 于 2024 年 11 月发布。2025 年 12 月,Anthropic 将 MCP 捐赠给 Linux 基金会旗下新成立的 Agentic AI Foundation [C17]。
- 【事实】MCP 2026-07-28 版安全最佳实践有三点要求 [C18]:
- 明确禁止“令牌透传”,服务器不得接受非签发给自身的令牌;
- 讨论了混淆代理、SSRF、状态句柄劫持等攻击;
- 要求最小权限、渐进授权。
趋势与判断
- 【判断】协议层快速收敛,但“协议互通 ≠ 业务授权”。工具调用须逐次核验以下四项,故障恢复则须防止重复执行:
- 用户身份;
- 业务权限;
- 参数;
- 额度。
- 【判断】工作流框架处于规模采用;高权限自主智能体在金融场景属于实验阶段。近期应限定为只读或可人工复核的流程,限制写操作和资金类操作。
3.9 LLMOps、观测与评测:最被低估的一层
- 【事实】OpenTelemetry 生成式 AI 语义约定仍为 Development 状态。文档提示,输出消息等属性可能包含个人敏感信息 [C19]。
- 【事实】2026 年 8 月发布的 OWASP LLM 应用十大风险 2026 版有两处变化 [C20]:
- “过度代理(Excessive Agency)”升至第三位;
- 面向智能体的风险另有专门清单。
- 【判断】链路追踪、延迟与费用监测已经规模采用。业务正确性、幻觉和智能体长期行为的评测仍须按场景自建数据集,并配合人工抽检。
- 【判断】LLM-as-judge 存在位置偏好、冗长偏好等偏差,只能作为辅助手段。
- 【判断】对金融机构,这一层产出的日志和评测记录就是合规证据,但须做两点区分:
- 区分普通运行日志与受控审计证据;
- “日志越全越安全”不成立,留存范围须与个人信息最小化原则协同设计。
3.10 安全与治理:限制能力,而不是只堵输入
- 【事实】常用参照框架:
- NIST AI 600-1《生成式 AI 剖面》(2024)[C21];
- OWASP LLM Top 10(2026 版)[C20];
- ISO/IEC 42001:2023 管理体系 [C22]。
- 【判断】间接提示注入目前没有完整的防御方案,务实做法是限制能力:
- 最小权限工具;
- 输出校验;
- 外连与资源限制;
- 人在回路。
- 【判断】以下措施都有边界:
- 安全网关不能替代下游授权;
- 制品签名不能证明模型没有后门;
- 私有化部署只解决数据出域问题,不解决越权检索与日志外传。
4. 总体演进趋势
flowchart LR
T1["训练规模竞赛"] --> T2["推理经济性<br/>低精度 · 缓存 · 解耦"]
T2 --> T3["数据可信<br/>权限 · 血缘 · 时效"]
T3 --> T4["治理与评测<br/>运行时控制 · 业务评测"]
P["约束:电力与散热<br/>供货与出口管制<br/>软件栈成熟度"] -.-> T2
主要趋势
| 趋势 | 驱动因素 | 主要不确定性 |
|---|---|---|
| 推理与智能体负载占比上升【判断】 | 推理模型的测试时计算、智能体多步调用推高 token 消耗 | 负载结构;低并发场景的优化收益边界 |
| 机架级集成与异构并存【判断】 | 内存带宽与互联成为瓶颈;供应安全 | HBM 与封装产能;出口管制;国产软件栈成熟速度 |
| 开源权重降低自托管门槛【判断】 | MoE 与低精度降低推理成本 | 开源与闭源的能力差距是否持续收敛 |
| 协议化编排与运行时治理【判断】 | 工具互操作需求 | 授权模型与安全开销 |
| 电力成为硬约束【判断;用电增长为事实,[R1]】 | 数据中心用电快速增长 | 电网建设周期 |
投入产出不确定性
- 【推测】MIT NANDA《The GenAI Divide》(2025)称,绝大多数企业的生成式 AI 试点没有带来可测量的损益影响 [R2]。该报告的样本与口径存在争议,各方转述也不一致(有的指试点,有的指组织),只宜作为风险提示,不宜当作量化结论。
5. 金融行业下一阶段关注方向与事项
5.1 监管基线
| 法域 | 文件 | 要点 | 来源 |
|---|---|---|---|
| 境内·金融 | 金融监管总局《关于银行业保险业人工智能安全开发应用的指导意见》(2026 年 6 月;据转载的发布要点,文号与逐条原文待核) | 32 项指导性意见;风险分类分级与高风险应用准入;高风险关键环节人工监督和干预;外包与供应链风险管理;“按需布局建设自主可控、安全高效的智能算力底座” | [F1] |
| 境内·金融 | 《银行保险机构数据安全管理办法》(金融监管总局,2024-12-27) | 数据分类分级、全生命周期保护、个人信息保护 | [F2] |
| 境内·金融 | 《中国人民银行业务领域数据安全管理办法》(2025-06-30 施行) | 适用于人民银行业务领域的数据处理活动 | [F3] |
| 境内·金融 | 《银行保险机构操作风险管理办法》(金融监管总局令 2023 年第 5 号,2024-07-01 施行) | 第二十八条:制定业务连续性计划,定期开展应急预案演练评估,测试关键服务供应商的持续运营能力 | [F9] |
| 境内·通用 | 《生成式人工智能服务管理暂行办法》(2023) | 第二条:适用于向境内公众提供的服务,未向境内公众提供服务的研发、应用不适用;第十七条:具有舆论属性或社会动员能力的服务,须开展安全评估并履行算法备案 | [F4] |
| 境内·通用 | 《人工智能生成合成内容标识办法》及 GB 45438-2025(2025-09-01 施行) | 显式与隐式标识 | [F5] |
| 境内·行业标准 | JR/T 0221-2021《人工智能算法金融应用评价规范》 | 安全性、可解释性、精准性、性能评价 | [F6] |
| 国际 | FSB《AI 的金融稳定影响》(2024-11) | 第三方依赖与服务商集中、市场相关性、网络风险、模型风险 | [F7] |
| 欧盟 | AI Act 与 AI Omnibus(Regulation (EU) 2026/1744) | 据律所解读,Annex III 高风险义务(含信用评估)的适用日由 2026-08-02 推迟至 2027-12-02 | [F8] |
5.2 优先级总览
flowchart LR
subgraph P0["P0 上线前提"]
A["AI 风险治理<br/>模型台账 · 分级准入 · 高风险上线评测"]
B["数据边界<br/>分级路由 · 权限透传"]
C["统一 AI 网关<br/>鉴权 · 限流 · 计量"]
D["已上线场景<br/>可用性与失败恢复"]
end
subgraph P1["P1 规模化支撑"]
E["可审计 RAG 平台化<br/>持续规模化评测"]
F["国产算力<br/>负载分层双栈验证"]
G["单位任务成本核算"]
K["新建场景低时延优化"]
end
subgraph P2["P2 前瞻评估"]
H["PD 解耦等高级推理优化"]
I["高权限智能体"]
J["自主训练"]
end
P0 --> P1 --> P2
| 优先级 | 事项 | 判定依据(监管刚性 / 业务影响 / 落地难度) |
|---|---|---|
| P0 | R3a 合规监管与模型风险管理,含高风险场景的上线前业务评测与验收门槛 | 条件 (a):风险分类分级与高风险应用准入 [F1](适用于银行保险机构;证券期货机构见 V8) / 高,对客户权益的错误决策可能无法挽回 / 中 |
| P0 | R3b 数据安全与隐私,含已上线或拟上线 RAG 的权限过滤与检索留痕 | 条件 (a):数据安全与个人信息保护,银行保险机构见 [F2],人民银行业务领域见 [F3];证券期货机构的对应规定待补(V8) / 高且不可逆(泄露无法撤回) / 中 |
| P0 | 统一 AI 网关与计量(横切) | 条件 (c):鉴权、路由与留痕的落地载体;基础用量采集随网关上线,业务成本核算属 P1(R3e);监管要求的是控制效果,网关是优选实现 / 高 / 低–中 |
| P0 | R3d 已上线生产场景的可用性与失败恢复;拟上线场景的上线前验收见 5.4 | 条件 (b);银行保险机构另有业务连续性计划与演练义务 [F9] / 高 / 中 |
| P1 | R3c 信创/国产化算力适配 | 有自主可控导向;涉及明确期限时,由机构合规部门依据第 1.3 节条件重新判定是否提为 P0 / 中–高 / 高 |
| P1 | R3d 新建场景的低时延优化 | 无刚性要求 / 中 / 中 |
| P1 | R3e 成本与投入产出 | 无刚性要求 / 中 / 低;基础用量数据由网关从上线起采集,本项负责成本核算与投入产出分析 |
| P1 | 可审计 RAG 的平台化,持续、规模化的业务评测 | 合规证据来源,无刚性期限;最低控制措施已列入 R3a、R3b / 高 / 中 |
| P2 | PD 解耦、高权限智能体、自主训练 | 无刚性要求 / 依场景 / 高 |
R3a–R3e 沿用议题任务书的事项编号,与参考来源中的 R1、R2 无关。
以上优先级为通用起点【判断】。银行、证券、保险的适用规定不同,各场景的数据敏感性与决策影响也不同,各机构须按自身业务和第 1.3 节条件调整。
5.3 分项建议
R3a 合规监管与模型风险管理(P0)
-
扩展管理对象:模型风险管理的对象从“模型”扩展到“模型 + 提示词 + 检索库 + 工具权限”构成的系统,统一登记版本,并建立以下两套台账:
- “机构—业务—数据—部署—法域”适用性矩阵;
- 模型台账。
-
按风险分级:F1 要求实施风险分类分级和高风险应用准入 [F1]。分级维度【判断】:
- 数据敏感性;
- 对客户权益或资金的决策影响;
- 工具与写操作权限;
- 人工复核是否有效(复核人能否独立核查证据并否决)。
授信、定价、投资建议等对客决策场景通常属于高风险【判断】。“内部使用”本身不能降低风险等级:例如读取客户敏感数据、直接影响审批结论的内部授信辅助,仍应按高风险管理。内部辅助场景只有经上述维度评估确认为低风险后,才可采用较低强度的验证。
- 高风险场景须在上线前完成业务正确性评测,并设定质量门槛(P0);持续、规模化的评测平台建设属 P1。
-
可解释落实为可追溯【判断】:模型自述的理由不等于忠实解释。审计留痕应覆盖以下内容,并保证可回放:
- 输入;
- 检索片段;
- 提示版本与模型版本;
- 授权与动作结果;
- 人工复核记录。
-
显式设计人工复核点:复核人须检查实际证据,而不是模型的解释。无法形成可靠依据时,退回既有流程。
-
对外服务合规:根据服务对象、服务性质和机构角色核定适用义务 [F4]。向境内公众提供服务的,适用《暂行办法》;具有舆论属性或社会动员能力的,依法开展安全评估并履行算法备案;使用已备案模型时,按属地要求办理登记等手续【判断,以主管部门要求为准】。生成合成内容按适用规定落实标识 [F5]。
R3b 数据安全与隐私(P0)
- 数据分级与调用路由联动:高敏数据只进私有化或专属部署;公有云 API 只用于低级别数据。
- 扩充数据清单:把以下对象纳入数据清单和分级管理:
- 提示词与附件;
- 向量索引;
- KV 缓存;
- 智能体记忆;
- 遥测日志。
- RAG 权限透传:共享向量索引必须验证逐用户的权限过滤。演练三类情况:跨用户检索、撤权和删除。
- 防泄漏与合同约束:
- 提示词与输出做脱敏与数据防泄漏(DLP);
- 日志设定保留期;
- 合同禁止第三方把客户数据用于模型训练,并核查第三方的留存、远程支持与出境链路。
- 多租户缓存隔离:多租户推理须开启缓存隔离(如
cache_salt),防止前缀缓存时序侧信道 [C14]。vLLM 文档要求把缓存盐当作秘密、使用足够长的随机值,并指出被猜中或获取的盐仍可被用于时序攻击 [C14]。因此,缓存盐宜由可信网关按授权边界生成、保密并逐请求注入,不由最终用户提供【判断】。
R3c 信创/国产化算力适配(P1;涉及明确期限时,由机构合规部门依据第 1.3 节条件重新判定是否提为 P0,未提级的维持 P1)
- 双栈 + 负载分层【判断】:
- 推理与新增负载优先使用国产算力;
- 大规模训练与精调保留异构;
- 先迁移离线、经风险分级评估为低风险且人工复核有效的负载。
- 用抽象层降低绑定:通过推理引擎抽象层(如 vLLM 的昇腾后端、MindIE)和统一的模型交付流程(统一权重格式与评测集)降低迁移成本,避免从单一海外厂商绑定转为单一国产厂商绑定。
- 固定组合,用自有负载验证:锁定“硬件—驱动—框架—算子—量化”组合,用自有负载验证以下指标,不采信厂商峰值指标,也不把单模型跑通外推为全平台适配:
- 业务输出精度;
- 尾时延;
- 补丁支持;
- 升级回退。
- 计入全部成本:成本评估须计入工程人力与迁移工时,不能只看卡价。
R3d 高可用与低时延(已上线场景 P0,新建优化 P1)
- 毫秒级路径不用大模型【判断】:交易执行、支付和实时风控等毫秒级关键路径,继续使用规则、传统模型和图模型。大模型用于秒级的交互、辅助决策、客服与投研等场景,且不得成为唯一的执行依赖。
- 分项定义 SLO:分别定义以下指标:
- 首 token 时延(TTFT)、单 token 时延(TPOT)、端到端 P99/P99.9;
- 错误率;
- RTO/RPO。
- 降级链:小模型 → 规则 → 人工;配套多模型热备、限流、熔断与队列隔离。备用模型切换前,须验证其输出与工具行为。
- 排查共同故障点:双活服务如果共用身份系统、KMS、模型仓库或网络出口,仍存在共同故障点。跨可用区部署须纳入灾备演练。
R3e 成本与投入产出(P1;基础用量数据随网关上线采集)
- 计量单位:用“每件通过业务验收的任务成本”计量,不用 GPU 小时或 token 单价。
- 计入全部成本:TCO 须包括以下各项:
- 设备折旧、电力制冷与冗余;
- 评测与人工复核;
- 补丁、迁移与退出;
- 第三方依赖风险。
- 按顺序优化:依次尝试模型级联路由、前缀与语义缓存、离线批处理和量化,最后才考虑扩容硬件。
- 立项设条件:立项前定义可量化的业务指标、预算上限与停止条件,并以既有流程为对照。
- 规避单价陷阱:单位 token 变便宜,但推理长度、工具调用和复核次数增加,总成本可能反而上升。
5.4 上线前的失败恢复验收清单【判断】
| 类别 | 验收项 |
|---|---|
| 基础设施 | 控制面故障、节点退出、网络分区、独立备份恢复;AI 网关自身故障或被旁路;身份系统、KMS、模型仓库、网络出口等共同故障点失效 |
| 模型服务 | 模型不可用、冷启动、长上下文、突发流量、备用模型切换 |
| 数据与检索 | 检索失效、撤权与删除生效、跨用户检索阻断 |
| 智能体与工具 | 工具超时、重试幂等、有副作用操作的状态核对、凭据撤销 |
| 供应链 | 制品隔离、回滚到可信版本、停用工具 |
| 止损 | 预设业务质量门槛、止损条件与退出机制,并指定业务、安全、运维和模型风险责任人 |
6. 少数意见与争议
以下意见有一定依据,但未被正文全部采纳;表中逐条注明处理状态(已采纳、部分采纳、未采纳或保留),供读者参考。
| 编号 | 少数意见 | 提出席位 | 正文取舍与理由 |
|---|---|---|---|
| M1 | 信创/国产算力双轨适配应列为 P0 | 顾问席 | 正文列为 P1;涉及明确期限时,由机构合规部门依据第 1.3 节条件重新判定是否提为 P0。理由:据转载的发布要点,监管文件的表述是“按需布局建设”自主可控的智能算力底座 [F1];在缺少同负载对照数据时,过早全面迁移的业务风险较高。 |
| M2 | 实时反欺诈、量化信号初筛等毫秒级场景,可借助 PD 解耦加 1.5B–7B 小模型和推测解码,把延迟压到 20ms/token 以内 | 顾问席 | 未采纳。核验、质疑、主主持、第二主持一致认为大模型不应进入毫秒级关键路径;该延迟数字没有可核查来源。 |
| M3 | 金融 RAG 必须深度融合 GraphRAG 与关系型确定性查询,并列为 P1 | 顾问席 | 部分采纳:可审计 RAG 列为 P1,GraphRAG 评为 L2,作为试点选项。第二主持建议先比较现有搜索系统的召回、权限与运维成本。 |
| M4 | 审计留痕应包含模型的完整思维链,并按 WORM 方式保存 7–10 年 | 顾问席 | 未采纳原方案。思维链不一定忠实反映决策过程,全量长期留存与个人信息最小化原则冲突。正文改为留存输入、检索证据、版本、授权与动作结果;保留期限按适用法规确定。 |
| M5 | 高可用与低时延整体为 P0(质疑席:生产场景 P0);或整体为 P1(第二主持) | 质疑席、第二主持 | 正文拆分处理:已上线场景的可用性与恢复列为 P0,新建低时延优化列为 P1。 |
| M6 | 成本与投入产出应为 P2(核验席、主主持),或为 P1(质疑席、第二主持) | 多席 | 正文列为 P1;基础用量数据随网关上线采集,成本核算属 P1。 |
| M7 | 预训练边际收益递减,算力投资正转向测试时计算 | 顾问席;核验席认为有争议 | 正文只采纳“重心转向后训练与推理”的判断,“预训练放缓”标为争议。 |
| M8 | 专用向量数据库在超大规模检索上保持领先 | 顾问席 | 与正文“通用数据库吸收向量能力”的判断并不矛盾,适用规模不同。 |
| M9 | “主流叙事”是否真的代表业界共识,缺少系统调查 | 质疑席、第二主持 | 采纳为证据边界:第 6 章所称的“常见叙事”只表示市场观点,未经统计验证。 |
| M10 | 统一 AI 网关未被监管明确要求,宜写成优选实现而非 P0 | 第二主持(第 2 轮) | 部分采纳:保留 P0(判定条件 (c)),并在 5.2 注明监管要求的是控制效果,网关是优选实现。 |
| M11 | R3c“涉及明确期限时提为 P0”应写明判断主体与触发条件 | 主主持(第 2 轮) | 第 3 轮已采纳(见更新历史 v0.3 的 S4):判断主体为机构合规部门,触发条件为第 1.3 节的 P0 条件,期限本身不单独构成提级理由。 |
| M12 | 成熟度总表应逐格给出依据或来源编号;昇腾推理 L3、vLLM/SGLang/TensorRT-LLM 整体 L4 依据不足 | 主主持(第 2 轮) | 未在本版逐格补来源:第 2.1 节已声明评级为讨论组判断;昇腾推理 L3 目前只有厂商自报论文 [C4] 支撑,列入待核事项 V7。 |
| M13 | 欧盟 AI Omnibus 应改引 EUR-Lex 原文;F4、UEC 1.0.3 应升级为一手来源 | 第二主持、主主持(第 2 轮) | F4 已打开网信办原文核对第二条、第十七条,升为 A。F8 原文与 UEC 1.0.3 版本页本轮未打开,维持原级别。 |
| M14 | 跨平台交付与同构集群组网、灾备时主动放弃 KV 缓存、检索前置的属性基访问控制、写操作幂等键 | 顾问席(第 2 轮) | 作为实施参考保留,未写入正文:与正文第 3.7、3.8 节和 R3d 的方向一致,属于实现细节。 |
| M15 | R3a 第 5 条的登记建议宜进一步限定为“通过 API 或其他方式直接调用已备案模型能力” | 质疑席(第 3 轮) | 保留为少数意见:现文已按服务对象、性质、机构角色和主管部门要求限定;所引网信办 2026-09-14 备案公告本轮未打开核对,暂不写入正文。 |
| M16 | 统一网关列 P0 而又称“优选实现”,不等于监管指定架构 | 第二主持(第 3 轮);质疑席(第 4 轮)重申 | 与 M10 一致,正文已说明监管要求的是控制效果,不再改动。 |
| M17 | 国产 GPU 在驱动与集合通信库(NCCL/RCCL 兼容)上存在壁垒,须防范厂商绑定与算子库分叉的维护成本;长文本 KV 缓存跨会话持久化须考虑敏感数据的安全擦除与生命周期管理;机房网络不足时可先做单机内 PD 拆分 | 顾问席(第 4 轮,自标为推测性建议) | 作为实施参考保留,未写入正文:没有可核查来源;方向与 R3c 双栈分层、R3b 缓存隔离和 3.5 节“按负载实测”一致,属于实现细节(同 M14)。 |
| M18 | P1 规则字面偏宽,性能优化类事项也可能被“支撑规模化推广”覆盖;有期限但不满足 P0 条件的事项落档不明 | 核验席、主主持、质疑席(第 4 轮) | 已采纳:1.3 节 P1 规则改为“不满足 P0 条件,且有明确业务需求或可核查的收益依据”;R3c 标题补“未提级的维持 P1”。 |
本报告与常见业界叙事的分歧【判断】:
- 峰值算力和代际倍数不能直接进入金融预算。
- PD 解耦在部分超大规模、高并发、长上下文部署中已有生产采用,但不是通用标配;百卡级部署更须按负载实测。
- 协议标准化、RAG 和私有化都不会自动带来可信与安全。
- 国产化宜按负载分层推进,不宜一次性全面替代。
- 多数金融机构是基础设施的使用方,不必自建训练栈。
7. 证据边界与待核事项
-
证据性质:本报告没有取得独立基准、金融机构部署案例或恢复演练数据。性能、成本与 ROI 的结论只给方法,不给具体比例。
-
待核事项:
编号 事项 状态 V1 Vera Rubin、AMD Helios 的实际客户交付 截至 2026-10-10 未核实 V2 金融监管总局 2026 年 6 月指导意见的文号与逐条原文 本报告依据地方金融管理部门转载的要点,正式条文以官方文本为准 V3 Llama 3 报告中断统计 原文表格待逐项核对 V4 JR/T 0258-2022《金融领域科技伦理指引》 未能核实,未写入正文 V5 华为后续超节点路线图(Atlas 950/960 等) 未核实,未写入正文 V6 欧盟 AI Omnibus 中 Annex I 嵌入式产品的推迟日期 各方解读不一致 V7 昇腾推理“规模采用”(L3)的多家生产案例 目前只有厂商自报论文 [C4],独立案例待补 V8 证券期货机构的数据安全与 AI 应用适用规定 5.1 所列 F1、F2、F9 适用于银行保险机构,F3 适用于人民银行业务领域的数据处理活动;《数据安全法》《个人信息保护法》普遍适用,但本报告未逐条核对原文。证券期货行业另有《证券期货业网络和信息安全管理办法》(证监会令第 218 号)[F10],本报告只核对了其名称、令号和施行日期,适用条款及与 AI 应用的对应关系待机构逐条核定
参考来源
核实方式:
- A:主持人联网打开官方或一手页面核对;转载或解读页不算一手页面,归 B;
- B:主持人联网核对,但依据为二手报道或律所解读;
- C:主持人依据稳定标识(论文号、标准号、法规名称)确认,本轮未逐页打开原文。
| 编号 | 来源 | 核实 |
|---|---|---|
| R1 | IEA, Energy and AI, 2025. https://www.iea.org/reports/energy-and-ai/executive-summary | A |
| R2 | MIT Project NANDA, The GenAI Divide: State of AI in Business 2025, 2025;转述见 https://virtualizationreview.com/articles/2025/08/19/mit-report-finds-most-ai-business-investments-fail-reveals-genai-divide.aspx | B |
| C1 | NVIDIA Newsroom, Vera Rubin 全面量产公告, 2026-05-31. https://nvidianews.nvidia.com/news/vera-rubin-full-production-agentic-ai-factory | A |
| C2 | Google Cloud, Cloud TPU release notes / TPU7x (Ironwood) 文档, 2026. https://docs.cloud.google.com/tpu/docs/release-notes ;https://docs.cloud.google.com/tpu/docs/tpu7x | A |
| C3 | The Next Platform, “AMD says Helios racks and MI400 series GPUs on track for 2H 2026”, 2026-02-23. https://www.nextplatform.com/2026/02/23/amd-says-helios-racks-and-mi400-series-gpus-on-track-for-2h-2026/ (计划性表述,不能证明已量产或已交付) | B |
| C4 | Huawei 等, Serving Large Language Models on Huawei CloudMatrix384, arXiv:2506.12708, 2025. https://arxiv.org/abs/2506.12708 | A |
| C5 | Linux Foundation, “UEC Launches Spec 1.0”, 2025;UEC 规范页. https://www.linuxfoundation.org/press/uec-launches-spec-1.0 ;https://ultraethernet.org/specification | A |
| C6 | HPCwire, “UALink Consortium Releases the Ultra Accelerator Link 200G 1.0 Specification”, 2025-04-08. https://www.hpcwire.com/aiwire/2025/04/08/ualink-consortium-releases-the-ultra-accelerator-link-200g-1-0-specification/ | B |
| C7 | Kubernetes Blog, “Kubernetes v1.34: DRA has graduated to GA”, 2025-09-01. https://kubernetes.io/blog/2025/09/01/kubernetes-v1-34-dra-updates/ | A |
| C8 | Kubernetes 文档, Multi-tenancy. https://kubernetes.io/docs/concepts/security/multi-tenancy/ | C |
| C9 | Meta, The Llama 3 Herd of Models, arXiv:2407.21783, 2024. https://arxiv.org/abs/2407.21783 (中断统计据二手转述) | B |
| C10 | DeepSeek-AI, DeepSeek-V3 Technical Report, arXiv:2412.19437, 2024. https://arxiv.org/abs/2412.19437 (A 级仅限第 3.4 节预填充/解码分离部署,已打开 https://arxiv.org/html/2412.19437v2 核对;FP8、MoE 等其他章节未逐节核对) | A |
| C11 | Kwon 等, Efficient Memory Management for Large Language Model Serving with PagedAttention, SOSP 2023, arXiv:2309.06180. https://arxiv.org/abs/2309.06180 | C |
| C12 | DistServe(OSDI 2024)、Splitwise(ISCA 2024)、Mooncake(FAST 2025)各论文 | C |
| C13 | vLLM 文档, Disaggregated Prefilling. https://docs.vllm.ai/en/stable/features/disagg_prefill/ | A |
| C14 | vLLM 文档, Security. https://docs.vllm.ai/en/stable/usage/security/ | A |
| C15 | Elastic Search Labs, Linear retriever / hybrid search, 2025. https://www.elastic.co/search-labs/blog/linear-retriever-hybrid-search | C |
| C16 | pgvector 官方仓库. https://github.com/pgvector/pgvector | C |
| C17 | Anthropic, “Donating the Model Context Protocol and establishing the Agentic AI Foundation”, 2025-12. https://www.anthropic.com/news/donating-the-model-context-protocol-and-establishing-of-the-agentic-ai-foundation | A |
| C18 | Model Context Protocol, Security Best Practices(2026-07-28 版). https://modelcontextprotocol.io/docs/2026-07-28/tutorials/security/security_best_practices | A |
| C19 | OpenTelemetry, GenAI spans 语义约定. https://github.com/open-telemetry/semantic-conventions-genai/blob/main/docs/gen-ai/gen-ai-spans.md | A |
| C20 | OWASP GenAI Security Project, Top 10 for LLM and GenAI(2026 版, 2026-08). https://genai.owasp.org/initiatives/top-10-for-llm-and-genai/ ;发布报道见 https://cybersecuritynews.com/owasp-genai-llm-top-10-2026/ | B |
| C21 | NIST AI 600-1, Generative AI Profile, 2024. https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence | C |
| C22 | ISO/IEC 42001:2023, Artificial intelligence — Management system | C |
| F1 | 国家金融监督管理总局《关于银行业保险业人工智能安全开发应用的指导意见》, 2026-06;北京市地方金融管理局“政策解读”栏目转载的发布要点,未载文号. https://jrj.beijing.gov.cn/ztzl/sdjrlqjs/lqzcjd/202607/t20260701_4741197.html | B |
| F2 | 国家金融监督管理总局《银行保险机构数据安全管理办法》(金规〔2024〕24号), 2024-12-27;报道见 https://www.news.cn/fortune/20241228/53ad651cc8b84ad581660c6dd749ff24/c.html | B |
| F3 | 中国人民银行《中国人民银行业务领域数据安全管理办法》(中国人民银行令〔2025〕第3号), 2025-06-30 施行;解读见 https://www.hsfkramer.com/notes/data/2025-posts/chinas-financial-institutions-face-new-data-security-mandate | B |
| F4 | 国家网信办等《生成式人工智能服务管理暂行办法》, 2023. https://www.cac.gov.cn/2023-07/13/c_1690898327029107.htm (第二条、第十七条已核对原文) | A |
| F5 | 国家网信办等《人工智能生成合成内容标识办法》, 2025;GB 45438-2025. https://www.cac.gov.cn/2025-03/14/c_1743654685899683.htm | A |
| F6 | 中国人民银行 JR/T 0221-2021《人工智能算法金融应用评价规范》, 2021. 报道见 https://cs.com.cn/xwzx/hg/202110/t20211022_6212718.html | B |
| F7 | FSB, The Financial Stability Implications of Artificial Intelligence, 2024-11-14. https://www.fsb.org/uploads/P14112024.pdf | A |
| F8 | Addleshaw Goddard, “EU AI Act: AI Omnibus formally adopted”, 2026. https://www.addleshawgoddard.com/en/insights/insights-briefings/2026/technology/eu-ai-act-ai-omnibus-formally-adopted/ | B |
| F9 | 国家金融监督管理总局《银行保险机构操作风险管理办法》(金融监管总局令 2023 年第 5 号), 2023-12-27 公布, 2024-07-01 施行;国务院公报全文. https://www.gov.cn/gongbao/2024/issue_11226/202403/content_6940045.html (第五条、第二十八条已核对) | A |
| F10 | 中国证券监督管理委员会《证券期货业网络和信息安全管理办法》(证监会令第 218 号), 2023-02-27 签发, 2023-05-01 施行. https://www.csrc.gov.cn/csrc/c101953/c7202800/content.shtml (已打开证监会令页面核对名称、令号与日期;条文在附件中,未逐条核对) | A |