【高清视频】将PCIe 5.0 x16 GPU卡拉到服务器外10~50米？！
我们之前做过几期将CXL内存拉到服务器之外10米的视频，也就是业内常说的PCIe over Optics，或者PCIe over Fibre，感兴趣的可以参考下面的一些链接，或者在saniffer公众号查询关键词：CXL。
-
【高清视频】CXL 2.0 over Fibre演示和答疑 - 将内存拉到服务器10米之外
-
【高清视频】CXL 2.0 内存扩展卡在Linux下面的使用和测试演示+闲聊
-
【业内新闻】全球首款研发用PCIe 6.0 SSD/CXL测试盘柜
我们今天的10min的高清视频将演示一下如何将PCIe 5.0 x16 GPU卡拉到服务器之外10~50米。
如何将PCIe 5.0 x16 GPU卡拉到服务器之外10~50米
下面是针对上述的视频的主要内容的一个总结，感兴趣的可以看看。
基于光纤延伸的 PCIe/CXL 远端设备传输系统演示
一、总体概述
本视频展示了一套基于光纤传输的高性能 PCIe/CXL 远端设备延伸方案。该系统旨在将 GPU、DPU、网卡及 CXL 内存扩展模块等高带宽设备从主机近端“物理拉远”，实现 10 米、20 米、乃至 50 米距离的高速互联。
此次演示的核心亮点在于对上电流程进行了深度优化——通过硬件与固件协同改进，实现了 “一键开机，自动挂载” 的功能，使设备能够在首次上电后直接完成链路建立与识别。
二、技术背景与应用价值
-
CXL 内存池化借助该光纤传输方案，主机能够在远端挂载多个 CXL 内存扩展模块，构建出规模化的大容量内存池（演示中提及可扩展至百 GB 乃至 TB 级别），为大模型训练、AI 推理及高性能计算提供灵活的共享内存资源。
-
系统散热与空间优化高功耗设备（如 GPU、DPU）可集中部署于独立散热区域，远离主机主板，从而显著优化机架内的气流分布与散热效率。
-
测试与维护灵活性研发与验证人员可以在远端灵活更换不同类型的测试卡、协议卡或计算卡，而无需频繁拆装主机，大幅提升调试与实验效率。
三、系统架构与主要组成
1. 近端（Host-Side）
-
服务器或工作站，支持 PCIe 5.0 / CXL 2.0。
-
安装一张近端光电转换卡，负责信号重定时与光电转换。
2. 光链路
-
使用双模光模块与光纤连接近端与远端。
-
演示示例为 10 米光纤，已验证 20 米与 50 米链路均可稳定运行。
3. 远端（Device-Side）
-
远端光电转换卡，提供标准 PCIe 金手指插槽，用于插接目标设备。
-
独立供电模块（ATX 4-pin 或 CRPS 电源）为远端设备提供电力。
4. 被挂载设备
-
演示实例使用 摩尔线程（MooreThread）GPU S80。
-
该位置也可替换为 PCIe switch 卡或 CXL 内存模块等。
四、连接规则与带宽配置
系统使用标准化的 lane 对接方式：
-
每根光纤传输 8 条 lane；若需全带宽 x16，则需同时连接两组光纤（lane 0–7 与 8–15）。
-
接线需严格遵循“靠近设备的一端对接靠近金手指的一组 lane”的原则，以确保信号方向正确。
-
光缆长度可灵活替换，无需改变连接拓扑。
这种模块化设计使得带宽配置可按需调整，既可用于 x8 测试环境，也能满足全带宽 x16 的高负载场景。
五、供电架构与安全策略
远端设备的供电完全独立于主机系统，采用外置 ATX 或 CRPS 模块（参见本文底部的简介）。
-
供电通过专用小板分配至远端金手指插槽。
-
光纤仅传输高速信号，不承担电力输送职能。
-
推荐在上电前检查供电模块输出稳定性与接地状况，以避免启动异常。
六、上电与链路验证流程
-
一键上电：所有物理连接完成后，直接按下服务器电源键，系统自动识别远端设备并完成建链，无需手动 reset。
-
系统识别：启动完成后，可通过
lspci命令确认设备是否成功挂载。演示中搜索关键字 “Moore” 后可见设备 BDF 为0b:00.1。 -
性能验证：使用
lspci -vvv查看 Link Capabilities 与 Link Status。演示结果显示：-
设备支持： PCIe Gen5 x16
-
实际链路： 成功建立 Gen5 x16这说明远端设备在物理延伸数十米后仍可保持满速传输。
-
七、当前验证成果与限制
-
已通过 10m、20m、50m 光纤长度验证，建链稳定、性能符合 Gen5 预期。
-
对于 CXL 内存池化场景，仍需结合操作系统与驱动层面的配套支持，才能实现生产级使用。
八、实践建议与部署注意事项
-
确保供电先行且稳定，尤其在使用 CRPS 模块时注意防止瞬时电压波动。
-
严格遵守 lane 对位规则，避免因对接方向错误导致链路建立失败。
-
每次部署后执行带宽验证，确认实际链路速率与宽度（Gen5 x16）。
-
长距离光纤需提前测试 BER 与延迟抖动，防止在大规模并行通信中出现隐性错误。
-
加强远端散热设计，若部署多张 GPU/DPU，应保证足够风道与环境温控。
九、总体结论
本演示成功验证了基于光纤的 PCIe/CXL 远端设备延伸方案的可行性，实现了 远距高速、全带宽、自动挂载 的系统能力。
其创新点主要包括：
-
对传统复杂上电流程的简化；
-
对高带宽信号完整性的保持；
-
以及在物理布局与散热管理上的灵活性提升。
未来，该方案可广泛应用于：
-
AI 计算中心的 GPU 远程部署；
-
CXL 内存池化系统；
-
以及大规模分布式训练与测试场景。
若进一步结合智能电源控制、动态链路监控与集中式管理软件，该技术有望成为下一代 分布式算力节点互联的基础形态。
说明：“CRPS” 是 Common Redundant Power Supply 的缩写。下面是一个简介，感兴趣的也可以参考我们之前的文章：Gen6 Switch 与英伟达 CX8 网卡建链演示总结的文章底部，或者直接看这里下面也可以。
🔍 全称解释
Common Redundant Power Supply（通用冗余电源） 它是一种为服务器和数据中心机柜设计的 标准化可热插拔电源模块 规范。
⚙️ 技术要点与特征
-
Common（通用）
-
接口、尺寸、信号定义遵循统一标准（如 Intel 制定的 CRPS 2.0/3.0 规范），不同厂商可互换。
-
-
Redundant（冗余）
-
支持 N+1 或 N+N 冗余配置；即使一块电源故障，系统仍能继续运行。
-
-
Power Supply（电源模块）
-
输出通常为 12V 主电源，部分型号还提供 5VSB（待机电源）。
-
支持 PMBus 通信，可监控电压、电流、温度、风扇转速等状态。
-
💡 常见应用
-
机架式服务器（1U/2U/4U）
-
GPU 或存储机箱
-
网络交换设备
-
高性能计算节点的远端供电模块（如你视频演示中远端供电板使用的那种）
📏 尺寸与标准版本（参考）
| 版本 | 尺寸（宽 × 高 × 深，mm） | 功率范围 | 发布机构 | 特点 |
|---|---|---|---|---|
| CRPS 2.0 | 73.5 × 40 × 185 | 550W–2400W | Intel | 行业主流标准，广泛兼容 |
| CRPS 3.0 | 同上 | 2400W–3200W | Intel | 更高功率密度，支持 48V 输入版本 |
✅ 小结
CRPS = Common Redundant Power Supply 是一种 标准化、可热插拔、支持冗余的服务器电源模块规范，用于高可靠性机架系统与分布式算力设备。
