如果你做过NVR、边缘AI网关或者工业视觉检测这类项目大概率遇到过这种尴尬主机里PCIe插槽闲着好几个但摄像头的网线非要绕到外面的PoE交换机上供电和联网被硬生生拆成两套系统机柜里还得额外塞一台交换机光走线和取电就够折腾半天。最近我完成了一个很有意思的板卡项目一张PCIe扩展卡上直接集成了6个PoE端口。说白了就是把“PCIe多口网卡”和“小型PoE交换机”这两样东西合并到一块卡上插进服务器或工控机同时提供6路千兆网络和48V PoE供电。整体做下来无论是芯片方案选型、PCIe链路调试还是PoE上电时序都有不少值得记录的细节。这篇文章我打算把这套方案完整复盘一遍从架构设计、元器件选型到PCIe调试、PoE供电再到实际踩过的坑一次性讲清楚。如果你正准备做网络硬件、监控存储设备或者想给现有主机扩展PoE网口这篇应该能帮你省下不少弯路。1. 项目定位与整体技术拆解1.1 这块卡解决的三个实际痛点先说结论这类PCIe PoE扩展卡不是拍脑袋做出来的它解决的痛点非常具体。第一个痛点是供电分散。传统方案里摄像头要用电就得单独拉PoE交换机而PoE交换机本身要占一个电源位NVR旁边往往又是插线板又是变压器乱成一团。如果把PoE功能直接塞进主机主机电源统一供电摄像头只走一根网线就行了。第二个痛点是网络拓扑太绕。监控或者边缘计算场景下摄像头和主机通常就在同一个机柜甚至同一块面板上但数据要先从摄像头到PoE交换机再从PoE交换机经过一条网线回到主机网卡中间多了一整段设备。用这种扩展卡摄像头网线直接插到主机背后省掉一级交换设备故障点明显减少。第三个痛点是成本。一台8口千兆PoE交换机哪怕国产入门款也要三四百块加上对应的一张4口千兆网卡加起来成本并不低。而一块PCIe x4的6口PoE扩展卡如果是自己设计打样物料成本摊下来其实比“网卡加交换机”更有优势尤其在小批量工控设备里节省一个外部设备就是节省一个故障源和一份安装人工。1.2 整体架构和我最终选用的工作流程这块卡从功能上拆核心模块有四个PCIe上行接口、PCIe报文分发、千兆以太网MAC/PHY、PoE受电侧供电子系统。PCIe接口负责和主机通信这是整块卡的数据入口。数据进来之后要么直接进多口网卡芯片要么先经过一颗PCIe Switch把PCIe链路拆分成多路再分别接到对应的网卡芯片上。网卡芯片完成MAC和PHY的功能最终从RJ45座出线。而PoE供电部分相对独立主机或外接电源送来功率经过DC-DC或者Boost电路升到48V左右然后交给PSE控制器PSE控制器按PoE协议把电力从以太网变压器的中心抽头注入到网线上。我最终定的方案是“PCIe Switch加分立网卡芯片”也就是上游用一个x4的PCIe链路经过PCIe Switch拆成下游多路分别接Intel芯片。至于为什么不直接用一颗集成度更高的方案下面会详细讲。2. 芯片选型与硬件架构设计2.1 六路千兆网口的三条路线对比要在一块PCIe卡上出6个千兆口摆在我面前的路有三条每条路的代价完全不一样。第一条路是多端口网卡芯片直接扩展。Intel I350-T4是四口千兆网卡芯片一片就能出4个千兆口再加上一片Intel I210或者I211单口芯片就凑够6口了。问题在于I350-T4本身占用PCIe x4I210最多跑x1如果主板上只有一个x4插槽要么用PCIe Switch分拆要么只能插到x8或者x16槽里碰运气。所以这条路还是要配合Switch。第二条路是PCIe Switch加分立网卡。上游一个x4用PLX/Broadcom的PEX8606或者PEX8714把链路拆成多个下游端口每个下游端口接一个网卡芯片。这是最稳妥、驱动最成熟的方案也是我最终采用的。第三条路是用FPGA做PCIe端点在逻辑里自己实现DMA、MAC、还有6个RGMII/GMII接口外接6颗千兆PHY。这条路灵活性极高想怎么定制就怎么定制但工作量也高得多光是PCIe硬核初始化和DMA搬运逻辑就够写一阵子何况还要处理6路以太网MAC和缓冲管理。三条路线我用一个表格总结一下方案成本驱动成熟度开发周期灵活性I350-T4 I210直连中等很高短低PCIe Switch 多网卡芯片较高很高中中FPGA 外置PHY中高取决于自研长高很多做产品的人一上来就想着用FPGA“一把梭”但如果不是有特殊协议需求老老实实用Intel网卡芯片加Switch才是性价比最高的选择。驱动是现成的Linux里igb驱动直接认Windows下也有官方驱动省掉一大笔软件工作量。2.2 最终BOM与关键器件说明我最终敲定的核心器件如下上游PCIe接口采用PCIe x4金手指链路支持PCIe Gen2实际速率跑在5GT/s。中间用一颗PEX8606做PCIe Switch它提供6条PCIe Gen2通道最多可以配置成3个端口。上游接x4下游拆成一个x2和一个x2或者一个x2加两个x1。我的用法是上游x4下游分拆成一个x4直接给I350-T4再分出一个x1给I210再分出一个x1给第二片I210这样6个千兆口就齐了。I350-T4需要四路PCIe lane但它内部有4个千兆MAC每个MAC对应一个外部PHY。I350-T4是自带PHY的也就是说芯片出来直接可以接网络变压器不需要额外PHY芯片。I210也是同样道理单口自带PHY。这个特性对Layout来说很友好整块卡上不需要再外挂PHY芯片和对应的时钟晶振。PSE控制器选的是TI的TPS23888通道PSE控制器支持802.3af和802.3at也就是每口最高30W。它通过I2C接口和主控通信我这边用一颗小的MCU来管理它MCU本身挂在PCIe Switch的SMBus上这样主机可以间接读取每个端口的供电状态。第一版其实也可以不用MCUTPS2388有自动模式上电就自动按硬件引脚配置干活但那样没法上报端口状态远程管理会少很多信息所以我还是加了一颗几块钱的MCU。网络变压器选的是带PoE中心抽头、支持60V直流隔离的千兆变压器比如TDK或者Pulse带PT/CT抽头的型号。注意普通千兆网络变压器不一定支持PoE大电流尤其是中心抽头标注电流不够的话长时间运行会发热甚至烧毁。2.3 为什么我保留了一个FPGA方案的可能性虽然第一版用的纯商业芯片方案但我在设计之初确实认真评估过FPGA路线。起因是一个客户提出想让6个口的摄像头数据包在进CPU之前就完成一部分协议处理比如视频流直接分流、按通道打标甚至直接在PCIe端点里做简单的数据聚合。这种事情用I350是做不到的网卡芯片只能老老实实做MAC和PHY不会帮你处理应用层逻辑。这种情况下FPGA的价值就体现出来了。比如紫光同创或者Xilinx的中低端器件内部有PCIe硬核可以配置成端点模式外部接6颗RGMII接口的千兆PHYFPGA内部自己写MAC和DMA引擎。好处是数据流的格式完全自己定甚至可以做多队列、按MAC地址分流坏处是链路训练、DMA描述符、中断合并这些全要自己搞工程量至少多一到两个月。从项目管理的角度看如果产品没有明确的定制协议需求我强烈建议先走成熟方案。等销量稳定、客户真有定制需求了再单独开一版FPGA设计也不迟。这属于典型的“不要为不存在的问题提前买单”。3. PCIe链路到底怎么调通3.1 PERST#、REFCLK、PRSNT#先搞定上电时序PCIe调不通90%的情况不是软件问题而是硬件物理层和复位时序没过关。PCIe上电后有一套严格的时序要求首先主电源3.3V和12V要稳定然后参考时钟REFCLK要稳定输出最后PERST#才能释放。很多人第一次画PCIe卡直接把PERST#接一个上拉电阻就完事结果链路反复Training失败设备时有时无就是吃了时序的亏。具体到板卡设计上REFCLK是一对100MHz差分时钟通常直接从主板插槽取也就是Common Clock模式卡上不需要自己放晶振。这种情况下时钟线要等长、差分阻抗100欧姆并且远离板上其他高速信号和电源。不要为了省事把REFCLK走得很长绕来绕去PCIe Gen2对参考时钟的抖动要求已经不低了。PERST#是全局复位信号低有效。它的释放时机必须在电源和REFCLK稳定之后而且要有足够长的延迟。我一般用一个复位芯片比如TI的TPS3808或者类似器件把延迟时间设到100ms以上确保后端芯片的电源轨全部起来之后再释放复位。给I350、I210和PEX8606的PERST#可以共用但要注意PEX8606对复位时序更敏感如果复位释放太早它内部配置加载会不完整下游端口可能失效。PRSNT#是热插拔检测引脚用于告诉主板“卡在槽里”。如果你做的是标准卡按照规范把对应引脚接地或者接法处理好就行。这里有个容易忽略的问题如果PRSNT#处理不好有些主板会认为槽位无卡直接不给后面的电源导致整卡不工作。3.2 主机怎么找到你的设备枚举、配置空间和BARPCIe设备和CPU之间的联系靠的不是简单的“查表”而是主机上电后对PCIe总线树做的一次彻底扫描专业术语叫PCIe枚举。x86平台上传统枚举是通过I/O端口CF8h/CFCh完成的现代ARM平台则通过把配置空间映射到内存地址的ECAM机制完成。不管哪种方式流程本质一样Root Complex从总线0开始读每个设备的功能0的Vendor ID和Device ID如果读到有效的厂商ID说明这个位置有设备然后分配总线号、读取BAR寄存器确定设备需要多少地址空间再把这些信息填入系统的资源表里。这里最需要理解的是BAR。设备内所有需要CPU访问的寄存器空间通过BAR寄存器向系统申请地址映射。比如I350-T4有多个BAR分别对应配置寄存器、收发描述符队列、Flash接口等。系统在枚举时会写全1到BAR再读回来判断需要多少地址空间——这是PCIe标准里判断地址空间大小的经典做法。如果你的PCIe设备枚举不到就要回头查配置空间的Device ID能不能被正确读出来以及链路训练是否成功。在ARM Linux平台上枚举过程还会涉及SMMU。启用SMMU之后设备端看到的地址是IOVA而不是物理地址。驱动通过DMA API申请缓冲区时拿到的是IOVA设备发出的TLP报文里的地址字段就是IOVASMMU会把IOVA翻译成真正的物理地址。很多人在FPGA自研设备上跑Linux DMA死活收不到数据最常见的错误就是没配SMMU映射设备发出的地址根本没被翻译到有效物理内存。3.3 TLP报文长什么样和DMA数据搬运有什么关系PCIe传输数据的基本单元是TLPTransaction Layer Packet。一次DMA读或者写本质上是构造一个特定格式的TLP从设备的发送队列通过PCIe链路发到Root Complex。以一次Memory Write为例TLP的头字段包含Fmt和Type用来表示这是带数据的写请求然后是Requester ID也就是发起端设备的Bus/Device/Function号接着是Tag用来区分不同的事务最后是地址字段和需要写入的数据。TLP头的长度有3DW和4DW两种3DW用于32位地址4DW用于64位地址如果要穿越IOMMU做地址翻译一定要确认设备发的是64位地址否则高地址空间根本访问不了。FPGA开发者容易忽略的一点是TLP头打包状态机看着简单实际上要考虑Max Payload Size。PCIE设备默认的Max Payload Size是128字节如果FPGA发一个512字节的写请求而链路对端配置不支持那设备会直接返回一个Completion with Unsupported Request错误。调试时看到总线报错先查这个参数。数据进来之后主机的DMA引擎要根据描述符里的地址和长度把数据搬进内存搬完再更新状态发中断通知CPU。如果DMA一直搬不对优先检查描述符地址是IOVA还是物理地址以及Ring Buffer地址有没有落在SMMU映射范围内。这一条对自研设备特别重要。4. PoE供电网络的实现细节4.1 功率预算从12V怎么变成48V能带多少负载PoE系统里PSE端输出的标称电压是48V实际很多设备在52V到57V之间选择因为网线本身有电阻电压越高远端PD设备收到的电压越稳。问题是PCIe插槽本身能提供的功率很有限。PCIe CEM规范里标准插槽的12V和3.3V能力大概在66W和3W的量级但这是整个插槽的总预算而且还要优先保证显卡、RAID卡这类设备的供电。我一个PCIe x4的小卡从插槽额外取一大堆功率并不现实。6个口的PoE如果按802.3at满载来算每个口30W总功率180W这显然不可能只靠PCIe插槽供。所以我一律建议客户PoE部分单独供电。最简单的方式是板载一个大4pin或6pin辅助电源座从机箱电源取12V然后通过一颗Boost电路升到48V以上。12V升48V6口满载180W输入电流大约17A这个级别要用DC-DC模块比如Vicor或者国产金升阳的半砖/砖块模块板载Layout时要特别考虑大电流走线和散热不是随便搭一个升压IC就能扛住的。如果不想动主机电源也可以用外置48V适配器直接进卡。这种形态更适合NVR一体机或者桌面设备。设计时我会在板上留两套供电入口一个12V辅助电源座一个48V直流座通过跳线或者自动检测切换。实际项目里六路PoE同时满载的场景很少监控摄像头按实际功耗算多数在5到10W之间这时候12V辅助电源也能扛住。但设计必须按最坏情况做热仿真否则夏天机箱一闷电源先挂。4.2 PSE控制器怎么管电检测、分级、供电三步很多人以为PoE就是给网线通上48V电这么简单其实完全不是。PoE最核心的是安全机制你不能往普通非PoE设备上直接灌电否则会把网卡或者交换机口烧掉。PSE控制器的职责就是确保“对面是个需要供电的设备”才给电。PSE上电流程分三步。第一步是检测。PSE在端口输出一个低电压一般几伏然后测量线路对端的电阻和电容特征。合法的PD设备会呈现一个约25千欧的特征电阻和特定的电容PSE只有检测到这个特征才认为对方是PoE设备。第二步是分级。PSE输出一个稍高的电压根据PD端拉取的电流大小判断它属于哪个功率级别比如802.3af的Class 0到Class 4、8023at的Class 4等。分级完成后PSE才知道这个端口到底要预留多少功率预算。第三步才是上电。PSE内部把48V电源通过MOSFET接通到网络变压器的中心抽头电压缓升然后进入正常供电状态。运行期间PSE还要持续监测端口电流检测短路、过流、以及PD拔出时的特征变化一旦异常就迅速断开供电。TPS2388这些芯片内部已经把这些协议流程做完了你在MCU里通过I2C读写寄存器使能对应端口设置功率等级剩下的状态机会自己跑。但调试时一定要理解这个流程不然你会遇到“电压没送到网线上”“插上摄像头不供电”这些莫名其妙的问题最后发现只是没有设置分级参数。4.3 板级PoE布局和现场施工的几点注意事项PoE供电部分的Layout和普通网络信号布线不太一样。最关键的是网络变压器中心抽头到PSE输出MOSFET之间的走线这根线承载的是48V和数安培电流线宽要按载流能力算好通常至少2mm以上并且要开大铜皮散热。同时48V部分和PCIe信号区域要隔离开否则开关电源的纹波会耦合到以太网信号线上导致FEC错误或者降速。还有一点容易被忽略网口防护。摄像头网线经常在室外走线雷击感应和静电会顺着网线打进来。即使是室内使用也建议每口加TVS管和共模电感PSE芯片的输出端最好加一个保险丝或者电子保险防止网线短路时把板上48V拉穿。室外摄像机安装布线时最好把摄像头的固定螺钉和金属支架做好接地网线护套在进线孔处用防水接头封好避免雨水沿网线渗入RJ45内部造成长期腐蚀。这些都做完板子才敢往现场发。调试PoE口时不要拿万用表直接量RJ45的1、2脚或者3、6脚对地电压因为PSE芯片会先做检测你看不到持续输出的电压反而容易误判。正确做法是接一个标准PD设备比如一个IPC摄像头或者PoE splitter然后从MCU侧读TPS2388的状态寄存器看检测、分级、供电到底走到哪一步。5. 驱动、枚举与常见问题排查实录5.1 设备枚举不到用LTSSM状态机帮你定位PCIe设备一旦识别不了不要直接怀疑芯片坏了先按顺序排查。我调试过一块自己画的高速板卡插上就是找不到设备。后来抓LTSSM链路训练状态机状态发现一直卡在Polling阶段说明物理层链路无法完成位锁定。最后定位到问题参考时钟布线太长且跨越了一个电源层缝隙导致REFCLK抖动超标。改板之后链路两三次Training就上去了。LTSSM是PCIe物理层的状态机依次经历Detect、Polling、Configuration、L0等阶段。Detect阶段检测对方是否存在Polling阶段做位锁定和符号锁定Configuration阶段完成链路宽度协商最终进入L0正常传输。如果卡在Detect说明物理层根本没检测到对端检查金手指接触和供电如果卡在Configuration多半是链路宽度协商异常检查REFCLK和差分线质量。另一个常见原因是PERST#时序。有的主板会在PCIe时钟还没稳定时释放PERST#导致下游设备初始化失败。这种问题很有迷惑性设备偶尔能认出来偶尔认不出来重启十次有三次找不到。解决思路是板卡上自己放一个复位延迟电路不要完全依赖主板PERST#。对于紫光同创这类国产FPGA的PCIe调不通我的经验是先抓硬核内部的LTSSM寄存器确认硬核有没有进入L0再看DMA配置。很多时候FPGA硬核配置没问题问题是出在驱动侧没有正确使能配置空间里的Bus Master位DMA发不出去。5.2 跑起来就卡死ASM1061式血泪经验这里必须提一个经典教训我早期做PCIe转SATA板卡时用过ASM1061这颗芯片是ASMedia的PCIe转双口SATA控制器小批量生产确实便宜但兼容性和稳定性让我吃了大亏。现象是板子在Windows下跑得好好的换到Linux下高负载读写时设备随机消失内核日志报PCIe AER错误必须重启才能恢复。后来排查发现两个根因一是ASM1061本身发热大散热没做好高温下链路稳定性急剧下降二是ASPM电源管理开启后芯片对链路低功耗状态切换处理有bug容易卡死。解决方案有两招一是给芯片加足够大的散热片有条件就上主动散热二是在驱动里禁用ASPM或者用内核参数pcie_aspmoff再或者把链路速率固定到Gen2不让它自动降速。从那之后凡是我经手的PCIe扩展板不管用什么芯片散热设计都优先于成本考虑。这个经验引入到PoE扩展卡上同样适用。I350和PEX8606虽然是Intel和Broadcom的成熟芯片但高负载下发热也不小特别是装在机箱里、周围又有电源模块烘着。我的做法是PEX8606加散热片I350-T4本身有散热片板上留一个4针风扇座机箱风道不够时直接加一个小风扇。5.3 链路速率上不去和丢包均衡和链路质量PCIe Gen3及以上速率链路训练过程中有一个步骤叫做均衡就是发送端根据接收端的反馈调整信号的驱动强度和均衡参数补偿高速信号在PCB和连接器上的损耗。如果你的PCIe卡在Gen3速率下要么Training失败、要么反复降速到Gen1多半是均衡没跑好或者PCB走线损耗太大。这时候有几个排查手段。第一看系统日志里有没有PCIe链路降速记录很多BIOS和Linux内核会打LnkSta信息直接从lspci -vvv里看当前链路速度和宽度。第二有条件的话用示波器测眼图重点看TX差分对在连接器处的眼高和眼宽。第三如果走线没有严格按照阻抗和等长设计优先改板而不是在软件里调均衡参数。链路不稳定还容易表现为高负载时出现Correctable Error比如Bad TLP、Bad DLLP。这些在Linux下通过rasdaemon或者perf能看到。遇到这种问题不要小看它持续的错误累计可能最终触发链路重训表现为设备消失或者断流。5.4 PoE端口不供电的排查速查表PoE端口的故障现象相对直观但排查起来也有套路。我整理一个速查表实际调试时对着看就能省很多时间。现象可能原因排查动作端口无电压、指示灯不亮PSE未使能端口检查I2C配置确认端口使能寄存器检测阶段失败网线对端不是标准PD或网线断路用标准PD设备测试查线序分级功率不足PD功率级别超过端口预算重新设置分级参数上电即保护网线短路或PD损坏断开网线测端口输出检查TVS和保险丝供电后反复重启48V电源带载能力不足用电子负载测总功率检查电源模块多口同时掉电输入过流保护动作检查辅助供电电流加宽电源走线摄像头启动但画面闪断网线压降太大提高PSE输出到52V以上检查网线质量我在调试中经常遇到的一个场景是摄像头明明支持PoE但插上不供电。最后发现是网线太长、线径太细检测阶段的分级电流在长线上压降太大PSE误判为低级别或者无效设备。解决方法是把PSE输出调到52V以上并且换用带屏蔽的六类线。6. 关于这个项目的几点个人经验这块PCIe 6口PoE扩展卡从需求确认到样机调通前后大概花了两个月。如果让我重来一次我最想提前做好的事情有三件。第一先把PCIe链路独立验证再接PoE部分。PCIe调试和PoE调试是两个完全不同的问题域混在一起只会让故障满天飞。我第一版样机就是两个功能一起上结果PCIe掉链子的时候根本分不清是主板问题、Switch配置问题还是PoE电源干扰。第二批样机我单独做了一块PCIe直通的小转接板先确认PCIe链路完全稳定再把PoE功能往上加效率高了很多。第二功率预算永远写在纸上再动工。6口PoE看着简单实际一算802.3at满载需要接近200W输入这会直接决定板卡形态、连接器选型和散热设计。等板子画完再发现功率不够返工成本太高。第三给客户或者自己留一个管理口。TPS2388这类PSE控制器的状态信息非常有用网上问“哪个口没电”如果有MCU上报远程一查就知道是检测失败还是过流保护不用亲自跑去机房。这块板子的管理功能后续我还想扩展成通过I2C直接映射到Linux里的监控节点让主机直接读端口功率和温度这样整套系统在软件侧就能闭环起来。如果你也想做类似的PCIe扩展板我的建议是先从小处下手不要一上来就6口先做一块1口或者2口的PoE PCIe卡把流程跑通PCIe链路、PSE配置、驱动适配都验证没问题再往6口上扩。工具链不变风险却小得多。
