【硬件相关】PCIe组件配置说明

2022-05-28 19:33:57 阅读：263 来源： 互联网

标签：5865 SEAGATE 硬件 PCIe G280 GB 组件 disk

一、PCIe介绍

1、前言

1.1、PCIe概述

PCI Express（peripheral component interconnect express）是INTEL提出的新一代的总线接口，PCI Express采用了目前业内流行的点对点串行连接，比起PCI以及更早期的计算机总线的共享并行架构，每个设备都有自己的专用连接，不需要向整个总线请求带宽，而且可以把数据传输率提高到一个很高的频率，达到PCI所不能提供的高带宽。

相对于传统PCI总线在单一时间周期内只能实现单向传输，PCI Express的双单工连接能提供更高的传输速率和质量。

1.2、PCIe分类

PCIe规格

目前PCIe有五种物理规格，分别为PCIe x1、PCIe x4、PCIe x8、PCIe x16、PCIe x32，x后面的数字表示为PCIe插槽内的通道数

详见示意图如下，目前主流规格主要为x1、x4、x8、x16，PCIe插槽可向下兼容，如PCIe x16插槽可插x8、x4、x1的卡（最终运行模式由PCIe卡决定，如PCIe x16插槽插入PCIe x4卡，最终以PCIe x4模式运行）

插槽宽度	脚pin总数	主接口区pin数	长度	传输通道数	常见应用
PCIe x1	36	14	25mm	1	无线网卡、SATA扩展卡、USB端口扩展卡
PCIe x4	64	42	39mm	4	万兆以太网卡
PCIe x8	98	76	56mm	8	FC HBA卡
PCIe x16	164	142	89mm	16	显卡、GPU卡

PCIe版本

目前PCIe有六种版本，分别为PCIe1.0、PCIe2.0、PCIe3.0、PCIe4.0、PCIe5.0、PCIe6.0，PCIe版本向后兼容，任何版本的PCIe卡和主板都可以以最低版本的模式工作（如PCIe 3.0卡插到PCIe 2.0槽位上，最终以PCIe 2.0版本运行）

详见示意图如下，列举了不同PCIe版本总线性能，PCIe每条传输通道均为全双工通道（SEND、RECEIVE两个方向互不影响，表中传输带宽表示为单方向的速率）

PCIe是一条串行总线，数据中嵌入了时钟，它需要确保发生足够的电平转换（1到0和0到1），以便接收端恢复时钟。
为了增加电平转换，以"8b/10b"编码举例，每8个bit（1个字节）被编码为一个10bit的符号进行传输，之后在接收端进行解码，即总线需要传输10 bit的编码数据来表示所发送的8 bit的数据，编码效率为80%（8b/10b）

               （ 原始传输率 x Line编码效率 x 通道数 ）
有效传输带宽 =   ------------------------------------
                               8
注：
GT/s表示为每秒千兆传输（**Gigatransfer**），由于原始传输率为Gbps（二进制以1000换算，即2.5Gbps=2500Mbps），故需要除以8换算为GBps

PCIe版本	发布时间	Line编码	原始传输率	×1带宽	×2带宽	×4带宽	×8带宽	×16带宽
1.0	2003	8b/10b	2.5 GT/s	250 MB/s	0.50 GB/s	1.0 GB/s	2.0 GB/s	4.0 GB/s
2.0	2007	8b/10b	5.0 GT/s	500 MB/s	1.0 GB/s	2.0 GB/s	4.0 GB/s	8.0 GB/s
3.0	2010	128b/130b	8.0 GT/s	984.6 MB/s	1.97 GB/s	3.94 GB/s	7.88 GB/s	15.8 GB/s
4.0	2017	128b/130b	16.0 GT/s	1969 MB/s	3.94 GB/s	7.88 GB/s	15.75 GB/s	31.5 GB/s
5.0	2019	NRZ 128b/130b	32.0 GT/s	3938 MB/s	7.88 GB/s	15.75 GB/s	31.51 GB/s	63.0 GB/s
6.0	2021	PAM4 & FEC 128b/130b	64.0 GT/s	7877 MB/s	15.75 GB/s	31.51 GB/s	63.02 GB/s	126.03 GB/s

1.3、常见问题

同一个主板，同一张卡，插在PCIe A上可以正常使用，而在PCIe B却无法识别？
此问题常出现在双路主板上，主板的PCIe接口分别由两个CPU控制。如果只上了一个CPU，那么另外一个CPU控制的PCIe通道是不通电的，自然不能识别。

1.4、常用命令

查看服务器PCI-E插槽个数及使用情况：dmidecode | grep -1 PCI
注：可使用PCIe扩展卡扩充PCIe插槽

[root@node111 ~]# dmidecode | grep -1 PCI
        ISA is supported
        PCI is supported
        PNP is supported
--
System Slot Information
    Designation: PCIe Slot 1
    Type: x8 PCI Express 3 x16
    Current Usage: Available
--
System Slot Information
    Designation: PCIe Slot 2
    Type: x8 PCI Express 3 x16
    Current Usage: Available
--
System Slot Information
    Designation: PCIe Slot 3
    Type: x8 PCI Express 3 x16
    Current Usage: Available
--
System Slot Information
    Designation: PCIe Slot 4
    Type: x8 PCI Express 3 x16
    Current Usage: In Use
--
System Slot Information
    Designation: PCIe Slot 5
    Type: x8 PCI Express 3 x16
    Current Usage: In Use
--
System Slot Information
    Designation: PCIe Slot 6
    Type: x16 PCI Express 3
    Current Usage: Available

二、PCIe应用

1、HBA卡

HBA，即主机总线适配器（Host Bus Adapter），是服务器内部的I/O通道与存储系统的I/O通道之间的物理连接，实现内部通道协议PCI或Sbus和光纤通道协议之间的转换，减轻了主处理器在数据存储和检索任务的负担，提高服务器的性能。

HBA卡可以将服务器连接至存储网络（如SAN存储），常见的HBA卡有FC-HBA卡（16Gb/s）、SAS-HBA卡（12Gb/s）两种

1.1、FC HBA卡

1.1.1、品牌厂商

FC HBA卡常见的品牌厂商主要为Emulex、Qlogic

Emulex
可通过lspci | grep Fibre查询服务器当前使用FC HBA卡，若品牌为Emulex，通常驱动模块为lpfc

[root@node85 ~]# lspci | grep Fibre
62:00.0 Fibre Channel: Emulex Corporation LightPulse LPe16002 (rev 30)
62:00.1 Fibre Channel: Emulex Corporation LightPulse LPe16002 (rev 30)
[root@node85 ~]# 
[root@node85 ~]# modinfo lpfc
filename:       /lib/modules/4.14.113-1.el7.x86_64/kernel/drivers/scsi/lpfc/lpfc.ko.xz
version:        0:11.4.0.3
author:         Broadcom
description:    Emulex LightPulse Fibre Channel SCSI driver 11.4.0.3
license:        GPL
srcversion:     9B519AD74B0149A85A5638D

Qlogic
可通过lspci | grep Fibre查询服务器当前使用FC HBA卡，若品牌为Qlogic，通常驱动模块为qla2xxx

1.1.2、常用操作

查看FC本地（通常为服务器FC HBA卡）WWN号：cat /sys/class/fc_host/host{x}/port_name
注：如FC HBA卡配置两个FC口，则存在两个WWN号

[root@node85 ~]# cat /sys/class/fc_host/host11/port_name 
0x10000090fadc39ac
[root@node85 ~]# cat /sys/class/fc_host/host13/port_name 
0x10000090fadc39ad

查看FC远端（通常为FCSAN存储）WWN号：cat /sys/class/fc_remote_ports/rport-{x}/port_name

[root@node85 ~]# cat /sys/class/fc_remote_ports/rport-11\:0-0/port_name 
0x277000c0fff0b1d3
[root@node85 ~]# cat /sys/class/fc_remote_ports/rport-13\:0-0/port_name 
0x237000c0fff0b1d3

扫描FC本地新SCSI磁盘：rescan-scsi-bus.sh
查看FC本地SCSI连接情况：lsscsi

[root@node85 ~]# lsscsi 
[3:0:0:0]    enclosu SEAGATE  4565             G280  -        
[3:0:1:0]    enclosu SEAGATE  4565             G280  -        
[3:0:2:0]    enclosu BROADCOM VirtualSES       03    -        
[11:0:0:0]   enclosu SEAGATE  5865             G280  -        
[11:0:0:11]  disk    SEAGATE  5865             G280  /dev/sdb 
[11:0:0:15]  disk    SEAGATE  5865             G280  /dev/sdd 
[11:0:0:19]  disk    SEAGATE  5865             G280  /dev/sdf 
[11:0:0:23]  disk    SEAGATE  5865             G280  /dev/sdh 
[11:0:0:27]  disk    SEAGATE  5865             G280  /dev/sdj 
[11:0:0:31]  disk    SEAGATE  5865             G280  /dev/sdl 
[11:0:0:35]  disk    SEAGATE  5865             G280  /dev/sdn 
[11:0:0:39]  disk    SEAGATE  5865             G280  /dev/sdp 
[12:0:0:0]   disk    ATA      INTEL SSDSC2KB24 0132  -        
[12:0:1:0]   disk    ATA      INTEL SSDSC2KB24 0132  -        
[12:1:0:0]   disk    LSI      Logical Volume   3000  /dev/sda 
[13:0:0:0]   enclosu SEAGATE  5865             G280  -        
[13:0:0:12]  disk    SEAGATE  5865             G280  /dev/sdc 
[13:0:0:16]  disk    SEAGATE  5865             G280  /dev/sde 
[13:0:0:20]  disk    SEAGATE  5865             G280  /dev/sdg 
[13:0:0:24]  disk    SEAGATE  5865             G280  /dev/sdi 
[13:0:0:28]  disk    SEAGATE  5865             G280  /dev/sdk 
[13:0:0:32]  disk    SEAGATE  5865             G280  /dev/sdm 
[13:0:0:36]  disk    SEAGATE  5865             G280  /dev/sdo 
[13:0:0:40]  disk    SEAGATE  5865             G280  /dev/sdq

1.2、SAS HBA卡

1.2.1、品牌厂商

SAS HBA卡常见的品牌厂商主要为LSI、Adaptec、Areca、ATTO

标签：5865,SEAGATE,硬件,PCIe,G280,GB,组件,disk
来源： https://www.cnblogs.com/luxf0/p/16321655.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9