标签归档:raid

DELL R340服务器配置raid1的办法

现有一台DELL R340服务器,主板集成有PERC S140阵列控制器,配置有两块SATA 2T硬盘,现需要为两块硬盘配置raid1,配置方式如下:
一、按F2进主板BIOS,SATA Settings将模式设置为RAID模式;
二、重启系统按CTRL+R进入阵列控制器界面,配置raid1即可。

对于此款S140阵列控制器,只支持windows 2012R2(不支持AMD平台)、windows 2016、windows 2019和redhat enterprise linux7.3及更高版本、redhat enterprise linux8.0、suse linux enterprise server15及更高版本及suse linux enterprise server12 SP2及更高版本。

只有DELL的第14代服务器(DELL Rx40、DELL Tx40等)才支持PERC S140阵列控制器。

关于S140控制器的更多详细信息,可以参考DELL官网的用户指南,点击进入

处理DELL R720 windows系统中D盘丢失的问题

有一台DELL R720服务器,用户反应重启后系统中D盘丢失了,并且重启前是否正常也未知。

服务器上安装的是windows 2008操作系统,磁盘管理中只能看到C盘1.6T左右,服务器上共有8块900G硬盘。

服务器上没有告警信息,进入idrac,发现前三块硬盘(0槽、1槽、2槽)做了raid5,系统中就是C盘,后面五块硬盘(3槽-7槽)做了raid0,也就是用户说的丢失了的系统中的D盘,在硬件日志中可以看到4槽硬盘出现过告警,并且4槽硬盘有拔插的记录,询问用户,用户说4槽硬盘曾经出现过告警,当时直接更换了。

根据这些信息,得出其实4槽硬盘故障的时候,raid0的数据已经损坏,只是当时用户未注意。

由于目前raid0已经损坏,现在将raid0删除,重新做成raid5,并在操作系统中做GPT分区,将3T多的空间全部划分到D盘。由于用户之前的数据有备份,恢复数据。

MEGACLI查看硬盘状态

通过megacli的如下命令查看RAID的情况,命令如下:

/opt/MegaRAID/MegaCli/MegaCli64 LDPDInfo -Aall

重点关注以下几点:

Media Error Count
Other Error Count
Predictive Failure Count
Last Predictive Failure
Drive has flagged a S.M.A.R.T alert

如果这几个数值不为0,则可能为硬盘故障,需要更换硬盘。

可以通过让指定硬盘闪烁的方式来定位磁盘位置,命令如下:

MegaCli -PdLocate -start -physdrv [E:S] -aALL

其中 E表示 Enclosure Device ID,S表示Slot Number。比如坏盘的位置为:
Enclosure Device ID: 1
Slot Number: 0

可执行以下命令让其闪烁:
root@Storage-c2:/opt/MegaRAID/MegaCli# ./MegaCli64 -PdLocate -start -physdrv[1:0] -a0
Adapter: 0: Device at EnclId-1 SlotId-0 — PD Locate Start Command was successfully sent to Firmware Exit Code: 0x00
root@Storage-c2:/opt/MegaRAID/MegaCli#

更换硬盘后,关闭闪烁的命令如下:
MegaCli -PdLocate -stop -physdrv [E:S] -aALL

如果raid中有硬盘故障,更换硬盘后,一般都无需做操作,阵列卡会自动做rebuild,从拔出硬盘到插入新盘,一般会有以下的过程:

  • Device
    Normal —>Damage —>Rebuild —>Normal
  • Virtual Drive
    Optimal —>Degraded —>Degraded —>Optimal
  • Physical Drive
    Online —>Failed Unconfigured —>Rebuild —>Online

查看rebuild进度的命令如下:

/opt/MegaRAID/MegaCli/MegaCli64 -PDRbld -showprog -physDrv [1:0] -a0

输出一般如下:

root@Storage-c2:/opt/MegaRAID/MegaCli# ./MegaCli64 -PDRbld -showprog -physDrv [1:0] -a0 
Rebuild Progress on Device at Enclosure 1, Slot 0 Completed 10% in 0 Minutes.
Exit Code: 0x00
root@Storage-c2:/opt/MegaRAID/MegaCli#

Dell服务器linux操作系统下RAID常用管理命令总结

Dell服务器常用管理命令总结
准备
新版本的 MegaCli-1.01.24-0.i386.rpm 会把程序安装在/opt下,可以自定义安装目录,例如:
rpm –relocate /opt/=/usr/sbin/ -i MegaCli-1.01.24-0.i386.rpm
即把安装目录 /opt 替换成 /usr/sbin。

下载地址:http://www.lsi.com/downloads/Public/MegaRAID%20Common%20Files/8.02.16_MegaCLI.zip ;
(linux文件夹下有个MegaCli文件里面有I386 RPM)
查看机器型号    # dmidecode | grep “Product”
查看厂商    # dmidecode| grep  “Manufacturer”
查看序列号    # dmidecode | grep  “Serial Number”
查看CPU信息    # dmidecode | grep  “CPU”
查看CPU个数    # dmidecode | grep  “Socket Designation: CPU” |wc –l
查看出厂日期    # dmidecode | grep “Date”
查看充电状态    # MegaCli -AdpBbuCmd -GetBbuStatus -aALL |grep “Charger Status”
显示BBU状态信息    # MegaCli -AdpBbuCmd -GetBbuStatus –aALL
显示BBU容量信息    # MegaCli -AdpBbuCmd -GetBbuCapacityInfo –aALL
显示BBU设计参数    # MegaCli -AdpBbuCmd -GetBbuDesignInfo –aALL
显示当前BBU属性    # MegaCli -AdpBbuCmd -GetBbuProperties –aALL
查看充电进度百分比    # MegaCli -AdpBbuCmd -GetBbuStatus -aALL |grep “Relative State of Charge”
查询Raid阵列数    # MegaCli -cfgdsply -aALL |grep “Number of DISK GROUPS:”
显示Raid卡型号,Raid设置,Disk相关信息      # MegaCli -cfgdsply –aALL
显示所有物理信息    # MegaCli -PDList -aALL
显示所有逻辑磁盘组信息    # MegaCli -LDInfo -LALL –aAll
查看物理磁盘重建进度(重要)    # MegaCli -PDRbld -ShowProg -PhysDrv [1:5] -a0
查看适配器个数    #MegaCli –adpCount
查看适配器时间    #MegaCli -AdpGetTime –aALL
显示所有适配器信息    #MegaCli -AdpAllInfo –aAll
查看Cache 策略设置    # MegaCli -cfgdsply -aALL |grep Polic
1、查看所有物理磁盘信息
MegaCli -PDList -aALL

Adapter #0

Enclosure Number: 1
Slot Number: 5
Device Id: 5
Sequence Number: 2
Media Error Count: 0
Other Error Count: 0
Predictive Failure Count: 0
Last Predictive Failure Event Seq Number: 0
Raw Size: 140014MB [0x11177328 Sectors]
Non Coerced Size: 139502MB [0x11077328 Sectors]
Coerced Size: 139392MB [0x11040000 Sectors]
Firmware state: Hotspare
SAS Address(0): 0x5000c50008e5cca9
SAS Address(1): 0x0
Inquiry Data: SEAGATE ST3146855SS     S5273LN4Y1X0
…..

2、查看磁盘缓存策略
MegaCli -LDGetProp -Cache -L0 -a0

Adapter 0-VD 0: Cache Policy:WriteBack, ReadAheadNone, Direct

or
MegaCli -LDGetProp -Cache -L1 -a0

Adapter 0-VD 1: Cache Policy:WriteBack, ReadAheadNone, Direct

or
MegaCli -LDGetProp -Cache -LALL -a0

Adapter 0-VD 0: Cache Policy:WriteBack, ReadAheadNone, Direct
Adapter 0-VD 1: Cache Policy:WriteBack, ReadAheadNone, Direct

or
MegaCli -LDGetProp -Cache -LALL -aALL

Adapter 0-VD 0: Cache Policy:WriteBack, ReadAheadNone, Direct
Adapter 0-VD 1: Cache Policy:WriteBack, ReadAheadNone, Direct

or
MegaCli -LDGetProp -DskCache -LALL -aALL

Adapter 0-VD 0: Disk Write Cache : Disk’s Default
Adapter 0-VD 1: Disk Write Cache : Disk’s Default

3、设置磁盘缓存策略
缓存策略解释:
WT    (Write through
WB    (Write back)
NORA  (No read ahead)
RA    (Read ahead)
ADRA  (Adaptive read ahead)
Cached
Direct

例子:
MegaCli -LDSetProp WT|WB|NORA|RA|ADRA -L0 -a0

or
MegaCli -LDSetProp -Cached|-Direct -L0 -a0

or
enable / disable disk cache
MegaCli -LDSetProp -EnDskCache|-DisDskCache -L0 -a0

4、创建/删除 阵列
4.1 创建一个 raid5 阵列,由物理盘 2,3,4 构成,该阵列的热备盘是物理盘 5
MegaCli -CfgLdAdd -r5 [1:2,1:3,1:4] WB Direct -Hsp[1:5] -a0

4.2 创建阵列,不指定热备
MegaCli -CfgLdAdd -r5 [1:2,1:3,1:4] WB Direct -a0

4.3 删除阵列
MegaCli -CfgLdDel -L1 -a0

4.4 在线添加磁盘
MegaCli -LDRecon -Start -r5 -Add -PhysDrv[1:4] -L1 -a0
意思是,重建逻辑磁盘组1,raid级别是5,添加物理磁盘号:1:4。重建完后,新添加的物理磁盘会自动处于重建(同步)状态,这个 时候 fdisk -l是看不到阵列的空间变大的,只有在系统重启后才能看见。
5、查看阵列初始化信息
5.1 阵列创建完后,会有一个初始化同步块的过程,可以看看其进度。
MegaCli -LDInit -ShowProg -LALL -aALL

或者以动态可视化文字界面显示
MegaCli -LDInit -ProgDsply -LALL -aALL

5.2 查看阵列后台初始化进度
MegaCli -LDBI -ShowProg -LALL -aALL

或者以动态可视化文字界面显示
MegaCli -LDBI -ProgDsply -LALL -aALL

6、创建全局热备
指定第 5 块盘作为全局热备
MegaCli -PDHSP -Set [-EnclAffinity] [-nonRevertible] -PhysDrv[1:5] -a0

也可以指定为某个阵列的专用热备
MegaCli -PDHSP -Set [-Dedicated [-Array1]] [-EnclAffinity] [-nonRevertible] -PhysDrv[1:5] -a0

7、删除全局热备
MegaCli -PDHSP -Rmv -PhysDrv[1:5] -a0

8、将某块物理盘下线/上线
MegaCli -PDOffline -PhysDrv [1:4] -a0

MegaCli -PDOnline -PhysDrv [1:4] -a0

9、查看物理磁盘重建进度
MegaCli -PDRbld -ShowProg -PhysDrv [1:5] -a0

DELL阵列卡采用的芯片组的名称及芯片组驱动程序下载地址

目前DELL常见的阵列卡有H310和H710,这些阵列卡都采用LSI公司的芯片组,以下是DELL阵列卡与LSI芯片组的对应关系:

DELL阵列卡名称 LSI芯片组 LSI公司使用相同芯片的RAID卡或HBA卡
H710/H810 LSI2208 MegaRAID SAS 9265-8i
H700/H800 LSI2108 MegaRAID SAS 9260-8i
PERC6i/E LSI1078 MegaRAID SAS 8888ELP
PERC5i/E LSI1068 MegaRAID SAS 8408E/8480E
H310 LSI2008 MegaRAID SAS 9240
H200/SAS6G LSI2008 LSISAS2008
SAS6ir/E LSI1068 LSISAS1068E
SAS5i/r/E LSI1068 LSISAS1068

驱动程序下载页面:驱动页面:
http://www.lsi.com/products/storagecomponents/Pages/MegaRAIDSAS9265-8i.aspx

Dell PERC H310、H710、H710P 和 H810 卡硬件配置

规格 H310 H710 H710P H810
RAID级别 0、1、5、10、50 0、1、5、6、10、50、60 0、1、5、6、10、50、60 0、1、5、6、10、50、60
每个端口的机柜数量 不适用 不适用 不适用 最多四个机柜
处理器 带有LSI2008芯片组的8端口Dell适配器SAS片上RAID 带有LSI2008芯片组的8端口Dell适配器SAS片上RAID 带有LSI2008芯片组的8端口Dell适配器SAS片上RAID 带有LSI2008芯片组的8端口Dell适配器SAS片上RAID
备用电池单元(BBU)
非易失性高速缓存 不适用
高速缓存存储器 不适用 512MB DDR3 800 Mhz 1GB DDR3 133 Mhz 1GB DDR3 133 Mhz
高速缓存功能 不适用 回写、直写、自适应预读、不预读、预读 回写、直写、自适应预读、不预读、预读 回写、直写、自适应预读、不预读、预读
每磁盘组的最大跨区数量 8 8 8 8
每磁盘组的最大虚拟磁盘数量 16 16 16 16
联机容量扩展
专用热备份和全局热备份
支持热插拔设备
硬件异或引擎
冗余路径支持

PERC H310、H710 和 H710P 卡支持以下操作系统:
Microsoft Windows Server 2012
提供 Hyper-V 虚拟化的 Microsoft Windows Server 2008
Microsoft Windows Server 2008 R2 及更高版本
Red Hat Enterprise Linux 5.8 版及更高版本(32 位和 64 位)
Red Hat Enterprise Linux 6.2 版及更高版本(64 位)
SUSE Linux Enterprise Server 版本 10 SP4(64 位)
SUSE Linux Enterprise Server 版本 11 SP2(64 位)
VMware ESX 4.1 和 ESXi 4.1 Update 2
VMware ESX 5.0

Dell raid控制卡(perc)6、7、8系列介绍

PowerEdge RAID Controller (PERC) Series 8 Family
Model  Interface Support PCI Support SAS Connectors  Cache Memory Size
Write Back Cache  RAID Levels  Max Drive Support  RAID Support
PERC H810 Adapter 6Gb/s SAS PCI-Express 2.0 2×4 External 1GB NV Flash Backed Cache 0,1,5,6,10,50,60 192 Hardware RAID
PERC H710P Adapter 6Gb/s SAS PCI-Express 2.0 2×4 Internal 1GB NV Flash Backed Cache 0,1,5,6,10,50,60 32 Hardware RAID
PERC H710P Mini Mono 6Gb/s SAS PCI-Express 2.0 2×4 Internal 1GB NV Flash Backed Cache 0,1,5,6,10,50,60 32 Hardware RAID
PERC H710P Mini Blade 6Gb/s SAS PCI-Express 2.0 2×4 Internal 1GB NV Flash Backed Cache 0,1,5,6,10,50,60 4 Hardware RAID
PERC H710 Adapter 6Gb/s SAS PCI-Express 2.0 2×4 Internal 512MB NV Flash Backed Cache 0,1,5,6,10,50,60 32 Hardware RAID
PERC H710 Mini Mono 6Gb/s SAS PCI-Express 2.0 2×4 Internal 512MB NV Flash Backed Cache 0,1,5,6,10,50,60 32 Hardware RAID
PERC H710 Mini Blade 6Gb/s SAS PCI-Express 2.0 1×4 Internal 512MB NV Flash Backed Cache 0,1,5,6,10,50,60 4 Hardware RAID
PERC H310 Adapter 6Gb/s SAS PCI-Express 2.0 2×4 Internal 0,1,5,10,50 16, Non-RAID 32 Hardware RAID
PERC H310 Mini Mono 6Gb/s SAS PCI-Express 2.0 2×4 Internal 0,1,5,10,50 16, Non-RAID 32 Hardware RAID
PERC H310 Mini Blade 6Gb/s SAS PCI-Express 2.0 1×4 Internal 0,1,5,10,50 4 Hardware RAID
S110 Software RAID 3Gb/s SATA PCI-Express 2.0 0,1,5,10 4 Software RAID – Windows Only
PERC H310 Mini Blade 3Gb/s SAS Express 2.0 1×4 Internal 0,1,5,10,50 4 Hardware RAID
PowerEdge RAID Controller (PERC) Series 6 & 7 Family
 Model Interface Support PCI Support SAS Connectors Cache Memory Size Write Back Cache RAID Levels Max Drive Support RAID Support
PERC H800 Adapter 6Gb/s SAS PCI-Express 2.0 2×4 External 2MB, 512MB NV, 1GB NV Yes (TBBU) 0,1,5,6,10,50,60 192 Hardware RAID
PERC H700 Integrated / Adapter 6Gb/s SAS PCI-Express 2.0 2×4 Internal 512MB, 512MB NV, 1GB NV Yes (BBU) 0,1,5,6,10,50,60 16 Hardware RAID
PERC H700 Modular 6Gb/s SAS PCI-Express 2.0 1×4 Internal 512MB Yes (BBU) 0,1,5,6,10 4 Hardware RAID
PERC H200 Integrated / Adapter 6Gb/s SAS PCI-Express 2.0 2×4 Internal 0,1,10 Supports non-RAID 16 Hardware RAID
PERC H200 Modular 6Gb/s SAS PCI-Express 2.0 1×4 Internal 0,1,10 Supports non-RAID 4 Hardware RAID
6Gbps SAS HBA 6Gb/s SAS PCI-Express 2.0 2×4 External HBA Hardware
PERC 6/E Adapter 3Gb/s SAS PCI-Express 1.0 2×4 External 512MB, 256 MB Yes (TBBU) 0,1,5,6,10,50,60 144 Hardware RAID
PERC 6/I Integrated / Adapter 3Gb/s SAS PCI-Express 1.0 2×4 Internal 256MB Yes (BBU) 0,1,5,6,10,50,60 16 Hardware RAID
PERC 6/I Modular 3Gb/s SAS PCI-Express 1.0 1×4 Internal 256MB Yes (BBU) 0,1,5,6,10 4 Hardware RAID
CERC 6/I Modular 3Gb/s SAS PCI-Express 1.0 1×4 Internal 128MB 0,1,5,6,10 4 Hardware RAID
SAS 6/iR Integrated / Adapter 3Gb/s SAS PCI-Express 1.0 2×4 Internal 0,1 8 Hardware RAID
SAS 6/iR Modular 3Gb/s SAS PCI-Express 1.0 1×4 Internal 0,1 4 Hardware RAID
PERC S300Windows only OS 3Gb/s SAS PCI-Express 1.0 2×4 Internal 0,1,10,5 8 Software RAID on HBA
PERC S100Windows only OS 3Gb/s SATA 4 cabled SATA 0,1,10,5 4 Software RAID on SATA Chipset

HP BL460C G7刀片服务器阵列芯片故障的解决办法

有一台HP BL460C G7刀片服务器,运行有Vmware ESXi5.0操作系统,Vmware vCenter显示该把刀片服务器处于离线状态,但是可以ping通该刀片上的ESXi5.0的IP地址,连接到刀箱的管理口,未发现任何告警,使用该刀片的remote console,可以看到Vmware ESXi5.0的界面,按F2出现登录框,输入用户名和密码后,按回车没有反应,到机房接上显示器和键盘后,按回车仍然没有反应,但是一直可以ping通IP地址。

重启该把刀片后,在自检时按任意键查看详细自检信息,自检到阵列卡时,出现:
Slot 0 HP Smart ArrayP410i Controller
1783-Slot 0 Drive Array Contorller Failre!
[Command failure (cmd=0h,  err=00h,  dlu=013:4h)]

是阵列卡的报错,报错代码为1783,这种情况不能进入阵列卡BIOS查看阵列的配置情况、硬盘情况,需要更换阵列卡,由于该阵列卡集成在主板上,需要更换主板。

更换主板后,由于raid信息都在硬盘中,所以数据都能够识别,比能够进入操作系统。

RAID5初始化方法及写方式

目前使用的初始化方法
目前RAID5的初始化主要有两种方法,一种是标示为resync的全同步;另一种方法是标示为recovery的数据恢复。
所谓resync,就是进行全阵列磁盘同步,从头到尾按条带读取所有磁盘的数据,计算新的校验值并与原来的校验值相比较,如果相同则直接进入下一个条带的操作,如果不同则需要把新计算的校验数据写到校验磁盘上。
所谓recovery,就是恢复失效盘的数据。磁盘阵列中的单个磁盘是有可能失效的,这时磁盘阵列会将失效磁盘从阵列中剔除,那么对于那些有数据恢复能力的RAID阵列,如RAID-1456,我们就能够通过加入热备盘恢复失效盘上的数据,recovery就是从头到尾恢复数据的过程。recovery完成之后热备盘就会成为正式的成员盘取代原来的失效盘。Recovery原本用于失效磁盘的数据恢复,但也可以用于刚创建的RAID,在刚创建的时候,把最后一块盘设置为热备盘,该磁盘的数据通过读取其它磁盘的数据校验得出,这样下来,也会保证各个条带的数据一致性。
RAID5的两种写方式
在提出新方法之前,先讨论下RAID5 的两种写方式:读改写和重构写。读改写的实现方式是先将所需写入的数据保存到内存,同时读取所需要写入位置的旧数据及校验盘上的数据,然后将新数据、旧数据和老校验数据进行校验运算,得出新校验数据,最后将新数据与新校验值写入磁盘。
以6块盘的RAID5为例,假设要写D1数据块,而所在条带别的数据块没有写请求,则需要读取旧的D1数据,和旧的校验数据P0,再和新的数据NEW D1做异或校验计算,得到新的校验NEW P0,再把NEW D1和NEW P0写到对应的磁盘。
所谓重构式写,就是预读没有写请求的磁盘的数据,而将写请求磁盘的bio中的数据拷贝到磁盘缓冲区,然后用这些数据来重构新的校验结果。之后,就将新修改的数据和新校验结果写入下层设备即可。
仍以6块盘的RAID5为例,假设要写D1,D2,D3的数据块,则需要读D4,D5数据,再和新的数据NEW D1,NEW D2,NEW D3做异或校验计算,得到新的校验NEW P0,再把NEW D1,NEW D2,NEW D3和NEW P0写到对应的磁盘。

RAID优势及系统构成

RAID 及优势
RAID,即独立磁盘冗余阵列,是一种由多块磁盘构成的冗余阵列。虽然RAID包含多块磁盘,但是在操作系统下是作为一个独立的大型存储设备出现。
RAID可以分为硬RAID与软RAID,硬RAID是通过用硬件来实现RAID功能,比如各种RAID卡,还有主板集成RAID控制器的都是硬RAID。软RAID是通过用操作系统来完成RAID功能,比如在Linux操作系统下,用3块硬盘做的RAID5。本文要谈的RAID系统稳定性是特指硬RAID的稳定性。其有以下五大优势。
扩大了存贮能力。可由多个硬盘组成容量巨大的存贮空间。降低了单位容量的成本。市场上最大容量的硬盘每兆容量的价格要大大高于普及型硬盘,因此采用多个普及型硬盘组成的阵列其单位价格要低得多。
提高了存贮速度。单个硬盘速度的提高均受到各个时期的技术条件限制,要更进一步提高一般比较因难,而使用RAID,则可以让多个硬盘同时分摊数据的读或写操作,因此整体速度有成倍地提高。
提高了可靠性。RAID系统可以使用两组硬盘同步完成镜像存贮,这种安全措施对于网络服务器来说非常重要。
提高了容错性。RAID控制器的一个关键功能就是容错处理。容错阵列中如有单块硬盘出错,不会影响到整体的继续使用,高级RAID控制器还具有数据恢复功能。

RAID系统构成
RAID系统包括服务器、RAID卡、线缆、背板和硬盘五个部分。
在R A I D系统中,R A I D卡和背板是影响整个系统稳定性的两个关键因素。服务器作为核心设备给RAID
卡提供标准的接口,而线缆和硬盘属于业界的通用产品,一般不会对系统的稳定性造成影响。
由于RAID卡上布局布线的差异以及PCB板材阻抗控制,从RAID卡本身发出的SAS信号强度上会有一些差异。
一般来说SAS信号越强,可以支持的背板上SAS走线也越长。对于背板来说,SAS走线的长度和背板的类型以及背板上MiniSAS接口位置直接相关,背板上SAS走线太长容易引起SAS信号过度衰减从而造成RAID系统的不稳定。