Multipath多路径管理基础介绍与安装配置使用

时间：2022-09-30 07:29:40人气：次作者：快盘下载我要评论

[TOC]

0x00 前言简述

Q:什么是Multipath多路径?

答:Multipath I/O 电脑储存技术，指利用两个以上的路径同时在CPU与储存设备之间传送讯号，以达到侦错与强化效能的目的。简单的说当服务器到某一存储设备有多条路径时，每条路径都会识别为一个单独的设备(不便于使用)，而多路径允许您将服务器节点和储存阵列间的多个I/O路径配置为一个单一设备(就是我们所说的链路聚合)即多路径聚合了I/O路径并生成由这些集合路径组成的新设备，这些I/O路径可包含独立电缆、交换器和控制器的实体SAN链接(FC / SAS / iSCSI)等;

Multipath多路径管理基础介绍与安装配置使用

WeiyiGeek.多路径图示

工作原理: 当因为主机HBA卡、线缆、交换机或者存储设备的RAID控制器故障等原因造成一条物理路径失效时,服务器可以将通过此物理路径的I/O转移到其他正常的物理路径上面,应用程序不会觉察到这种改变，从而提高系统的可用性。

硬件要求：硬件方面需要服务器有2块或以上的HBA接口卡，网络上有两个或以上的交换机，块存储设备有两个或以上的冗余控制器，各个物理路径之间没有任何硬件相互依赖。多路径冗余I/O也可以实现I/O的负载均衡，提高系统性能，但主要还是一种容错机制。

Q:它有什么用?

冗余: 主备模式，高可用;性能优化: 主主模式，负载均衡;

Q: 如何使用Multipath? 描述: 可以参照下面的章节并存在相应的测试环境进行实践，常见三种情况会使用到比如有存储设备并且与主机通过(FC-光纤线、SAS-线缆、以太网-六类线)进行直连; 其应用场景:

1.针对于块存储磁盘多路径IO设备2.使用在Oracle的ASM环境中

多路径技术

描述:实现的核心通过存储设备去适配操作系统，从而实现多路径技术，支持ALUA是其中主要部分。

1.ALUA

描述：ALUA多路径技术(Asymmetric Logical Unit Access-非对称逻辑单元存取),其提供了一个路径发现和确定优先次序的标准化机制，实现主机和存储设备的路径自协商和动态管理。

特点：对于特定的LUN来说，在它的路径中，一个控制器的目标端口处于主动/优化状态，另一个控制器的目标端口处于主动/非优状态。在某一个时刻，某个LUN只是属于某一个控制器，要想实现两边的负载均衡，就是将任务A扔给控制器A，将任务B扔给控制器B，对于同一个任务来说任何时候只有一个控制器在控制。

2.SLUA

描述:SLUA多路径技术(Symmetric Logical Unit Access-对称逻辑单元存取)别名对称镜像卷，它是多路径的基本特性。特点：对于特定的LUN来说，在它的路径中两个存储控制器的目标端口均处于主动/优化状态。两个控制器之间实现高速互联的通讯，一个IO发到控制器端，两个控制器可同时参与处理；当一个控制器繁忙系统时候不需要主机端的负载均衡软件参与就可以自动实现负载均衡。

SLUA与ALUA对比:

前者: 双主/优化, 一个LUN可以属于两个控制器负载均衡、同一个RAID上的不同LUN组可以跨控制器，LUN跨控制器迁移不影响应用、带宽加倍1秒自动切换;后者: 双主/非优化，同一个LUN归属某一个控制器，双控之间不可自动实现负载均衡，并且切换时间一般为十几秒;

WeiyiGeek.多路径技术

名词解析

1.DM Multipath - 多路径设备

描述:若不采用 DM Multipath 那么从服务器节点到储存控制器的每一条路径都会被系统视为独立的设备，即使I/O路径连接的是相同的服务器节点到相同的储存控制器也是如此, DM Multipath提供了有逻辑的管理I/O路径的方法，即在基础设备顶端生成单一多路径设备;

2.WWID - 全球识别符

描述:每个多路径设备都有一个WWID（全球识别符），它是全球唯一的无法更改的号码, 默认情况下会将多路径设备的名称设定为它的WWID, 可以在多路径配置文件(/etc/multipath.conf)中设置user_friendly_names选项，该选项可将别名设为格式为mpathn的节点唯一名称也可以也可以自定义存储设备名称;

示例.查看设备的 scsi id 即WWID查看, 获取 iscsi 共享盘的 wwid 全球唯一识别号三种方式

# 方式1.扫描SCSI设备号命令
$/usr/lib/udev/scsi_id -u -g /dev/mapper/asm08  #去掉空格--replace-whitespace
360050768xxx000000010d2
$/usr/lib/udev/scsi_id --whitelisted --device=/dev/sdb
36000d3100366e600000000000000001c

# 方式2
$cat /etc/multipath/wwids
# Valid WWIDs:
/36000d3100366e600000000000000001c/

# 方式3
$multipath -ll | grep "mpath"
mpatha (36000d3100366e600000000000000001c) dm-0 COMPELNT,Compellent Vol

示例2.自定义存储设备名称;

# /etc/multipath.conf
# 方式1
defaults {
  user_friendly_names yes
  ....
}
# 结果
$multipath -ll
# mpatha (36000d3100366e600000000000000001c) dm-0 COMPELNT,Compellent Vol
# size=500G features='1 queue_if_no_path' hwhandler='1 alua' wp=rw
# `-+- policy='service-time 0' prio=25 status=enabled
#   |- 4:0:0:1 sdb 8:16 active ready running
#   |- 4:0:0:2 sdc 3:32 active ready running
$ls -alh /dev/mapper/mpatha-part1
# lrwxrwxrwx 1 root root 7 Sep  8  2020 /dev/mapper/mpatha-part1 -> ../dm-0

# ----------------------------------------------------------  #

# 方式2:绑定后需重新生成路径的映射表
multipaths {
  multipath {
    wwid  "36000d3100366e600000000000000001c"
    alias k8sapp
  }
}
# 结果
$multipath -v2
$multipath -ll
# k8sapp (36000d3100366e600000000000000001c) dm-0 COMPELNT,Compellent Vol
# size=1.0T features='1 queue_if_no_path' hwhandler='1 alua' wp=rw
# -+- policy='service-time 0' prio=25 status=active
#   |- 5:0:8:1 sdb 8:16 active ready running
#   |- 5:0:9:1 sdc 8:32 failed ready running
$ls -alh /dev/mapper/k8sapp 
# lrwxrwxrwx 1 root root 7 Sep  8  2020 /dev/mapper/k8sapp  -> ../dm-0

3.scsi_id - 设备id

描述:其包含在udev程序包中，可以在multipath.conf中配置该程序来获取scsi设备的序号。通过序号便可以判断多个路径对应了同一设备。这个是多路径实现的关键。 multipath程序在创建multipath设备时，会调用scsi_id，从其标准输出中获得该设备的scsi id。在改写时需要修改scsi_id程序的返回值为0。因为在multipath程序中，会检查该值来确定scsi id是否已经成功得到。

4.多路径聚合和映射

Q:什么是存储的多路径聚合和映射? Linux 主机上通过外接 FC / SAS 到物理存储设备时，一般都会在主机上加装HBA卡，HBA卡通过WWN号连接光纤交换机或直接存储。如果HBA卡出问题需要更换时，WWN号相应的也会改变，中间的这个纽带相当于断了，就无法正常识别存储磁盘分区。当然有些HBA上面贴的有WWN号，可以在更换HBA卡之前在光交或存储上更换相应的配置。不过很多没有标这个WWN所以需要非常，建议更换后到系统下通过命令查看新识别的WWN号确认以下即可。

主机上HBA卡WWN号查看

# FC SAN
cat /sys/class/fc_host/host*/port_name
0x2002d0431efb7f5d  #HBA卡WWN号

# SAS SAN
$cat /sys/class/sas_phy/phy-*/sas_address|sort|uniq
0x51866da091944100  #HBA卡WWN号

Windows Server

WeiyiGeek.服务器HBA标识

0x01 Multipath 管理

描述:对于存储设备创建的LUN卷以及映射分配给服务器后往往有多个控制器进行冗余，刷新scsi设备后你将会在服务器中查看到多个/dev/sd[b-z]磁盘设备，此时需要采用多路径软件进行聚合链路，使原本有多个SCSI磁盘的磁盘挂载到本地时候聚合为一个设备；注意这与您的存储设备息息相关大多数存储连接到Linux主机上可以使用multipath自带的多路径软件，然而向Huawei的存储则需要单独安装一个第三方的多路径软件才行;

Linux - Multipath

描述：在linux中开源的multipath工具是用来进行多路径IO管理，当一条链路不稳定时可自动切换到另一条链路，当然要使用多路径设备就必须安装相对应的multipath软件；

Multipath 安装&启动备注:CentOS 7.8 / Ubuntu 20.04 tls 自带无需安装

# CentOS 
rpm -qa | grep "multipath"           # 查看系统是否安装
yum install device-mapper-multipath  
systemctl enable multipathd || chkconfig multipathd on  # 启用多路径软件开机自启
systemctl start multipathd || service multipathd status # 启动multipath多路径服务

# ubuntu
apt list | grep "multipath" # 查看系统是否安装
# multipath-tools-boot/focal 0.8.3-1ubuntu2 all
# multipath-tools/focal,now 0.8.3-1ubuntu2 amd64 [installed,automatic]
apt-get install multipath-tools
systemctl enable multipathd && systemctl start multipathd

# 软件包说明
(1) device-mapper-multipath：即multipath-tools。主要提供multipathd和multipath等工具和 multipath.conf等配置文件。创建的多路径设备会在/dev/mapper中。
(2) device-mapper：主要包括两大部分内核部分和用户部分。
  * 内核部分主要包括device mapper核心(dm.ko)和一些target driver(md-multipath.ko)。核心完成设备的映射，而target根据映射关系和自身特点具体处理从mappered device 下来的i/o。
  * 用户空间部分主要包括device-mapper这个包。其中包括dmsetup工具和一些帮助创建和配置mappered device的库。这些库主要抽象，封装了与ioctr通信的接口，以便方便创建和配置mappered device。multipath-tool的程序中就需要调用这些库。
(3) dm-multipath.ko和dm.ko：dm.ko是device mapper驱动。它是实现multipath的基础dm-multipath其实是dm的一个target驱动。

操作系统	存储系统	默认MPIO策略
Windows Server 2008	开启ALUA	Round Robin With Subset
关闭ALUA	Fail over only
Windows Server 2008 R2	开启ALUA	Round Robin With Subset
关闭ALUA	Round Robin
Windows Server 2012 DC	开启ALUA	Round Robin With Subset
关闭ALUA	Round Robin

Parameter	Definition
0	Clear the Policy - 明确的政策
1	Failover Only - 故障转移
2	Round Robin - 循环
3	Round Robin with Subset - 子集循环
4	Least Queue Depth - 至少队列深度
5	Weighted Paths -加权路径
6	Least Blocks - 至少块
7	Vendor Specific - 特定于供应商的