部署基于 IBM Systems Director 和 PowerHA SystemMirror 7.1 的高可用集群

PowerHA 是 IBM 發佈的一款高可用集群套件，通過它可以在 AIX 系統上構建由多個節點組成的高可用集群計算環境，增強應用的防災能力，減少停機時間。IBM System Director（以下簡稱 ISD）是 IBM 推出的平臺管理工具，可以在統一的使用者介面實現跨平臺的主機系統管理。通過 PowerHA SystemMirror plug-in，ISD 可以實現對高可用平臺的創建和管理。基於 ISD 的統一圖形化使用者介面，系統管理員可以比以往更加方便、更加直觀地對高可用集群進行監控和管理。本文介紹和分析了 ISD 與 PowerHA 相整合的高可用集群管理架構，並基於 PowerVM 架構上的虛擬化環境，實踐了從 ISD 的使用者介面進行高可用集群環境的創建及管理過程。

PowerHA 高可用環境的基本架構

圖 1. 高可用環境子系統架構圖
 

PowerHA是 IBM 高可用集群軟體，通過提供冗餘實現容錯移轉保護，同時通過併發 / 並行訪問支持水準擴展。

CAA（Cluster Aware AIX）是 AIX V7.1（或 AIX V6.1 TL06 以上）的新特性，負責 cluster 的底層功能，PowerHA 使用其功能對應用提供高可用。

RSCT（Reliable Scalable Cluster Technology）提供了一套完整的集群資源監控機制。

TSA（IBM Tivoli® System Automation for Multiplatforms）為應用程式提供基於策略的自我恢復機制。

IBM System Director 及 PowerHA SystemMirror 外掛程式

通過 IBM System Director，系統管理員可以進行如下管理工作：

• 對主機和網路資源進行優化
• 能夠對業務需求進行更為靈活的快速回應
• 對物理的或者虛擬的主機或存放裝置以及網路資源實現更高層次的業務管理。

IBM System Director 的一個核心功能就是用一個通用介面來進行常用的系統管理工作。通過這種全域 IT 環境的統一視圖，伺服器、存放裝置、網路設備等能夠被更加簡單方便地被監控和管理。管理員可以在統一的使用者介面下觀察被管理的系統，確定被管理系統之間的 相互關係、狀態，從而説明相關資源滿足業務需求。IBM Systems Director 包括了一系列的常見任務，大部分是基礎管理的核心。在整個被管理系統上，這些常見的任務包括發現、庫存、配置、系統的健康、監視、更新、事件通知和自動 化。

圖 2 顯示了利用 IBM System Director 的 PowerHA 外掛程式管理高可用平臺環境的基本架構圖。IBM System Director 可以對指定的網段進行簡單快速的掃描，以發現並載入環境中的 AIX 系統。當這些掃描出的節點被解鎖（得到系統的登錄 ID 和密碼）後，如果節點上安裝有 PowerHA 套件，則可被 IBM System Director 的 PowerHA 外掛程式自動識別並接管。

圖 2. 利用 IBM System Director 的 PowerHA 外掛程式管理高可用平臺環境的基本架構圖
 

 

高可用集群實驗環境的描述

表 1. 節點一覽表

節點	作業系統	HA 版本
Node01	AIX 6100-07-01-1141	PowerHA7.1.1.0
Node02	AIX 6100-07-01-1141	PowerHA7.1.1.0

表 2. 磁片和 VG 規劃表

節點	磁片	VG	功能
Node01	hdisk1	caavg_private	磁片心跳通信盤
Node02	hdisk2	hadatavg	共用盤
Node01	hdisk1	caavg_private	磁片心跳通信盤
Node02	hdisk2	hadatavg	共用盤

表 3. 邏輯卷和檔案系統規劃表

節點	邏輯卷	檔案系統	大小
Node01	lv01	/hadata	60G
Node02	lv01	/hadata	60G

集群名：testcluster

表 4.IP 地址規劃表

網路名稱	功能	適配器名	網路類型	IP 地址
Prve45	boot	en0	ether	10.50.5.137
Prve54	boot	en0	ether	10.50.5.138
net_ether_01	service	en0	ether	10.50.4.37

圖 3. 實驗環境示意圖
 

 

高可用集群實驗環境的準備

硬體環境的準備

依據圖 3 的實驗環境圖構建本文的實驗環境，包括三台構建於 Power750 伺服器的邏輯分區（Logical Partitions, LPARs），其中兩台 LPAR 作為 cluster 節點，一台作為 IBM System Director 伺服器。P750 通過光纖交換機與 DS5020 存放裝置相連，經 VIO server 向 cluster 提供共用存儲。

首先在 SAN 交換機上將 DS5020 和 Power750 配置在同一個 zone 裡。

圖 4. Brocade 光纖交換機上的 zone 配置
 

在 DS5020 裡創建 4 個 LUNs，並映射到 P750 裡的 VIOS 當中，其中兩塊盤分別用於兩個 LPAR 的系統磁片，另外兩塊作為集群的共用盤。

圖 5. 在 VIOS 上將存放裝置的邏輯盤映射給 LPAR
 

在 VIOS 上使用 cfgdev 命令刷新設備清單，使 VIOS 能夠認到新增的四塊盤。

$ cfgdev

此時在 HMC 的 Virtual Storage Management 裡就可以看到新加入的這四塊盤（hdisk5-hdisk8）

圖 6. 在 HMC 的 Virtual Storage Management 觀察新加入的盤
 

創建兩個 LPAR 並添加共用盤：

• 在 HMC 上創建兩個 LPAR，各有一個 Virtual Ethernet Adapter 和 Virtual SCSI Adapter。
• 使用 Dynamic Logical Partitioning 向 VIOS 添加 Virtual SCSI Adapter。

圖 7. 在 HMC 上使用 Dynamic Logical Partitioning 向 VIOS 添加 Virtual SCSI Adapter

• 指定 Client adapter ID 和 Server adapter ID:

圖 8. 在 HMC 上為新增 Virtual SCSI Adapter 指定 Client adapter ID 和 Server adapter ID

• 保存 VIOS 配置的修改。
• 在 HMC 的 Virtual Storage Management 中為兩個 LPAR 添加系統磁片

圖 9. 在 HMC 的 Virtual Storage Management 中為兩個 LPAR 添加系統磁片

• 在 VIOS 上為兩個 LPAR 添加共用盤，以 hdisk8 為例：

$ lsmap -all | grep -i 0x00000007  vhost2          U8233.E8B.06B0BBP-V1-C5                      0x00000007  $ mkvdev -vdev hdisk8 -vadapter vhost2  vtscsi4 Available  $ lsmap -all | grep -i 0x00000008  vhost3          U8233.E8B.06B0BBP-V1-C6                      0x00000008  $ mkvdev -f -vdev hdisk8 -vadapter vhost3  vtscsi5 Available  $ lsmap -vadapter vhost2  SVSA            Physloc                                      Client Partition ID  --------------- -------------------------------------------- ------------------  vhost2          U8233.E8B.06B0BBP-V1-C5                      0x00000007  VTD                   vtscsi2  Status                Available  LUN                   0x8100000000000000  Backing device        prve137_disk1  Physloc  Mirrored              N/A  VTD                   vtscsi4  Status                Available  LUN                   0x8200000000000000  Backing device        hdisk8  Physloc               U78A0.001.DNWKB1H-P1-C2-T1-W20240080E518BEAA-L6000000000000  Mirrored              false

軟體安裝準備

AIX 作業系統方面的準備工作

由於 PowerHA7.1 for AIX 使用了 Cluster Aware AIX (CAA) 功能，所以 AIX 版本需要不低於 AIX 6.1 TL6 或 AIX 7.1，RSCT 版本不低於 3.1

可從 IBM Fix Central 下載安裝最新的 AIX 和 PowerHA 的補丁包：

http://www.ibm.com/support/fixcentral

要確保以下 PowerHA 需要的 AIX Base Operating System (BOS) 組件包已裝好

_ bos.adt.lib  _ bos.adt.libm  _ bos.adt.syscalls  _ bos.ahafs  _ bos.clvm.enh  _ bos.cluster  _ bos.data  _ bos.net.tcp.client  _ bos.net.tcp.server  _ bos.rte.SRC  _ bos.rte.libc  _ bos.rte.libcfg  _ bos.rte.libcur  _ bos.rte.libpthreads  _ bos.rte.lvm  _ bos.rte.odm

_cas.agent( 安裝 IBM Systems Director plug-in 需要用到 )

還需要安裝下列 AIX base media 上的檔包：

_ rsct.basic.rte  _ rsct.compat.basic.hacmp  _ rsct.compat.clients.hacmp

和 AIX 發行版本相對應的 RSCT 套件也包含在 PowerHA 的安裝介質中。

IBM PowerHA SystemMirror

IBM PowerHA System 至少要安裝以下運行時組件：

• cluster.es.client
• cluster.es.server
• cluster.es.cspoc

為實現其他一些應用的功能需要，也可以選裝一些額外的元件包。在 PowerHA SystemMirror 7.1 for AIX Standard Edition 中包括了 Smart Assists 的鏡像，此外配合 IBM System Director 使用的 PowerHA 用戶端代理程式也包含在 PowerHA 的基本安裝媒介中。

可通過以下途徑進行安裝：

• 通過 CD 直接進行安裝
• 把安裝檔複製到硬碟進行安裝
• 通過Network Installation Management (NIM) 伺服器進行安裝。

IBM System Director

下表中列出了一個可以管理最多 500 個系統的小規模配置的例子：

資源	需求
CPU	Two processors, IBM POWER5™, POWER6 or POWER7™, or for partitioned systems: _Entitlement = 1 _Uncapped Virtual processors = 4 _Weight = Default
記憶體	3 GB
硬碟空間	4 GB
安裝時所需的檔案系統大小	root = 1.2 GB /tmp = 2 GB /opt = 4 GB

PowerHA SystemMirror plug-in

IBM System Director 的 PowerHA plug-in 包含了兩部分：

• SystemMirror 伺服器端外掛程式：安裝在 IBM System Director 伺服器端，
• SystemMirror 用戶端外掛程式：安裝在每一個需要被 IBM System Director 發現的 cluster 節點或者終端上。

安裝和部署

IBM PowerHA SystemMirror 的安裝

安裝 PowerHA SystemMirror 7.1.1，需要在兩個節點上分別安裝。

以硬碟安裝拷貝的方式安裝為例，假如將安裝檔拷貝至 /home/install 下，則執行 smitty install_latest：

Install Software  Type or select values in entry fields.  Press Enter AFTER making all desired changes.  [TOP]                                          [Entry Fields]  * INPUT device / directory for software               /home/install  * SOFTWARE to install                            [_all_latest] …  ACCEPT new license agreements?                      Yes  PREVIEW new LICENSE agreements?                   no

安裝完畢後，確認一下是否必要的安裝包已裝上，重點檢查 cluster.es.client.rte, cluster.es.server.rte, cluster.es.cspoc.rte。

[Prve45:root:/] lslpp -l cluster*  Fileset                      Level  State      Description  ----------------------------------------------------------------------------  Path: /usr/lib/objrepos ……  cluster.es.client.rte      7.1.1.1  COMMITTED  PowerHA SystemMirror Client Runtime  cluster.es.server.rte      7.1.1.1  COMMITTED  Base Server Runtime  cluster.es.cspoc.rte      7.1.1.2  COMMITTED  CSPOC Runtime Commands ……

確認進程 clcomd 是否已起來：

[Prve45:root:/] ps – ef | grep clcomd     root 3014918 1704056   0   Mar 29      -  6:48 /usr/sbin/clcomd -d

IBM System Director 及 PowerHA SystemMirror 外掛程式的安裝

IBM System Director Server 部分的安裝

按照下列步驟進行 IBM System Director 在 AIX 上的安裝：

1. 從 IBM System Director 的官方下載頁下載安裝包（目前最新的版本是 6.3），及 PowerHA SystemMirror 外掛程式（目前最新版本是 7.1.1）：

http://www.ibm.com/systems/management/director/downloads/

2. 將下載的安裝包進行解壓

# gzip -cd SysDir6_3_Server_AIX.tar.gz | tar -xvf –

3. 使用安裝腳本開始安裝：

#./dirinstall.server

IBM System Director 的配置和啟動

按照以下步驟配置並啟動 IBM System Director：

1. 使用 configAgtMgr.sh 腳本配置 IBM System Director，包括指定用戶端密碼等：

# /opt/ibm/director/bin/configAgtMgr.sh

2. 啟動 IBM Systems Director:

# /opt/ibm/director/bin/smstart

3. 使用 smstatus – r 命令來監控 IBM System Director 的啟動過程。整個過程大約需要 2-3 分鐘：

# /opt/ibm/director/bin/smstatus -r  Inactive  Starting  Active

4. 待狀態變成 Active 後，就可以打開流覽器登錄 IBM System Director 的 Web 管理介面。注意要使用 https 連接，埠是 8422：

https://<hostname.domain.com or IP>:8422/ibm/console/logon.jsp

如在本文的實驗環境裡：

https://10.50.5.24:8422/ibm/console/logon.jsp

完成 IBM System Director 伺服器的安裝之後，下面要安裝 PowerHA SystemMirror 的外掛程式。

PowerHA SystemMirror Plug-in 的安裝

安裝：

# chmod 700 IBMSystemsDirector-PowerHA_SystemMirror-AIX.bin  # IBMSystemsDirector-PowerHA_SystemMirror-AIX.bin -i console

安裝驗證：

# /opt/ibm/director/lwi/bin/lwiplugin.sh -status | grep mirror  94:RESOLVED:com.ibm.director.power.ha.systemmirror.branding:7.1.1.1:\  com.ibm.director.power.ha.systemmirror.branding  95:ACTIVE:com.ibm.director.power.ha.systemmirror.common:7.1.1.1:\  com.ibm.director.power.ha.systemmirror.common  96:RESOLVED:com.ibm.director.power.ha.systemmirror.console.nl1:\  7.1.1.1:com.ibm.director.power.ha.systemmirror.console.nl1  97:ACTIVE:com.ibm.director.power.ha.systemmirror.console:7.1.1.1:\  com.ibm.director.power.ha.systemmirror.console  98:RESOLVED:com.ibm.director.power.ha.systemmirror.helps.doc:7.1.1.1:\  com.ibm.director.power.ha.systemmirror.helps.doc  99:ACTIVE:com.ibm.director.power.ha.systemmirror.server:7.1.1.1:\  com.ibm.director.power.ha.systemmirror.server

要注意 外掛程式子模組的狀態如果是RESOLVED 而不是 ACTIVE，需要利用 lwiplugin.sh 腳本手工啟動。

如：

# /opt/ibm/director/agent/bin/lwiplugin.sh -start 94

如果 IBM System Director 在安裝外掛程式過程中是 active 的，必須在外掛程式安裝完畢後按照下列步驟停止並重啟：

停止 IBM Systems Director Server:

# /opt/ibm/director/bin/smstop

啟動 IBM Systems Director Server:

# /opt/ibm/director/bin/smstart

監控啟動過程

# /opt/ibm/director/bin/smstatus -r  Inactive  Starting  Active *** (the "Active" status can take a long time)

IBM System Director Client 部分的安裝

Common agent 的安裝

按照以下步驟在每一個 IBM System Director 的管理節點上安裝 common agent：

1. 解壓縮 SysDir6_2_Common_Agent_AIX.jar文件包：

[Prve45:root:/] /usr/java5/bin/jar -xvf SysDir6_2_Common_Agent_AIX.jar

2. 賦予 repository/dir6.2_common_agent_aix.sh可執行許可權：

[Prve45:root:/] chmod +x repository/dir6.2_common_agent_aix.sh

3. 執行 repository/dir6.2_common_agent_aix.sh：

[Prve45:root:/] ./repository/dir6.2_common_agent_aix.sh

PowerHA SystemMirror Sub-agent 的安裝

按照下列步驟安裝 PowerHA SystemMirror 外掛程式的 sub-agent：

1. 通過 smitty 安裝 cluster.es.director.agent.rte 套裝程式：

[Prve45:root:/] smitty install_latest

2. 停止節點上的 common agent：

[Prve45:root:/] stopsrc -s platform_agent  [Prve45:root:/] stopsrc -s cimsys

3. 啟動節點上的 common agent：

[Prve45:root:/] startsrc -s platform_agent

在 IMB System Director 的統一介面下進行 AIX 高可用環境的創建和配置和管理

完成了上面介紹的各部分元件安裝，並啟動了相應的服務後，接下來系統管理員就可以在管理 PC 上打開流覽器進入 IBM System Director，通過 PowerHA SystemMirror plug-in 的操作嚮導，在 IBM System Director 的統一介面下進行 AIX 高可用環境的創建和配置和管理了。

圖 10. IBM System Director 的登錄介面


圖 11. PowerHA SystemMirror 的管理介面


圖 12. 通過 GUI 監控和管理 Cluster

結束語

本文探討了在 IBM System Director 管理平臺下，利用 PowerHA SystemMirror 外掛程式進行 AIX 高可用集群的創建和管理過程。對基於 IBM PowerVM 虛擬化環境裡的實驗平臺規劃、準備和安裝部署作了比較詳細介紹，相信對希望瞭解如何在 PowerVM 虛擬化環境裡構建 AIX 集群，以及如何通過 ISD 的圖形化介面如何對集群進行操作管理的讀者會有所説明，對 AIX 系統管理員的現實工作也會有較強的參考意義。