超融合FusionCude8.1.5实施手册（华为超融合）
一、产品介绍
FusionCube依托高效的端对端交付能力，能从用户报价开始，根据用户业务需求，直接交付给用户开箱即用的产品，极大地简化了用户的安装、调测时间，从几周甚至数月的调测时间缩减到几个小时之内。预集成包括软件预安装：BIOS和系统盘RAID设置、虚拟化软件FusionCompute、平台管理软件MetaVision（原名FusionCube Vision，简称FCV）软件安装、存储软件（分布式块存储）预安兼容多种主流虚拟化平台，例如FusionCompute。支持为虚拟化平台提供统一的计算、存储和网络资源。支持FusionCompute虚拟化平台软件的自动安装部署，提高系统部署效率。集成虚拟化平台资源监控功能，一个管理界面即可提供整个系统的日常运维。FusionCube不再是单独的计算、网络、存储设备，而是一体化设备，实现了计算、存储和网络资源的融合，无需额外配置存储、网络等资源。在计算、存储融合方面，通过在计算资源中部署分布式存储引擎，减少了数据的访问时延，提升整体访问效率。在计算、网络融合方面，通过网络自动部署，用户无需关心网络具体配置，系统可自动配置网络资源，并实现与计算、存储资源的联动。FusionCube内置分布式块存储为业务提供存储服务，分布式块存储是一种分布式存储系统，采用独特的并行架构、创新的缓存算法、自适应的数据分布算法，既消除了热点也提高了性能，并且能够以超快的重建时间实现自动化自修复，提供卓越的可用性和可靠性。
二、硬件环境
此例子中采用八台超聚变服务器，两台万兆交换机，一台千兆交换机列表如下
|
型号 |
类型 |
配置 |
数量 |
备注 |
| 2288HV6 | 服务器 |
2288HV6 32DIMM 服务器12*3.5”盘位(2*6338N CPU,4*64G DDR4内存, | 八台 | |
|---|---|---|---|---|
|
S6735S-48X6C-A |
万兆交换机 | 两台 | ||
|
S5735S-L24T4S-QA2 |
千兆交换机 | 一台 | ||
本例子中八台服务器规划为计算存储服务器，两块600G做raid1作为系统盘，NVME作为系统盘，12块10T作为分布式存储的数据盘。网络资源规划两台万兆堆叠作为业务交换机，管理交换机，千兆交换机作为业务主机节点的带外管理网络。
三、软件环境及配套表
产品文档
参考官方文档链接如下：
华为 FusionCube 1000H 软件下载和补丁升级 - 华为
文档目录如下图
兼容性对照
客户现场环境要求是超融合FusionCude8.1.5,官方查询软硬件兼容表，列表例如下表
可参考官方完整配套表
https://support.huawei.com/enterprise/zh/doc/EDOC1100358033
超融合配套的软件板板对照如下，包含FusionCude，FusionComput，OceanStor Pacific版本对照表。
配套表中查询2288HV6 相关硬件信息
BIOS 固件配置兼容表
软件下载
8.1.5版本个人注册账号无权限下载
官方下载链接如下
华为 FusionCube 1000H 软件下载和补丁升级 - 华为
官方只列出了8.1.3版本，未列出的版本需要跟软件代理商，官方售后联系获取下载链接
超融合软件包含，FusionCompute 8.5.0.SPC200，FusionCube 1000H 8.1.5.SPC101，OceanStor Pacific Series 8.1.5软件包如下列表截图仅供参考：
FusionCompute 8.5.0.SPC200软件包
FusionCube 1000H 8.1.5.SPC101软件包
OceanStor Pacific Series 8.1.5软件包
其他工具包
Ojdbc.jar包下载
旧版本参见链接
Central Repository: com/oracle/database/jdbc/ojdbc8/12.2.0.1 (maven.org)
软件包参见官方，或者联系华为技术人员下载，普通账号无权限下载,我的软件包列表如下参考。
四、网络规划及配置
网络拓扑图
参考官方组网图
整体拓扑图规划
业务网
业务网采用双链路聚合分别连接两个交换机的业务网聚合端口
管理网
管理网采用双链路聚合分别连接两个交换机的管理网聚合端口，管理和业务如果是万兆可以选择复用
存储网
存储网采用双链路聚合分别连接两个交换机的存储网聚合端口
带外管理网
用于服务器的地理管理监控服务器的独立IP，部署软件超融合需要通过bmc自动挂在iso实现自动批量安装。
节点规划及IP规划
客户现场规划（IP地址需要根据客户现场环境申请）列表仅供参考
|
角色 |
BMC |
VLAN |
业务管理 |
VLAN |
机柜号 |
存储 |
VLAN |
备注 |
|
MCNA01 |
10.63.4.30 |
5 |
10.63.4.9 |
5 |
15柜\11_12 |
172.21.50.1 |
200 |
管理存储计算节点主 |
|
MCNA02 |
10.63.4.31 |
5 |
10.63.4.10 |
5 |
15柜\15_16 |
172.21.50.2 |
200 |
管理存储计算节点备 |
|
SCNA01 |
10.63.4.32 |
5 |
10.63.4.11 |
5 |
15柜\19_20 |
172.21.50.3 |
200 |
存储计算节点 |
|
SCNA02 |
10.63.4.33 |
5 |
10.63.4.12 |
5 |
15柜\23_24 |
172.21.50.4 |
200 |
存储计算节点 |
|
SCNA03 |
10.63.4.34 |
5 |
10.63.4.13 |
5 |
14柜\14_15 |
172.21.50.5 |
200 |
存储计算节点 |
|
SCNA04 |
10.63.4.35 |
5 |
10.63.4.14 |
5 |
14柜\18_19 |
172.21.50.6 |
200 |
存储计算节点 |
|
SCNA05 |
10.63.4.36 |
5 |
10.63.4.15 |
5 |
14柜\25_26 |
172.21.50.7 |
200 |
存储计算节点 |
|
SCNA06 |
10.63.4.37 |
5 |
10.63.4.16 |
5 |
14柜\29_30 |
172.21.50.8 |
200 |
存储计算节点 |
注意：
这里申请的管理IP和带外均为VLAN5通网段，带外管理ip也可为其他网段,但需要带外网络和管理IP双向连通，管理网络和带外网络会影响超融合前期和后续初始化报错。
详细网络参数规划，可参考超融合部署中第六章节，IP规划步骤，关于MCN与SCN节点配比参考官方文档
本案例中是两个MCNA,其余均为SCNA。
交换机配置
参考官方文档
交换机堆叠，网口聚合等配置
FusionCube 1000H 产品文档 (FusionCompute) (huawei.com)
https://support.huawei.com/hedex/hdx.do?docid=EDOC1100310814&id=ZH-CN_TOPIC_0000001471436065
联系现场网络工程师网络按照规划配置
五、带外管理配置
带外IP更改
默认的管理口为192.168.2.100 ，全部更改成规划的ip地址
添加用户fc2mgmt
按照官方步骤新建带外管理用户和密码如下：
用户：fc2mgmt
默认密码：fc2HW@CLOUD8!
固件升级
按照第三章节，对照官方软件包要求的固件版本，将其升级到指定版本,非必要：登录bmc查看固件信息，对照官方软件兼容表核对，满足及无需升级,升级版本参见官方表格固件要求。
去产品官方网站下载最新的固件包（超聚变网站参考如下图）
2288H V6 - 配置手册、产品文档、固件驱动、案例 - 技术支持 - 超聚变数字技术有限公司 (xfusion.com)
远程连接bmc升级固件满足超融合软件硬性要求即可，
Raid模式更改
部署超融合按照官方文档建议，例子如下：
系统盘两块做raid1，raid卡为raid模式勾选JOBD,数据盘设置为直通，缓存盘不许更改模式，查看主板nvme识别出即可，详细配置如下图所示
六、软件部署
详细文档参见华为官方文档
FusionCube Builder虚拟机部署
本例子最初版本将带外网卡规划成了192.168.2.101段的，导致后续安装提示网络联通的问题，（原因是带外网络和管理网络没有双向连通，后续调整成了跟管理网络同网段，后续步骤错误问题解决）
前期规划问题和处理方案：
方法一：带外管理网和管理网分离部署，划分两个网段，用于超融合。
从192.168.2.101 访问10.63.2.191 是否需要能ping通。
从10.63.2.191访问192.168.2.101 是否需要能ping通
以上如无法ping通，则会部署，初始化会出错，可以通过调整网络使其连通。
方法二：带外管理网和管理网合并部署，划分同一个网段，用于超融合。
测试10.63.2.191访问同网段 是否需要能ping通
虚拟机网卡配置
FCB虚拟机需要同时连通带外网络和管理业务网
方法一
笔记本需要两个转接网卡一个接入带外，另一个通过光转电模块接入管理业务网
虚拟机桥接网卡参数
跟ibmc带外管理网段相通，两张网卡分别配置带外网络和管理业务网络实现双通，usb转接卡，使用千兆，百兆速度导致安装卡顿，安装失败。
方法二
一根网线直连交换机，管理交换机和万兆的业务交换机通过光转电模块相连，管理交换机划分业务对应的VLAN,实现，一个网口同时连接带外网络和管理业务网
虚拟机桥接网卡
另外需要跟现场管理业务相通
两张网卡同时桥接一个usb转接，虚拟机网卡配置信息如下（linux配置网卡ip信息步骤省略，参见百度）
OVA虚拟机导入
配置网卡二为桥接网络
部署虚拟机导入ova格式化，配置虚拟机网卡需要和和带外网络和管理业务网相通
选择安装场景
勾选FusionCompute选择下一步
输入管理地址的起始地址和结束地址输入fc2mgmt用户密码,输入创建的新用户密码
用户：fc2mgmt
默认密码：fc2HW@CLOUD8!
发现服务器
服务器管理地址业务地址规划如下
根据规划表填入ip信息机柜信息
分离部署
校验完成
正常校验结果如下图
上传软件包
软件包参见例
安装包校验
校验完毕
安装进度
进度详细信息查看
SCNA安装进度
节点详细信息
MCNA安装进度
Bmc远程查看如下
安装完成
点击完成
这里与规划的203地址实际变成了208，后续需要修改地址
七、登录平台，初始化系统
平台默认密码：修改为Admin@2024
- 默认用户名：admin
- 默认密码：fc2HW@CLOUD8!
摘录官方文档
关闭关闭iBMC平面网关Ping校验。后重新执行初始化
关闭校验后重新执行校验
校验失败，后排查因为带外和管理网络不能互通的原因导致的。因ip地址资源不足，重新申请了网段用于部署超融合。
申请ip地址后，重新划分管理IP地址，和带外IP地址，修改ip地址后，重新执行校验成功。
重新申请的IP信息，参见第四章网络规划表
将所有的密码更改为Admin@2024
八、功能测试及结果
超融合平台业务网和存储网采用两个万兆堆叠两台交换机，采用双链路，双网口聚合，保证业务稳定可靠性，但链路断开不影响业务。本测试文档通过断电单台业务交换机，模拟业务网口，存储网口单链路断开，测试管理平台是否受到影响，业务是否受到影响，部署列出详细截图。
测试前巡检
账户密码 admin/Admin@2024
断电A万兆业务交换机
直接断掉万兆交换机A的电源，超融合节点业务网和存储网络断开一条链路，另一条链路需承载管理和业务网络的连通。截图示例如下：
主机链路状态截图信息
登录虚拟化管理平台查看主机配置，网络，逻辑接口可查看网红卡断开，八台机器链路状态如下：
分布式存储平台存储池正常
虚拟化平台主机均正常
业务迁移测试
将1节点的虚拟机迁移到2节点
迁移结果
迁移期间业务不中断
迁移完毕，虚拟成功运行在2节点
断电B万兆业务交换机
直接断掉万兆交换机B的电源，超融合节点业务网和存储网络断开一条链路，另一条链路需承载管理和业务网络的连通。截图示例如下：
主机链路状态截图信息
分布式存储状态正常
平台检测到链路断开，有提示报警信息
分布式存储平台存储池正常
虚拟化平台主机均正常
业务迁移测试
将这三台主机迁移到一节点
迁移结果
虚拟机成功全部迁移到一节点，迁移期间，业务测试机，网络正常连通
测试结果
本测试通过分别断开AB堆叠的业务交换机，发现超融合聚合网络，管理业务未受到影响，采用ping 业务主机ip的方式，发现ping包返回结果均正常，业务迁移均正常。
九、报错信息及解决方法
FCB部署步骤出现管理ip配置错误信息
报错信息，信息为bmc远程界面的报错信息，
FCB界面提示配置管理ip失败：
排查思路：
检查交换机管理业务网络是否配置正确
检查FCB虚拟机网络是否连通管理业务网
网络配置信息校验失败
联系华为售后解决
淘宝小店，欢迎你的光临，可定制你的需求
https://shop340822098.taobao.com/
浙公网安备 33010602011771号