鬼故事会 - 如何自己搭建私有云（手把手教你如何搭建私有云）

接下来一段时间，我会将我工作中已经落地的项目做一个分享，并最后分享中做了一些思索。保护甲方的一些信息资产，我会在项目中隐藏一些信息，但是对技术层面无所保留。

好了，干货开始了！

1.项目概况

1.1项目背景

本项目是江苏某集团项目，该集团的目前业务系统众多，都有自己独立的系统架构，独立硬件架构，各个厂商的设备都有，资源利用率不高，设备运行年限都超过5年以上，单节点故障存在，出现的问题可能性较大。

1.2项目需求

• 服务器需求

本项目采用2台E9000服务器，每台E9000服务器满配置8个CH121 V3刀片。

每个刀片服务器配置

CPU：型号E5-2690 V3，规格为两路12core，总计24物理内核

vCPU：通过超线程技术，并按找1:2分配比可将一个物理CPU内核分为4个vCPU，每台刀片共计96个vCPU

内存：6条32G内存，总计192G内存

• 存储需求

存储使用两套6800 V3本地双活，分别一个控制框配置，使用FC接口连接交换机与存储设备。配置：SSD：600G*20 SAS：1.2TB*10 SATA:2T*10

• 业务需求

2.项目设计方案

2.1 总体方案设计

云平台项目建设规模为2台E9000服务器，总共配置16个刀片提供计算资源。

项目使用6800 V3存储，1个机头带3个硬盘框。

使用2个刀片管理集群独立使用的计算资源。主要部署VRM、FM等管理虚拟机。

其余14个刀片作为业务集群，运行用户的业务虚拟机。

总体规划方案：

网络设计方案 ：

管理集群部署方案：

集群组网：

IP地址规划：

3.实施方案

实施步骤：

3.1 服务器配置

管理节点配置

配置两台管理服务器，每台服务器布置一台VRM虚拟机和一台FM虚拟机服务器，配置如下：

分类

组件

CPU

内存

硬盘

备注

虚拟化软件管理

VRM*2

12核

16G

300G

FusionCompute主备

FM*2

12核

16G

300G

FusionManager主备

计算服务器配置

E9000

管理VRM

2台

资源集群

14台

3.2存储配置

两台6800操作如下：

• lun与主机对应操作：

创建硬盘域-》创建存储池-》创建LUN-》创建LUN 策略-》 创建LUN组-》创建主机-》创建主机组-》创建LUN组和主机组间的映射视图

• 本地存储双活操作：

部署仲裁服务器：配置两个不同网段固定IP地址，关闭防火墙，部署仲裁软件

执行：

JS@king:~# qsadmin

start main!

Waiting for connecting to server..

通过add server ip添加上面不同网段固定IP地址与端口号

• 双活设置

激活双活License，增加远端设备

创建仲裁服务器

创建双活域

创建双活Pair

创建双活一致性

1、 登录DeviceManager。

2、 选择“

数据保护 >

双活 > 双活 > 双活一致性组”。

1、 单击“创建”。

2、 设置双活一致性组的名称、描述及双活域。

3、 单击“下一步”。

4、 设置双活一致性组的属性。

5、 单击“下一步”。

6、 在“可选双活Pair”中选择需要添加至双活一致性组的Pair，并单击

，将选中的双活Pair添加至“已选双活Pair”区域，并单击“下一步”。

7、 在“信息汇总”页面，确认创建的信息，并单击“完成”。

8、 单击“关闭”。

最后在主备存储上点击数据保护-》双活-》创建双活pair 即可完成

3.3光纤交换机配置：

两台SNS2224 划相应的zone即可

3.4软件配置

软件

版本号

位置

备注

FusionSphere

V100R005

• 虚拟化平台搭建

1、 主机安装操作系统，登录主机BMC系统。

2、 单击“远程控制”。

3、 在上方工具栏单击

。

4、 在挂载镜像区域框选中“镜像文件”，单击“浏览”。

5、 选择镜像文件“FusionCompute V100R005C10SPC700_CNA.iso”，单击“打开”。

6、 在挂载镜像区域框单击“连接”。

7、 在上方工具栏单击

，选择“重启”，在弹出的对话框中单击“是”。

8、 主机开始重启时，重复按“F11”，直到进入启动方式选择界面，选择从光盘启动，如图1所示。

进入安装界面。

9、 在30秒内选择“Install”，按“Enter”。

10、 选择“Network”，再选择管理网卡

11、 移动光标到“Manual address configuration”，按空格选中静态IP地址方式

12、 手动配置eth0的IP地址和子网掩码

13、 选择“OK”，完成eth0信息的配置。

14、 在“Default Gateway”中输入管理平面的网关

15、 选择“OK”，完成网关的配置。

16、 选择“Hostname”，删除已有信息，输入新的主机名

17、 配置完成后选择“OK”。

18、 选择“Timezone”，进入时区选择界面

19、 在时区选择区域选择当前所在时区。

20、 在“Date/Time”中输入当前时刻，格式为“YYYY-MM-DD/HH:MM:SS”。

21、 选择“OK”，完成时区信息的配置。

22、 配置主机root用户的密码

23、 选择“OK”，完成主机root用户密码的设置。

24、 开始安装主机

25、 安装完成主机之后开始安装vrm，通过FusionCompute V100R005C10SPC700_Tools.zip工具

26、 在本地计算机解压FusionCompute V100R005C10SPC700_Tools.zip

27、 在“Installer”文件夹中运行“FusionComputeInstaller.exe”

28、 选择语言，单击“确定”。

29、 按规划方案选择VRM虚拟机的安装场景。

30、 单击“下一步”。进入“安装组件”界面，自动安装所需组件

31、 安装组件成功后，单击“下一步”。

32、 输入主机的管理IP地址和主机root用户的密码。

33、 单击“配置主机”。开始配置主机。

34、 配置主机成功后，单击“下一步”。进入“选择存储类型”界面。

35、 选择本地存储，点击下一步

36、 单击“确定”开始添加主机存储接口。

37、 单击“下一步”。进入“配置存储资源”

38、 选择存储资源（即物理存储设备）的类型

39、 在“数据存储”区域框选择VRM虚拟机磁盘使用的数据存储，单击“下一步”。

40、 配置vrm虚拟机，在“模板文件”后单击“浏览”，在弹出的对话框中选择解压得到的“FusionCompute_V100R005C10SPC700_VRM.ovf”文件

41、 在“网络配置”区域框配置VRM虚拟机的管理平面IP地址。

42、 如需指定VRM所使用的管理平面VLAN，则在“VLAN”区域勾选“配置管理VLAN”，并设置“VLAN ID”。如无需指定管理平面VLAN，即使用VLAN 0作为管理平面，则无需进行配置。

43、 设置VRM虚拟机的规格。

44、 单击“校验配置信息”。

45、 根据操作场景选择对应操作。

46、 单击“下一步”，开始配置备VRM节点信息。

47、 单击“下一步”，进入“配置主备参数”界面

设置以下参数：

主节点名称

备节点名称：VRM主备节点名称不能冲突。

浮动IP：规划的VRM节点浮动IP地址，使用与VRM主备节点管理IP地址同网段的空闲IP地址。

子网掩码

仲裁IP01：建议设置为管理平面网关。

仲裁IP02、仲裁IP03：可选参数。建议设置为与管理平面互通的全局服务器的IP地址，如AD域服务器、DNS服务器。

48、 单击“下一步”。进入权限管理模式配置界面。

49、 选择需要使用的权限管理模式。

50、 单击“下一步”，开始创建VRM虚拟机。

51、 单击“完成”，关闭FusionCompute安装向导。

为保证系统安全，系统不支持直接使用“root”用户通过ssh协议登录VRM节点。可使用“gandalf”用户通过ssh协议登录。如果执行的操作需要使用“root”权限，可切换到“root”用户。

VRM虚拟机的“root”用户默认密码为“Huawei@CLOUD8!”，“gandalf”用户的默认密码为“Huawei@CLOUD8”。

52、 请及时修改默认密码。

1.1.2 虚拟化平台初始化配置

1、 加载license

A、 登录FusionCompute

B、 在FusionCompute中选择“系统管理 > 系统配置 > License管理”。

C、 进入“License管理”页面。单击“加载License”

D、 选择“独立License”

E、 单击“获取ESN号码”

F、 使用记录的ESN号码，申请License文件。

G、 在“上传路径”后单击“浏览”

H、 选择已准备的License文件，单击“确定”

I、 单击“确定”，完成加载全新的License，任务结束。

2、 在站点中创建集群

A、在FusionCompute中，选择“计算池”

B、 在左侧导航树上右键单击“站点名称”，选择“创建集群”

C、 设置集群的名称和描述。

D、单击下一步，进入“基本配置”页面

E、 选择你所需要设置的特性

F、 单击确定，完成创建集群操作

3、 向集群中添加主机

A、在FusionCompute中，选择“计算池”。

B、 在左侧导航树中展开“站点名称”，右键单击待添加主机的集群，选择“添加主机”

C、 输入添加主机的各项参数

D、单击确定，完成主机的添加

4、 绑定网口

登录FC界面，选择计算池，左侧选择主机，点击配置，绑定网口

5、 添加存储资源

6、 扫描存储设备

7、 添加数据存储

8、 创建分布式交换机

A、在FusionCompute中选择“网络池”

B、 单击“创建分布式交换机”

C、 根据网络实际规划设置分布式交换机参数

D、是否勾选“添加上行链路”或“添加VLAN池”？

E、 单击“确定”添加上行链路

F、 是否添加VLAN池

G、单击“添加”

H、输入VLAN池的参数

I、 单击确定，完成创建分布式交换机

9、 创建端口组

A、在“网络池”页面左侧导航树中展开“网络池”，右键单击已创建的分布式交换机，选择“创建端口组”

B、 根据网络实际规划设置端口组参数。

C、 单击下一步，进入“网络连接”页面

D、根据所选的端口类型，执行相应的操作

E、 在“VLAN”输入框中填写端口组允许通过的VLAN范围

F、 选择连接方式，管理平面的端口组需设置为VLAN方式

G、在“连接方式”后选择“VLAN”

H、输入规划的端口组VLAN ID

I、 单击下一步，进入“信息核对”页面

J、 确认信息正确后，单击“创建”

K、继续创建业务端口组

1.2 FusionManager搭建

1、 登录FusionCompute。

2、 选择“虚拟机和模板”。进入“虚拟机和模板入门”页面。

3、 单击“导入虚拟机”。进入“导入虚拟机”页面，如图所示。

4、 选择模板来源。从本地导入，单击“下一步”。

5、 单击“浏览”，在弹出的对话框中选择模板文件“FusionManager_V100R005C10SPC700_SV.ovf”。

6、 单击“下一步”。进入“虚拟机设置”界面，如图所示。

7、 在创建位置中选择“主机”，将虚拟机创建在管理集群的主机上。选择不同主机创建用于安装主、备VSAM节点的虚拟机。

8、 勾选“与所选主机绑定”并选择“始终为虚拟机预留资源”。

9、 将FusionManager虚拟机网卡设置到管理平面分布式交换机和端口组。

10、 设置磁盘的数据存储和配置模式。推荐使用非虚拟化的本地硬盘和非虚拟化的SAN存储。优先使用非虚拟化的本地硬盘。磁盘的配置模式选择“普通”或“普通延迟置零”。并选择“持久”。

11、 单击“下一步”。进入“虚拟机属性规格”页面，如图所示。

12、 输入主节点虚拟机的名称及描述信息。

13、 在“硬件”区域框，根据系统中虚拟机规模，修改FusionManager虚拟机的规格。

14、 保持其他选项为默认值，单击“下一步”。

15、 单击“创建”。开始创建虚拟机。可在“任务中心”页面查看创建进度。创建过程大约耗时40分钟。

16、 创建成功后，在左侧选择“虚拟机”，在FusionManager的虚拟机所在行，单击“VNC登录”，以“galaxmanager”用户登录FusionManager。默认密码：Huawei@CLOUD8。

17、 执行以下命令，切换到“root”帐户。

su - root

root帐户默认密码为Huawei@CLOUD8!。

18、 执行以下命令，设置FusionManager节点类型。

19、 configNodetype Local

回显如下信息，表示执行成功。

Install FusionManager successfully.

可以通过命令InstallState查看命令执行状态。

20、 如果是主备部署，重复执行以上步骤，创建FusionManager备节点虚拟机。

21、 初始配置FusionManage

A、 登录主节点

B、在第一个数据中心的FusionCompute中，使用VNC登录方式，以“galaxmanager”用户登录FusionManager主节点。默认密码：Huawei@CLOUD8。

C、 执行以下命令，进入配置向导开始界面。fmconfig

D、 选择“OK”。

E、 选择“Next”。进入选择主备模式界面。

F、 根据需要选择单节点部署或主备部署。

G、选择“Next”。进入配置界面。

H、 配置FusionManager的信息。主备部署需要配置的信息分别如下所示 ：

主备部署：

Node Name：FusionManager节点名称。

Local IP：管理IP地址。

Local Mask：管理节点子网掩码。

Local Gateway：管理平面网关

Float IP：管理节点浮动IP地址

Remote Node Name：对端FusionManager节点名称。

Remote IP：对端FusionManager节点管理IP地址。

HA arbitration IP：HA仲裁IP地址（使用管理平面网关IP地址）。

I、配置完成后，选择“Next”。进入确认配置信息界面。

J、确认配置信息无误，选择“Next”。开始配置。待进度条显示100%，回显显示“success”时表示配置成功。

K、 FusionManager是为主备部署,根据以上的步骤完成备节点的配置

22、 加载license

A、 登录FusionManager。具体操作请参见“FusionManager登录和注销”。首次登录时默认用户名为“admin”，默认密码为“Huawei@CLOUD8!”。首次登录会强制修改密码。

B、 在FusionManager中，选择“系统 > 系统配置 > License管理”。

C、 使用记录的ESN号码，申请License文件。

D、 单击

。

E、 选择申请的License文件，单击“上传”。

F、 单击“确定”。

23、 配置时间同步和时区

A、 在FusionManager管理员视图中，选择“系统 > 系统配置 > 时间管理”。

B、 在页面下方“时区”区域框查看时区信息是否与当地时区一致？

C、 设置时区信息。

D、 单击“保存”。

其他操作安装 以及应用部署就不详细说。

至此一个私有云建设完成。

云无止境的建议：对于是否用刀片服务器来跑自己单位业务，取决于你们单位对资源需求，如果单位的需求不大，需要资源其实并不是很大，建议考虑机架式服务器，刀片服务器最好能达到满配才能发挥他的价值。也建议需要建立私有云的单位要做到全架构冗余的基本要求，还有信息安全方面要求。华为的云技术也很成熟了，大家可以放心去使用

,