三、虛擬化及基礎配置
3.1 PVE虛擬化系統的安裝
本項目中3個節點伺服器需要安裝PVE虛擬化平台，限於篇幅只演示節點1伺服器的PVE安裝過程。
第一步：選擇紅框中的選項，敲回車鍵，安裝PVE，如圖7所示。
第二步：選擇紅框中的選項，同意協議，如圖8所示。
第三步：選擇系統盤在RAID規劃中創建的RAID1系統盤，接著選擇下一步，如圖9所示。
第四步：配置國家和地區信息，如圖10所示。國家選擇「China」，時區選擇「亞洲/上海」，鍵盤布局選擇「美式鍵盤」。
第五步：配置密碼和郵箱信息，如圖11所示。這裡的密碼是「root」權限的密碼，用戶名也是「root」。郵箱需要是合法的，安裝過程中會收到郵件。
第六步：配置網卡、主機名、IP位址、DNS等信息，如圖12所示。其中，選擇第三塊網卡用於網絡管理，按照我們的規劃應該選擇「eno3」網卡。主機名稱「pve-node1」。IP位址和DNS等信息可配置也可不配置，留待稍後配置也可以，如果需要修改，可以在安裝完成後使用Web UI。需要注意，Hostname需要符合FQDN (Fully Qualified Domain Name)全限定域名規範。
第七步：檢查核對信息，確定無誤後點擊安裝，如圖13所示。
安裝結束之後，出現圖14界面證明安裝成功。默認用戶名為root，密碼為安裝時設置的密碼。
安裝結束之後自動重啟，如果通過瀏覽器訪問https://192.168.75.43:8006，出現圖15界面證明安裝成功。
其他兩個節點伺服器也是用如上七步的方法來完成PVE安裝。
3.2系統初始配置
3.2.1 禁用企業訂閱源
PVE7.0默認安裝的是企業訂閱版，如不做修改，在進行 Ceph 初始化的時候會將整個環境破壞。
echo "#deb https://enterprise.proxmox.com/debian/pve bullseye pve-enterprise" > /etc/apt/sources.list.d/pve-enterprise.list3.2.2 更換國內源
本項目為甲方使用了PVE最新版本7.0的虛擬化系統，其底層為Debian11內核，軟體源管理方式發生了變更，首先要修改國內軟體源。
wget https://mirrors.ustc.edu.cn/proxmox/debian/proxmox-release-bullseye.gpg -O /etc/apt/trusted.gpg.d/proxmox-release-bullseye.gpg echo "deb https://mirrors.ustc.edu.cn/proxmox/debian/pve bullseye pve-no-subscription" > /etc/apt/sources.list.d/pve-no-subscription.list #中科大源
echo "deb https://mirrors.ustc.edu.cn/proxmox/debian/ceph-pacific bullseye main" > /etc/apt/sources.list.d/ceph.list #中科大源
sed -i.bak "s#http://download.proxmox.com/debian#https://mirrors.ustc.edu.cn/proxmox/debian#g" /usr/share/perl5/PVE/CLI/pveceph.pm #中科大源
sed -i.bak "s#ftp.debian.org/debian#mirrors.aliyun.com/debian#g" /etc/apt/sources.list #阿里Debian源
sed -i "s#security.debian.org#mirrors.aliyun.com/debian-security#g" /etc/apt/sources.list #阿里Debian源
3.2.3 安裝ifconfig
第一步，更新apt資源
apt update -y && apt-get update -y && apt dist-upgrade –y && apt-get upgrade -y第二步，安裝net-loos網絡工具
apt install -y net-tools第三步，使用ifconfig
ifconfig #查看主機的網卡3.2.4 安裝Open vSwitch虛擬交換機
Proxmox VE默認情況下，並沒有安裝Open vSwitch虛擬交換機，如圖16所示。
3.2.4 配置ntp服務
如果組建多機Proxmox集群，如果使用Ceph分布式存儲，請務必要確保所有伺服器的時間同步。如果NTP時鐘不同步，Ceph服務可能會起不來，登錄認證失敗，虛擬機遷移失敗等等問題。
第一步：配置國家統一的時鐘源
阿里云：ntp.aliyun.com
國家授時中心：ntp.ntsc.ac.cn
tee /etc/systemd/timesyncd.conf << EOF
[Time]
NTP=ntp.ntsc.ac.cn cn.ntp.org.cn ntp.aliyun.com
EOF
systemctl restart systemd-timedated.service第二步：重啟NTP服務
四、物理網絡規劃與配置
本項目超融合平台主要由3個節點伺服器集群組建，且使用Ceph搭建分布式存儲，為保證平台可靠性要求，為保證性能要求，為保證虛擬機遷移速率等，建議採用全萬兆交換機部署。同時，IDRac網絡單獨部署交換機、業務網絡單獨部署交換機、管理網絡單獨部署交換機、存儲網絡單獨部署交換機，但是為了保護院方已有設備的投資，本項目只採用了1台（邏輯上）銳捷三層萬兆交換機，同時在該交換機上劃分不同VLAN以滿足業務網絡、管理網絡、存儲網絡的需求；採用了1台華三千兆交換機，滿足IDRac網絡需求。
本項目主要是面向研發測試人員，除了對PVE超融合平台可靠性要求高之外，研發測試人員往往也比較關注PVE超融合平台的彈性化、自動化、分布式以及監控等問題。
4.1物理網絡拓撲
4.2 VLAN及IP規劃
華三的三層交換機10504以及既有網絡設備、伺服器主機以及虛擬機等的VLAN劃分以及IP位址規劃如表2所示。
表2. 網絡設備的VLAN劃分及IP分配
節點1~3伺服器集群的VLAN劃分以及IP位址規劃如表3所示。
表3. 節點1~3伺服器的VLAN劃分及IP分配
子系統虛擬機的VLAN劃分以及IP位址規劃如表4所示。
表4. 虛擬機的VLAN劃分及IP分配
4.3 網絡配置
4.3.1路由配置
研發測試終端使用默認網關「192.168.80.8」上網，除此之外還需要訪問VLAN400和VLAN600的虛擬機，需要增加兩條路由：
route -p add 192.168.78.0 mask 255.255.255.0 192.168.80.1
route -p add 192.168.75.0 mask 255.255.255.0 192.168.80.14.3.2 RG-6120配置
註：RG-6120交換機在本項目實施時尚未到貨，本文檔相關配置均以華為S6730為準。本小節以節點1為例，演示S6730的相關配置信息。通過圖19可以看出，該埠以LACP的模式聚合了XGE0/0/9、XGE0/0/11、XGE0/0/13、XGE0/0/15、XGE0/0/2、XGE0/0/4 ，共6個埠，連接類型為trunk的邊緣埠，可通過所有vlan，該聚合口帶寬為60Gbps。通過圖20可見，埠連接狀態正常。
4.3.3 S10504 配置
S10504是甲方已有核心網絡設備，該交換機上配置有相關的VLAN參數，本著維持已有網絡拓撲不變的原則，該vlan參數沿用，如圖21所示。S10504是甲方在用的唯一一台擁有電口接口的網絡交換設備，在該設備上要把相應埠配置IDRaC所在vlan，具體配置過程略過，配置結果如圖22所示。