PVE&Ceph&Bcache 超融合項目之部署實施方案(四)

fans news 發佈 2022-01-10T11:37:19+00:00

如果第一次刷到這個系列的文章,可能會看得一頭霧水,這是某超融合項目的一部分,前幾篇的傳送門在這裡:PVE&Ceph&Bcache 超融合項目之部署實施方案(一) PVE&Ceph&Bcache 超融合項目之部署實施方案(二) PVE&Ceph&Bcache 超融合項目之部署實施方

如果第一次刷到這個系列的文章,可能會看得一頭霧水,這是某超融合項目的一部分,前幾篇的傳送門在這裡:

PVE&Ceph&Bcache 超融合項目之部署實施方案(一)

PVE&Ceph&Bcache 超融合項目之部署實施方案(二)

PVE&Ceph&Bcache 超融合項目之部署實施方案(三)

六、集群組建

6.1.PVE集群部署要求

PVE集群部署有一定的要求,根據《Proxmox 7.0 admin guide》對PVE集群部署的要求,如圖42所示,翻譯如下:


1)所有節點必須可以相互訪問彼此的UDP 5404和UDP 5405埠,以確保corosync正常工作。

2)各節點日期和時間需要保持同步。

3)各節點之間要能夠在TCP 22埠建立SSH通信。

4)如果你需要配置HA,則最少需要3個物理伺服器節點,以保證集群多數票機制生效。此外,還需要保證所有節點使用同一版本的Proxmox VE。


5)Proxmox VE建議為集群通信分配專用網卡,特別是在配置共享存儲的情況下,分配專用網卡能確保集群通信的穩定可靠。

6)組建集群時,需要提供目標節點的root密碼。

注意事項:

1)PVE節點在沒有創建虛擬機的情況下,可以加入其他節點創建的集群,也可以自己創建集群,讓其他節點加入進來。

2)PVE節點如果創建了虛擬機,那麼這台機器就只能通過創建集群 讓其他的節點加入進來。

3)如果把一個節點從集群中刪除掉之後,再以相同的主機名和IP位址進行加入。可能會產生錯誤,需要強制加入。

4)加入集群後將不允許再修改主機名和IP 地址。

5)一旦建立集群後,將不允許修改集群名稱。

6.2.創建集群

創建集群操作可以在命令行控制台(ssh登錄)下進行,也可以通過API調用完成,WEB UI 界面就是通過調用API來創建集群的(數據中心→集群)。

第一步:在節點1上創建名稱為「pve」的集群

在節點1中,選擇「數據中心→集群→創建集群」,集群名稱輸入「pve」,集群網絡選擇「br1Ceph接口」的IP位址,如圖43所示。


如果要添加第二條鏈路作為備用鏈路,選擇「添加」之後,添加第二條鏈路,再點擊「創建」,即可創建。

第二步:複製集群密鑰,其他節點需要使用集群密鑰才能加入集群

在節點1中,點擊「加入信息」按鈕,彈出界面如圖44所示,接著點擊「拷貝信息」來複製集群密鑰。


第三步:在節點2上,使用節點1的集群密鑰,加入集群

在節點2中,點擊「加入集群」按鈕,粘貼「加入信息」,輸入節點1的root密碼,選擇節點2的集群鏈路,最後點擊「加入pve」集群,如圖45所示。


第四步:在節點3上,使用節點1的集群密鑰,加入集群

在節點3中,點擊「加入集群」按鈕,粘貼「加入信息」,輸入節點1的root密碼,選擇節點3的集群鏈路,最後點擊「加入pve」集群,該環節與節點2類似,不再截圖。

第五步:加入集群完成後需要刷新頁面才能正常使用,全部加入完成後,就可以在一個節點上管理集群中所有的節點了

如圖46所示。單擊「加入pve」按鈕之後後,集群加入過程將立即開始。節點加入集群後,其當前節點證書將被集群證書頒發機構(CA)簽名的證書替換,這意味著當前會話將在幾秒鐘後停止工作。然後,可能需要強制重新加載Web 界面,並使用集群憑據重新登錄。通俗點說,就是需要刷新下頁面才能使用。


七、分布式存儲

Proxmox VE提供了簡單易用的Ceph 安裝嚮導,選中集群中的一個節點,然後在菜單樹中打開Ceph菜單區,就可以開始安裝Ceph 了。

安裝嚮導有多個步驟,每個步驟都需要執行成功才可以完成Ceph 安裝。開始安裝操作後,嚮導會自動從Proxmox VE 的Ceph 軟體源下載軟體包並完成安裝。

需要注意,3.2.2環節的指定國內源,一定要驗證成功,並且用以下代碼追加指定國內ceph源否則無法完成安裝。

echo "deb https://mirrors.ustc.edu.cn/proxmox/debian/ceph-pacific bullseye main" > /etc/apt/sources.list.d/ceph.list #中科大源

sed -i.bak "s#http://download.proxmox.com/debian#https://mirrors.ustc.edu.cn/proxmox/debian#g" /usr/share/perl5/PVE/CLI/pveceph.pm #中科大源

完成第一個步驟後,還需要創建配置。對每個集群,生成的配置信息會自動分發到其他節點,所以該操作只需要執行一次即可。

創建的配置包括以下信息:

1)Public Network

為避免影響集群通信等其他對網絡延遲敏感的服務,也為了提高Ceph 性能,強烈建議為Ceph 準備一個專門的獨立網絡,將Ceph流量隔離開來。


2) Cluster Network

進一步,還可以設置Cluster Network,將OSD複製和心跳流量隔離出來。這將有效降低public network的負載,並有效改善大規模Ceph集群的性能。

7.2.初始化Ceph安裝和配置

每個節點都需要安裝Ceph,每個節點的Ceph安裝基本相同,這裡只演示節點1的Ceph安裝。

第一步:在節點1界面中,選擇「Ceph→Install Ceph」,點擊「Install Ceph」按鈕,如圖47所示。


第二步:選擇「設定→信息→開始pacific安裝」,點擊「開始pacific安裝」按鈕,如圖48所示。


第三步:選擇「設定→安裝」,輸入「Y」之後,按回車鍵,自動安裝Ceph,如圖49所示。


第四步:安裝完成之後,繼續點擊「下一步」按鈕,安裝成功之後,會提示安裝成功的信息「installed ceph pacific successfully」,如圖50所示。


第五步:完成Ceph集群配置信息,包括公共網絡IP、集群網絡IP等信息,如圖51所示。第1個節點要按照表3的規劃來配置,後面加入的節點,部分信息可以自動配置。

第六步:完成配置信息,Ceph安裝成功,如圖52所示


第七步:查看配置信息,如圖53所示。


節點1的Ceph的配置信息如下所示:

[global]
         auth_client_required = cephx
         auth_cluster_required = cephx
         auth_service_required = cephx
         cluster_network = 192.168.70.41/24
         fsid = 085b0790-28fb-4295-a9a6-2cb5f51f1867
         mon_allow_pool_delete = true
         mon_host = 192.168.78.61 192.168.78.62 192.168.78.63
         ms_bind_ipv4 = true
         ms_bind_ipv6 = false
         osd_pool_default_min_size = 1
         osd_pool_default_size = 1
         public_network = 192.168.78.61/24

[client]
         keyring = /etc/pve/priv/$cluster.$name.keyring

[mds]
         keyring = /var/lib/ceph/mds/ceph-$id/keyring

[mds.n1]
         host = n1
         mds_standby_for_name = pve

[mds.n2]
         host = n2
         mds_standby_for_name = pve

[mds.n3]
         host = n3
         mds standby for name = pve

[mon.n1]
         public_addr = 192.168.78.61

[mon.n2]
         public_addr = 192.168.78.62

[mon.n3]
         public_addr = 192.168.78.63

7.3.配置Ceph監視器

Ceph安裝完成之後,節點1出現「監視器」和「管理員」中,還需要把節點2和節點3添加進來。在本項目中,監視器節點和管理員節點信息如圖54所示。


從圖54中可以發現,監視器和管理網絡使用的都是公共網絡,沒有使用集群網絡。

第一步:在節點1的監視器中,創建另外兩個節點的監視器,點擊「創建」按鈕,如圖55所示。


第二步:在節點1的管理員,創建另外兩個節點的管理員,點擊「創建」按鈕,如圖56所示。

第三步:在Ceph監控界面查看節點的監視器和管理,選擇「n1→Ceph」,如圖57所示。Ceph的監控UI界面中,監視器和管理如圖57所示:


關鍵字: