項目整體規划過程略過，本文只記錄實施流水帳。這是給甲方的技術交底文檔，寫得很細，步驟記錄也很全面，供參考，高手請划走。整個word文檔有60多頁，1萬1千餘字，在頭條可能分3或4篇才能發全，看官們可以收藏起來，湊齊再看。
一、項目整體網絡拓撲
研發測試生產一體化平台超融合項目整體網絡拓撲，如圖1所示，本項目所涉及的網絡為紫色虛線框內部分。
節點伺服器：節點1~3伺服器採用超融合架構，主要用於研發測試生產一體化超融合平台，本次部署的3台伺服器主要用於研發及測試，部署位置在XXXX雲計算中心，建設內容包括：
1）伺服器設備，在伺服器機櫃部署3台伺服器硬體；
2）虛擬化套件，在伺服器上部署1套虛擬化套件PVE；
3）分布式存儲，在伺服器上部署1套分布式存儲套件Ceph。
三層交換機：在伺服器機櫃中部署4台銳捷RG-S6120三層交換機，該交換機由甲方提供，本項目建設內容包括：
1） 伺服器集群接入，獨立劃分VLAN網段，用於實現節點1~3伺服器集群接入；
2）接入既有網絡，用於接入既有交換機H3C 10504，實現接入既有網絡，通過既有網絡實現伺服器集群與網際網路及辦公開發網絡互通。
注意，由於3個節點伺服器組建成集群，且使用Ceph搭建分布式存儲，為保證性能，保證虛擬機遷移速率，建議採用支持多鏈路聚合的全萬兆交換機部署，並使用原廠光模塊。
研發測試工位：研發工位與測試工位接入到既有交換機SG2210P，建設內容包括：
1）研發測試工位保持既有的上網IP位址和網關不變；
2）研發測試工位實現訪問超融合伺服器集群的業務虛擬主機。
既有伺服器群：既有伺服器運行著甲方的應用系統，如研發管理系統、測試管理系統、各類業務信息系統等等，既有伺服器群與研發測試超融合平台暫不做互聯互通，但要制定互通預案，在需要時可以隨時切入生產環境。
二、伺服器基礎配置
裸金屬伺服器的管理、業務、存儲網絡的聚合、iDRAC網絡相關配置詳見第四節：物理網絡的規劃與配置。基礎配置階段只需要使用一張網卡，並連接外網。
本項目中通用伺服器硬體採用的是Dell伺服器R740xd是一款2U雙路旗艦機架式伺服器，以強勁的計算性能，完善的生態兼容，極致的空間擴展能力，滿足各行業應用配置需求，適用於數據分析處理、雲計算、分布式存儲等多種應用場景。Dell伺服器R740xd 如圖2 所示。
伺服器R740xd 技術規格如表1所示：
表1伺服器R740xd 技術規格
2.1RAID規劃
本項目中R740xd伺服器是20+4盤位，前八盤位插滿 PM883，8-21盤位空閒，22、23盤位插有P4800X。如圖3所示。
R740xd伺服器共有24個盤位，安裝有8塊1.9TB SATA SSD磁碟，通過背板連接HBA330，另有14盤位空置，可用於日後升級擴容；有2塊375GB NVMe SSD盤，安裝在22、23盤位，通過內部轉接卡連接系統總線；有一張PCI 接口BOSS卡，安裝有2塊480GB m.2接口SSD盤，組成RAID1，做系統盤用，外部不可見；有一張HBA卡，通過存儲交換機連接現有的SAN存儲。
2.1.1 系統盤
在每個節點伺服器上，2塊480GB SSD盤組成RAID1，通過PCI接口的BOSS卡提供給伺服器作為系統盤。做RAID1之後，2塊480GB SSD盤數據鏡像備份，容量減半，虛擬化作業系統文件存放在RAID1盤中。除了2塊480GB SSD盤做RAID1之外，其餘SATA SSD盤、NvMe SSD盤均不做RAID。SAN存儲單獨掛載。
2.1.2 Ceph盤
本項目中，後端存儲採用Ceph分布式存儲搭建，為了保證可靠性，Ceph採用了數據多副本的存儲方式，這意味著不再需要RAID，也就克服了 RAID 存在的諸多問題。換句話說，Ceph已經解決了容錯問題，無需使用RAID。
紅帽官網文檔有關於構建Ceph存儲集群時，不建議基於RAID盤創建OSD，除了系統盤之外，其餘磁碟全部設置為非RAID模式。也就是說，Ceph不要與RAID混合使用，如果已經使用了Ceph的話，應該禁用RAID，或將RADI控制器配置為RAID0，本項目使用的是直通卡HBA330 ，符合要構建規範。如圖4所示。
分布式存儲本來就具有數據冗餘和修復功能。如果在單個節點上做RAID，當出現故障的時候，要離線rebuild RAID。但不做RAID的話，換個硬碟就自動在線恢復了，業務完全不中斷。
2.2 伺服器網卡規劃
本項目中，R740xd伺服器一共有8張物理網卡，主板集成的雙口X710，做一組聚合鏈路，提供ceph_public，ceph_mgr以及各業務網段使用。PCI插槽的四口 X710，另做一組聚合鏈路，提供給ceph_cluster專用。主板集成的I350雙電口網卡，一個用於ceph_public調試用，另一個閒置備用。如圖5所示。
2.3 伺服器IDRac配置。
IPMI是智能平台管理接口（Intelligent Platform Management Interface）原本是一種Intel架構的企業系統的周邊設備所採用的一種工業標準。
簡單的說就是將配置好IP的IPMI口接入交換機，就可以通過電腦遠程來管理伺服器的一個接口IPMI 支持遠程監視，不需要計算機作業系統的許可。IPMI 在連接到主板或伺服器的單獨硬體上運行。此單獨的硬體是底板管理控制器（BMC）。
本項目DELL R740xD的iDRAC就封裝了IPMI的功能，它提供的圖形化界面簡化了IPMI的配置工作。
通常情況下，默認用戶名為：root，密碼則貼在機箱前面板可抽拉的標籤上。IPMI 主板集成管理晶片BMC的IP的首次設置，需要在伺服器開啟時按「DEL」鍵進入BIOS 設置，具體步驟省略。
當iDRaC接口的IP位址設置好之後，可通過WEB UI進入查看伺服器監控系統，如節點1伺服器的iDRaC接口的IP位址是192.168.78.41，使用https登錄進入iDRaC監控系統，如圖6所示。
2.4.伺服器數據接口
有關伺服器數據接口的IP 地址規劃，詳見表2。具體配置詳見《5.3.2.業務網絡配置》的章節，這裡不再贅述。
2.5.伺服器管理接口
有關伺服器管理接口的IP 地址規劃，詳見表2。具體配置詳見《5.3.1.管理網絡配置》的章節，這裡不再贅述。