瑞士衛兵成為梵蒂岡教皇的警衛隊始於16世紀初。1505年6月，當時的羅馬教皇尤里奧二世將在歐洲各地以驍勇善戰聞名的200名強壯的瑞士僱傭兵帶到羅馬，並正式決定讓他們來守衛梵蒂岡。以前，雖然瑞士僱傭兵也曾執行過守衛梵蒂岡的任務，但都只是臨時性的。因此，瑞士衛兵作為梵蒂岡常駐部隊執行任務，是從教皇尤里奧二世開始的。第二年，也就是1506年的1月22日夜裡，受教皇邀請的瑞士僱傭兵到達梵蒂岡，受到站在聖彼得羅大教堂門口的教皇的親自迎接。
數年後，這支衛兵隊救了教皇的命。那是一位以膽小多疑而優柔寡斷著稱的教皇――克列門斯七世。1527年5月，神聖羅馬帝國卡爾五世率領軍隊侵入羅馬，對羅馬城實施大肆破壞和殺戮。教皇克列門斯七世讓衛兵守住皇宮，並且下令打開秘密通道，逃到聖安傑羅城去避難。那時，為了保衛教皇的生命安全，許多衛兵因此犧牲，本來189人的衛兵隊最後只剩下42人。
此次事件發生20年後，教皇保羅三世被瑞士衛兵隊不顧生命危險保護教皇的忠誠行為所感動，不僅重建衛兵隊，而且還將衛兵人數增至225人。1571年，奧斯曼帝國軍隊登上了威尼斯共和國統治下的賽普勒斯島，他們迅速占領了首都尼科西亞和港口城市法馬古斯塔，教皇皮奧五世為了保護威尼斯，派遣瑞士衛兵隊前往基布羅斯島增援。在後來的幾個月時間裡，由瑞士衛兵隊組成的基督教聯合艦隊還參加了著名的「勒班陀海戰」 ，與奧斯曼帝國軍隊展開了殊死戰鬥。這次海戰，最終以聯合艦隊獲勝，並最終結束了歐洲的伊斯蘭化。
但是，這些忠誠無二、值得信賴的瑞士衛兵，也曾經舉起過反對教皇的旗幟。事件發生在1878年，當時正值前教皇去世，而由紅衣主教吉奧阿基諾?維琴佐?佩奇當選新教皇，成為利奧十三世。在這期間，雖然瑞士衛兵隊出色地完成了警衛任務，但卻沒有得到新教皇的慰勞金，因此，他們感到不滿。
這次抗議，有30名衛兵和幾名校官參與。他們用萊福槍襲擊關有兩名衛兵的監獄，並與教皇憲兵隊發生衝突，使教皇利奧十三世處於被動地位：如果不平息這一衝突，教皇利奧十三世不僅要向衛隊支付慰勞金，而且還得讓出前教皇皮奧九世苦心經營了三十多年的教皇領地，這樣就會使教皇內部陷入嚴重的財政危機。然而，雖然新教皇利奧十三世準備了大量的紅酒準備犒勞衛兵隊，並想以此平息「叛亂」衛兵們心中的怒火，但卻遭到衛兵隊的拒絕。此後的三天裡，利奧十三世進行了徹底反省，並通過法國紅衣主教傳達他的意思：只要衛兵隊放下武器，將給他們發放慰勞金。
新任衛兵隊長的魯朋上校，隨即對瑞士衛兵隊進行了改組。具有熱血忠誠氣質的他，制定了嚴格的衛兵制度，將非瑞士籍衛兵悉數趕出衛兵隊，其中包括與義大利女子結婚並且居住在義大利的瑞士衛兵的後代。此前，瑞士衛兵隊曾因隊中混雜著非日爾曼籍衛兵而被一些人嘲笑，還遭到居住在梵蒂岡周邊的居民的冷嘲熱諷，但是，自從魯朋上校將這支衛兵隊徹底改編後，就再也聽不到這樣的嘲笑聲了。
而且，魯朋上校還重新啟用了由米開朗基羅設計的，藍、紅和橙色相間的軍服。這種軍服於16世紀使用。法國文豪弗雷德里克?司湯達稱其為「奇裝異服」，哲學家和史學家泰納則稱其為「歌劇服裝」。同時，魯朋上校廢除了自19世紀以來一直沿用的圍兜，取而代之的是名為 「黑水晶」的半圓形圍兜，並且用羽毛裝飾在上面。
可以這麼說，魯朋上校是瑞士衛兵隊的第二創始人。他成功地改編了衛兵隊，並徹底地執行了教皇皮奧十世所規定的制度：嚴密規定那些需要警戒的場所，衛兵人數定為130人，每人手執長戟，由軍官帶領，衛兵隊長則由上校擔任。但從1970年開始，由於教皇保羅六世廢除了教皇騎兵隊和宮殿衛兵隊等，並將保護教皇的任務交給了瑞士衛兵隊，因此說，瑞士衛兵隊的制度是隨著時代的變化而變化的。
衛兵隊的任務之一是跟隨教皇到各地訪問。約翰尼?保羅二世也好，現任教皇本篤十六世也好，都是帶著衛兵隊訪問各地。在教皇本篤十六世訪問義大利南部的巴里市時，隨行的瑞士衛兵受到前所未有的注目，因為，與教皇同時出現在飛機上的瑞士衛兵，身穿的並非與前教皇保羅二世同行時所穿的便服，而是禮服。
不只如此，聚集在機場的人們，包括義大利當地的警察都感到驚奇，這些保護教皇的瑞士衛兵，竟然個個手執長戟，衛兵隊事先並沒有通知義大利警方他們將手執長戟護衛教皇。
以前，瑞士衛兵要達到的條件是：身高在1.74米以上、年齡在30歲以下，並且已經在瑞士服完兵役、受義大利文化影響很深的獨身男子、出身於提契諾州以外的瑞士人。然而，現在對出身地的限制條件已經廢除。雖然有規定，在下達命令時必須使用德語，但是到兵營去視察時，仍然可以聽到德語以外的語言，如法語和義大利語等。
而且，對於獨身這一條件也有所改變。上世紀70年代初，在羅伯特上校臨近結束40年的衛兵隊隊長職務時，教皇方面就同意，不僅校官可以結婚，而且普通士兵都可以結婚。只有一個條件，那就是必須留在衛兵隊。當時的衛兵隊的日誌上這麼寫著：這個規定的受益者是班長海因茨?福洛。他有幸在梵蒂岡的聖?馬丁教堂舉行婚禮。
作為現存的最古老的軍隊，瑞士衛兵隊與創立時大不相同。雖然他們在16世紀時作為教皇軍，有過與奧斯曼軍隊交戰的歷史，但現在他們並不攜帶實戰武器。他們手持的長戟充其量只不過是一種裝飾，並不是為了實際作戰。這種長久以來形成的習慣，即使在1981年約翰尼?保羅二世遭到暗殺襲擊未遂事件後，仍然沒有改變。不過，這件事發生後，每當教皇出現在眾多信徒面前時，瑞士衛兵就會隨身攜帶催淚噴霧器，以此為教皇充當警衛。