在二戰中，由於熱武器處於飛速發展階段，因此世界各國都為本國軍隊裝備了大量的槍炮武器，而原始的大刀、長矛等冷兵器由於體積太大，並且在熱武器的面前作用微乎其微，很快就被可攜式的軍刀、刺刀等武器給替代了。但是，由於我國當時還比較落後，槍枝等武器很多都依賴進口，到了清末民初，由於國內軍閥混戰頻繁，軍閥們為了擴張自己的勢力都開始召集大量的士兵，一時間式器裝備便成了大問題，而大刀因為製造簡單、成本低廉，又被重新拾起，甚至成為很多普通軍隊的主要武器。而槍這種先進武器一般只會配備給王牌嫡系部隊使用。
直到1920年代中後期，我國軍隊裝備逐漸現代化的同時，大刀仍作為一種主戰武器保留下來。其原因一是對敵人來說，遇上大刀就難免有被梟首示眾的厄運，具有一定的威懾作用；另一個重要因素是當時步槍基本依靠進口，軍隊中刺刀多半配備不齊，國內也很少能自行補充，肉搏時只能以大刀對敵。因此，在日軍最初入侵的時候，在戰場上通常出現這樣一道奇怪的景觀：最原始的大刀與最先進的坦克同時出現在戰場上。
在我國，大刀的主要對手就是日軍的刺刀和武士刀。並且，我們經常可以在許多影視劇中看到手持大刀的我國士兵同侵略者進行戰鬥，但是在影視中我們卻經常可以看到這種現象，大刀往往在戰場上所向披靡，一旦碰到手持大刀的我方士兵，日軍便會以很快的速度戰敗，這就使得我們經常誤認為大刀對上日軍的武士刀和刺刀，具有先天性的優勢。實際並不盡然，因為影視劇中很難再現比較真實的大刀與刺刀對拼的場面。例如在電影《七七事變》中，有一段趙登禹師長與部下對練，最後用大刀將部下的步槍一劈兩半的情節，細心的觀眾很快就會發現，那支步槍根本沒有刺刀，持槍者也沒有任何拼刺的動作，只是將步槍當作棍棒來抵擋大刀的進攻，迅速落敗自然在所難免。
在真正的白刃戰中，槍刺以迅速有力的直刺為主，目標在對方胸腹，而大刀被型制限制，以對敵上半身的劈砍為主，兩者各有利弊。大刀防禦敵方的直刺，只有將對方的槍身或刺刀格開，如果沒有足夠的力量和技巧是不容易辦到的。大刀的優勢是刀重勢猛，砍上非死即傷，但作用距離有限，必須儘量貼近敵人身體，因此最適合在工事、房屋、樹林等空間有限的環境中使用。而在開闊地形或衝鋒時，除非敵人在氣勢上被己方完全壓倒，否則持大刀者難以占到便宜。同時，大刀要求使用者有比較好的武術功底和身體素質，並經過長期練習，才能運用自如，而刺刀拼刺的訓練則相對比較簡單。
此外，大刀對使用者的腳法要求也很高，因為大刀相對帶刺刀的步槍來說比較短，短兵破長器，要點在於腳下疾速靈活，因此武術家常有「短見長，腳下忙」的說法。吳殳說：「大刀擊實之法則在斫其槍桿，槍桿被斫，不斷折必粘住。杆被粘住，則不能閃轉顛提，刀更進步，必傷人矣。」但是如果敵方步伐也非常快捷，「擊實」之法將可能淪入最危險的「拙力」境地，持刀者必敗。而且在除肉搏外的其他形式戰鬥中，大刀基本上沒有用武之地，作為輔助兵器也非常勉強。
但是，真正的戰鬥畢竟不是武術對練，特別在對付有著現代化裝備的日軍時，這些刀法對於提高大刀這種原始兵器戰鬥力的有效性顯然很微弱。因為不是所有的人都是武術高手，當時的我國士兵大多數都是放下鋤頭的農民，用大刀也只會一些簡單的劈砍動作，而日軍對於槍刺的訓練是非常的嚴格的，並且其練起來也比較簡單，在抗戰初期的時候，日軍的射術和拼刺水平都很高，往往我國士兵好幾個都對付不了日軍的一個士兵，這就使得大刀的弊端開始顯現，儘管整個抗戰期間我國軍隊都嚴重缺乏步槍，但是1939年以後正面戰場上的肉搏戰中，我國軍隊幾乎都換上了刺刀。
相比於國軍部隊，當時的解放軍在武器裝備方面更困難，自從誕生日起，因為敵強我弱的客觀環境，加之幾乎沒有自己的軍事工業，我軍的武器多數依靠戰場繳獲，由於來源不穩定和數量不足，不得不大量使用大刀、梭鏢等原始冷兵器作為補充。如今湖北省洪湖市的標誌性雕塑仍由三把大刀組成，刀尖直指藍天，象徵著當年紅軍以大刀創建洪湖根據地的歷史。而在我軍的戰史中也湧現出過許多與大刀有關的英雄群體和經典戰例，如強取白戰關等，徐海東、許世友、秦基偉等著名將領在紅軍時期也都曾有過靠大刀殺出血路或贏得勝利的經歷。
而大刀的另一重要意義就在於它可以使得快速的武裝群眾、開展群眾性的游擊戰爭成為可能。因為在那個時候敵人的汽車、鐵軌等鐵製品都以作為製作大刀的原料，成本非常低廉，只要找一個熟練的鐵匠就可以批量製造，即使在毫無工業基礎的農村中也能大量製造，同時使用簡單，兒童和婦女也能使用，在素來有習武傳統的我國農村地區很容易推廣，比起槍枝來更容易普及。