「尚方」是專門為皇室製造刀劍兵器和珍服器玩的機構，秦已有之，漢負盛名。由於「尚方」所制的寶劍，鋒銳無比，利可斬馬，所以又被稱為「斬馬劍」。中國古代非常重視禮法，由於尚方制劍只能由皇室使用，所以這種寶劍從產生之初就被賦予了皇權和特權。
「尚方寶劍」的稱謂起源於西漢成帝時，根據《漢書·朱雲傳》記載，直言敢諫的大臣朱雲懇請皇帝賜給他一把「尚方斬馬劍」，用以誅殺皇帝的老師安昌侯張禹。結果事與願違朱雲不但沒有得到「尚方寶劍」，反而差點丟了性命，這就是歷史上著名的「折檻朱雲」的故事。在漢以後的幾個朝代中，用「尚方寶劍」誅殺奸臣賊子仍然只是人們心目中的美好願望。
以尚方劍為名，象徵專斷權力，並有隆重的授劍儀式開始於元代。據《宋史》記載，在忽必烈時，道士張留孫以神道治癒了皇后的病，「帝後大悅，命尚方鑄寶劍以賜」。此時的「尚方寶劍」只是皇家賞賜榮譽的象徵，好比當今的勳章，還沒有被用於審判案件當中。
建立尚方寶劍制度，並賦予以專斷、專殺和便宜行事的權力，開始於明朝萬曆。據《明史》記載，萬曆20年，寧夏叛亂，萬曆皇帝先後賜總督魏學曾、巡撫葉夢熊尚方劍督戰，結果戰勝。自此賜尚方劍，授予專斷、專殺和便宜行事權力做法開始逐漸頻繁起來。
不過歷史上確實有用尚方寶劍殺人的案例，崇禎皇帝登基，親自召見袁崇煥諮詢平定遼東政策方針，並親手將尚方寶劍放到袁督師手中，授予他獨斷專行權力，袁崇煥來到遼東後用它斬殺了有稱霸野心的皮島都督毛文龍。
縱觀歷史，在漢唐宋元以及明前期，「尚方寶劍」只是人民想像中的象徵物，在明朝中後期，才成為現實中的一種制度。真實的包青天生活在宋朝，是不可能有「尚方寶劍」的。