古為羌地，漢時州境東部為先零卑禾等人部落活動範圍，西部屬「羌」族牧地。唐時隸屬吐蕃臘城節度使至宋代。元代，西北地區為甘肅行省沙州路轄區，其餘大部分地區為宣政院所屬吐蕃等處宣慰司轄區。明初，定為安定、阿端、曲先、罕東四衛地，由西寧衛兼管。這裡是和碩特蒙古的地方,清雍正三年，編定青海蒙古左右兩翼盟29旗，州境劃定9個蒙古旗，統歸「欽差辦理青海蒙古番子事務大臣」管轄。民國元年海西地區隸屬青海省辦事長官。民國19年（1930）改都蘭理事為都蘭縣，轄今海西州全境，直隸青海省政府。
1954年1月25日設立海西蒙藏哈薩克族自治區，自治區人民政府駐都蘭蒙古族自治區察汗烏蘇。轄都蘭蒙古族自治區（由原都蘭縣自治區部分地區設置，相當於縣級）、天峻藏族自治區（由原都蘭縣自治區部分地區設置，駐唐乃亥。相當於縣級）、阿爾頓曲克哈薩克族自治區（1953年12月原都蘭縣郭里峁哈薩克族自治區改稱阿爾頓曲克哈薩克族自治區，駐格爾木，相當於區級）。
1955年12月12日，海西蒙藏哈薩克族自治區改設海西蒙藏哈薩克族自治州，自治州人民委員會駐都蘭縣察汗烏蘇。原都蘭蒙族自治區改設都蘭縣（駐香日德鎮），原天峻藏族自治區改設天峻縣（駐熱那亥）。同年10月23日建立格爾木臨時工作委員會，駐格爾木，屬柴達木工作委員會領導。海西蒙藏哈薩克族自治州轄2縣及阿爾頓曲克哈薩克族自治區（由自治州直轄的區級行政單位）。
1956年設立柴達木盆地工作委員會，駐大柴旦。轄茫崖、格爾木、唐古拉山（駐溫泉）、馬海4工作委員會。1957年撤銷柴達木盆地工作委員會，改設柴達木盆地行政委員會，仍轄茫崖、格爾木、唐古拉山（駐溫泉）、馬海4工作委員會。1958年柴達木盆地行政委員會改名為柴達木行政委員會。
1959年海西蒙藏哈薩克族自治州人民委員會與柴達木行政委員會駐大柴旦合署辦公。撤銷茶卡工作委員會，改設烏蘭縣（駐希里溝）；設立縣一級的冷湖市臨時工作委員會（駐冷湖）。都蘭縣駐地由香日德鎮遷察汗烏蘇；天峻縣駐地熱那亥改名新原；茫崖工作委員會由茫崖遷駐油砂山；唐古拉山工作委員會遷托托河沿。
1962年撤銷德令哈縣，併入烏蘭縣。1963年海西蒙藏哈薩克族自治州改名為海西蒙古族藏族哈薩克族自治州。自治州人民委員會由大柴旦市遷駐烏蘭縣德令哈。撤銷柴達木行政委員會，原柴達木行政委員會所屬大柴旦、冷湖、格爾木3市和烏蘭、都蘭、天峻3縣劃歸海西蒙古族藏族哈薩克族自治州領導。自治州轄大柴旦、冷湖、格爾木3市，烏蘭（駐希里溝）、都蘭（駐察汗烏蘇）、天峻（駐新原）3縣和茫崖（駐油砂山）、馬海、唐古拉（駐托托河沿）3工作委員會。
1963年撤銷柴達木行政委員會，原柴達木行政委員會所屬大柴旦、冷湖、格爾木3市和烏蘭、都蘭、天峻3縣劃歸海西蒙古族藏族哈薩克族自治州。
1964年撤銷冷湖、大柴旦2市和馬海、茫崖2工作委員會，將冷湖、大柴旦、茫崖3地區分別設立冷湖、大柴旦、茫崖3鎮，由海西蒙古族藏族哈薩克族自治州直接領導。將馬海地區劃歸冷湖鎮領導。撤銷唐古拉山工作委員會，併入格爾木市。海西蒙古族藏族哈薩克族自治州轄格爾木市及烏蘭、都蘭、天峻3縣。
1984年5月，根據青、新兩省（區）座談會議紀要，州內哈薩克族群眾全部遷回新疆，國務院遂於1985年4月24日批覆（國函[1985]60號），將海西州更名為海西蒙古族藏族自治州，5月21日正式更名。
1988年4月19日，民政部批准（民[1988]行批1號）設立德令哈市（縣級），以德令哈鎮和烏蘭縣的懷他頭拉、戈壁、郭里木、宗務隆、畜集五個鄉為德令哈市的行政區域。
1999年海西州轄2市（格爾木，德令哈）、3縣（都蘭、烏蘭、天峻）、3個行政委員會（茫崖，冷湖，大柴旦行政委員會），共43個鄉鎮，3個街道辦事處。總人口的31.23萬人。
2000年，據第五次全國人口普查數據：海西州總人口332094人。其中：格爾木市 135897人、德令哈市 83585人、烏蘭縣 36015人、都蘭縣 57670人、天峻縣 18927人、大柴旦（大柴旦鎮 4405人、錫鐵山鎮 3431人、魚卡鄉 1105人）、冷湖（冷湖鎮 2185人）、茫崖（花土溝鎮 11131人、茫崖鎮 5213人、尕斯鄉 164人）。
2001年8月9日，青海省人民政府青政函[2001]81號文批覆：格爾木市設立東城行政委員會、西城行政委員會和察爾汗行政委員會作為市人民政府的派出機構。與此同時，青政函〔1997〕21號文件停止執行。
2002年底，海西州轄3個街道、14個鎮、27個鄉，263個村（牧）委會、32個居委會。2003年底，海西州轄8個街道、14個鎮、27個鄉，277個村（牧）委會、63個社區居委會。