海西州因地处青海湖以西而名。古为羌地，汉时州境东部为先零卑禾等人部落活动范围，西部属“?羌”驻牧地。唐时隶属吐蕃腊城节度使至宋代。元代，西北地区为甘肃行省沙州路辖区，其余大部分地区为宣政院所属吐蕃等处宣慰司辖区。
明初，定为安定、阿端、曲先、罕东四卫地，由西宁卫兼管。清雍正三年，编定青海蒙古左右两翼盟29旗，州境划定9个蒙古旗，统归“钦差办理青海蒙古番子事务大臣”管辖。民国元年海西地区隶属青海省办事长官。民国19年（1930）改都兰理事为都兰县，辖今海西州全境，直隶青海省政府。
1949年9月青海解放。同年11月成立都兰县人民政府（驻地察汗乌苏），辖今海西州全境，直隶省政府。1952年9月26日，撤销都兰县，设立县级“都兰蒙藏哈萨克族自治区”（驻地察汗乌苏）。
1954年1月25日设立海西蒙藏哈萨克族自治区，自治区人民政府驻都兰蒙古族自治区察汗乌苏。辖都兰蒙古族自治区（由原都兰县自治区部分地区设置，相当于县级）、天峻藏族自治区（由原都兰县自治区部分地区设置，驻唐乃亥。相当于县级）、阿尔顿曲克哈萨克族自治区（1953年12月原都兰县郭里峁哈萨克族自治区改称阿尔顿曲克哈萨克族自治区，驻格尔木，相当于区级）。
1955年12月12日，海西蒙藏哈萨克族自治区改设海西蒙藏哈萨克族自治州，自治州人民委员会驻都兰县察汗乌苏。原都兰蒙族自治区改设都兰县（驻香日德镇），原天峻藏族自治区改设天峻县（驻热那亥）。同年10月23日建立格尔木临时工作委员会，驻格尔木，属柴达木工作委员会领导。海西蒙藏哈萨克族自治州辖2县及阿尔顿曲克哈萨克族自治区（由自治州直辖的区级行政单位）。
1956年，设立德令哈临时工作委员会，驻巴音河；设立柴达木盆地工作委员会，驻大柴旦，辖茫崖、格尔木、唐古拉山（驻温泉）、马海4工作委员会；海西蒙藏哈萨克族自治州辖2县、1工作委员会。1957年撤销柴达木盆地工作委员会，改设柴达木盆地行政委员会，仍辖茫崖、格尔木、唐古拉山（驻温泉）、马海4工作委员会。
1958年，柴达木盆地行政委员会改名为柴达木行政委员会；撤销德令哈临时工作委员会，改设德令哈县；同年11月设立县级的茶卡工作委员会，领导原属都兰县的茶卡和南柯柯、北柯柯、王家、希里沟4乡。茶卡工作委员会驻希里沟，属海西蒙藏哈萨克族自治州领导；海西蒙藏哈萨克族自治州辖3县、1工作委员会。
1959年，海西蒙藏哈萨克族自治州人民委员会与柴达木行政委员会驻大柴旦合署办公。撤销茶卡工作委员会，改设乌兰县（驻希里沟）；设立县一级的冷湖市临时工作委员会（驻冷湖）。都兰县驻地由香日德镇迁察汗乌苏；天峻县驻地热那亥改名新原；茫崖工作委员会由茫崖迁驻油砂山；唐古拉山工作委员会迁托托河沿。
1960年以马海和格尔木工作委员会的部分地区设立大柴旦市；撤销冷湖市临时工作委员会，设立冷湖市；撤销格尔木工作委员会，以原格尔木工作委员会的部分地区设立格尔木市。辖3市、4县、3工作委员会。
1962年撤销德令哈县，并入乌兰县。1963年，撤销柴达木行政委员会，海西蒙藏哈萨克族自治州改名为海西蒙古族藏族哈萨克族自治州，自治州人民委员会由大柴旦市迁驻乌兰县德令哈；原柴达木行政委员会所属大柴旦、冷湖、格尔木3市和乌兰、都兰、天峻3县划归海西蒙古族藏族哈萨克族自治州领导；自治州辖大柴旦、冷湖、格尔木3市，乌兰（驻希里沟）、都兰（驻察汗乌苏）、天峻（驻新原）3县和茫崖（驻油砂山）、马海、唐古拉（驻托托河沿）3工作委员会。
1964年撤销冷湖、大柴旦2市和马海、茫崖2工作委员会，将冷湖、大柴旦、茫崖3地区分别设立冷湖、大柴旦、茫崖3镇，由海西蒙古族藏族哈萨克族自治州直接领导。将马海地区划归冷湖镇领导。撤销唐古拉山工作委员会，并入格尔木市。海西蒙古族藏族哈萨克族自治州辖格尔木市及乌兰、都兰、天峻3县。
1965年撤销格尔木市，改设格尔木县。海西蒙古族藏族哈萨克族自治州辖乌兰（驻希里沟）、都兰（驻察汗乌苏）、天峻（驻新原）、格尔木4县。1966年4月，州府由大柴旦迁驻德令哈。
1984年5月，根据青、新两省（区）座谈会议纪要，州内哈萨克族群众全部迁回新疆，国务院遂于1985年4月24日批复（国函[1985]60号），将海西州更名为海西蒙古族藏族自治州，5月21日正式更名。
1988年4月19日，民政部批准（民[1988]行批1号）设立德令哈市（县级），以德令哈镇和乌兰县的怀他头拉、戈壁、郭里木、宗务隆、畜集五个乡为德令哈市的行政区域。
1999年末，海西州面积325787平方千米，人口322609人（根据青海省志；另有一说31.23万人），辖格尔木、德令哈2个县级市，都兰、乌兰、天峻3个县和茫崖、冷湖、大柴旦3个行政委员会，共有43个乡镇、3个街道。
2000年第五次全国人口普查，海西州总人口332094人。其中：格尔木市135897人，德令哈市83585人，乌兰县36015人，都兰县57670人，天峻县18927人；大柴旦（大柴旦镇4405人、锡铁山镇3431人、鱼卡乡1105人）、冷湖（冷湖镇2185人）、茫崖（花土沟镇11131人、茫崖镇5213人、尕斯乡164人）。
2001年2月21日，青海省人民政府青政函[2001]11号文批复：①撤销德令哈市怀头他拉乡，设立怀头他拉镇；撤销郭里木乡，设立并命名为尕海镇（镇政府设在尕海）。②撤销天峻县天棚、关角2乡，合并设立并命名为新源镇（镇政府设在天峻县县城）。③撤销都兰县夏日哈乡，设立夏日哈镇。④撤销乌兰县巴音乡，并入茶卡镇。⑤将天峻县生格乡政府驻地迁至野马滩（青新公路451千米处）。
2001年8月9日，青海省人民政府青政函[2001]81号文批复：格尔木市设立东城行政委员会、西城行政委员会和察尔汗行政委员会作为市人民政府的派出机构。与此同时，青政函[1997]21号文件停止执行。
2002年末，海西州辖3个街道、14个镇、27个乡，263个村（牧）委会、32个居委会。2003年末，海西州辖8个街道、14个镇、27个乡，277个村（牧）委会、63个社区。
2005年，德令哈市撤销戈壁乡设立柯鲁柯镇，将尕海镇的民兴、民乐、平原三个村划归柯鲁柯镇管辖，撤销宗务隆乡。格尔木市撤销郭勒木德乡设立郭勒木德镇，撤销唐古拉山乡设立唐古拉山镇。都兰县撤销宗加乡和诺木洪乡设立宗加镇，将香加乡的幸福村划归香日德镇管辖。乌兰县撤销赛什克乡并入柯柯镇，撤销铜普乡设立铜普镇。天峻县撤销尕河乡并入苏里乡，撤销木里乡设立木里镇，撤销江河乡设立江河镇。大柴旦行委撤销鱼卡乡，并入大柴旦镇。茫崖行委撤销尕斯乡，并入花土沟镇。