舞鋼市（原舞鋼區）以當地最大的企業舞鋼公司命名。春秋時為柏子國，后為楚，戰國時屬韓，稱合伯。秦置柏亭，漢代分屬汝南郡西平縣、南陽郡舞陰縣。北魏時為西舞陽，隋為北舞縣。唐開元四年為舞陽縣。

1970年國家在馬鞍山南麓、石漫灘水庫南岸興建舞陽特厚鋼板廠，由河南省成立平舞工程會戰指揮部，負責其全面領導。1972年3月成立平舞工區市政建設處，負責市政籌建工作。1973年12月設立舞陽工區辦事處（地級），以舞陽縣的（三里河以南區域）楊莊、八臺、武功、棗林、尚店、尹集6公社為其行政區域（中共河南省委員會1973年12月16日報告備案），屬河南省革委會直轄。

1977年5月撤銷舞陽工區辦事處，并入平頂山市（中共河南省委員會1977年5月30日報告備案），同年11月設立平頂山市舞鋼區。1979年10月平頂山市的舞鋼區劃歸許昌地區（中共河南省委員會1979年9月10日報告備案）。1982年9月22日，國務院批準將許昌地區的舞鋼區劃歸平頂山市。1990年9月4日，國務院批準撤銷平頂山市舞鋼區，設立舞鋼市（縣級），同年10月正式實施。

1996年，舞鋼市面積645.6平方千米，人口約31萬人。轄4個街道、3個鎮、7個鄉：埡口街道、寺坡街道、朱蘭街道、院嶺街道、尚店鎮、尹集鎮、八臺鎮、楊莊鄉、鐵山鄉、武功鄉、棗林鄉、安寨鄉、王店鄉、廟街鄉。市政府駐埡口街道。

2000年第五次人口普查，舞鋼市總人口313089人，其中：埡口街道19248人、寺坡街道23455人、朱蘭街道19533人、院嶺街道13281人、尚店鎮22197人、八臺鎮35803人、尹集鎮23526人、安寨鄉21044人、棗林鄉30320人、廟街鄉14332人、鐵山鄉21880人、武功鄉26019人、楊莊鄉25949人、王店鄉16502人。

2005年，舞鋼市鄉鎮區劃調整：撤銷王店鄉，并入尚店鎮管轄，尚店鎮政府駐地不變；撤銷安寨鄉，并入棗林鄉管轄，棗林鄉政府駐地不變。調整后，舞鋼市轄4個街道、3個鎮、5個鄉：朱蘭街道、寺坡街道、院嶺街道、埡口街道；尚店鎮、八臺鎮、尹集鎮；棗林鄉、廟街鄉、鐵山鄉、武功鄉、楊莊鄉。

2007年4月，八臺鎮趙案莊、張我莊、張樓三個行政村3.7平方千米，近5000口人，劃歸礦建街道辦事處管轄。2010年，棗林鄉撤鄉設鎮。調整后，全市轄5個街道、4個鎮、4個鄉：埡口街道、寺坡街道、朱蘭街道、院嶺街道、礦建街道、尚店鎮、八臺鎮、尹集鎮、棗林鎮、廟街鄉、鐵山鄉、武功鄉、楊莊鄉。