二连浩特这个名字源于蒙古语“额仁浩特”的译音，它源于达布散淖尔，“达布散淖尔”就是盐池的意思，“额仁”意为海市蜃楼，指市区东北方向的盐湖畔经常出现的五彩斑澜的幻影，“浩特”是蒙语城市的意思。“二连浩特”也可以理解为“五彩斑澜的城市” ，素有“北疆明珠”的美誉。中生代白垩纪恐龙在此繁衍生息，为世界较完整的恐龙化石发掘地，素有亚细亚恐龙墓地之称。早在原始社会，这里就有古游猎部落。春秋战国时为林胡地，亦称东胡地；秦汉时期属匈奴迁徙地；东汉时期乌桓、鲜卑入居；隋唐二代由突厥徙牧；辽为漠葛人部地；金为汪古部族地；元属上都路苏尼特鄂托克地，置木邻（蒙古语“毛仁”之谐音，意为驿马）道玉龙栈；明英宗十四年（公元1449年）归北元左翼三万户，称苏尼特鄂托克、淆置“伊林”驿站。1946——1954年为苏尼特右旗辖地。

二连浩特是1953年随集宁到二连铁路开工通车开设二连站后于1956年4月才设立的，当时是二连浩特镇，隶属苏尼特右旗；1957年，内蒙古自治区人民委员会决定二连镇升格为准县级，盟旗双重管理，隶属锡林郭勒盟；1966年经国务院批准设市（县级）；1969年划归乌兰察布盟管辖，1980年重新划回锡林郭勒盟。1984年，原中共中共中央总书记胡耀邦同志曾经视察过二连浩特，并为二连浩特市题词“北国长城”，提出了“南有深圳，北有二连”的著名言论，使二连浩特市一时声名远扬。1985年1月自治区人民政府决定将二连浩特升格为准地级市；1985年6月，国务院正式批准二连浩特市为甲类开放城市，1986年为自治区计划单列市。1992年国务院批准二连浩特为全国13个沿边对外开放城市之一。1994年，时任中共中央政治局常委、书记处书记的胡锦涛同志视察二连，提出了“在边字上做文章，在开放上下功夫，在内联上求发展”的发展方针，为二连口岸对外开放、经济发展指明了方向，也极大地提高了二连浩特的知名度。