现阿巴嘎旗由原阿巴嘎部落和阿巴哈纳尔部几经分合而形成的。汉时为上古郡北境，晋时由拓跋氏管辖，隋唐时被突厥人占领，到了辽代，是上京道的西境，金时又成为北京路的西北境。元朝，阿巴嘎旗地区划入上都路，北元时被封为察哈尔万户地。清顺治四年，受清封爵编为阿巴嘎左右翼二旗。

阿巴嘎旗蒙语系“叔叔”之意，因部落首领为元太祖成吉思汗的同父异母弟别力古台的后裔，故把自己所辖的部落命名为“阿巴嘎”。传说中“别力古台奇石”今天还巍然矗立在“圣井”口上。崇德四年（1639年），别力古台二十世孙额齐格诺颜多尔济率领阿巴嘎部落从原牧地，即今蒙古国克鲁伦河畔南移到现阿巴嘎旗和锡林浩特市一带，开始向清朝臣服纳贡。阿巴嘎旗由此而来。

民国三年（1914年），察哈尔特区成立，改由察哈尔都统节制直至民国十七年（1928年）属察哈尔省府管辖。1937-1947年为伪蒙疆政府统治。1956年建阿巴嘎旗，几经调整，于1963年形成现在阿巴嘎旗行政区域，维持至今。