距今7 000年前的新石器时期，雅鲁河、绰尔河流域已有人类活动。

尧、舜时代，雅鲁河、绰尔河流域均在古肃慎国内，其地为濊貊部余部夫余部所居。

春秋时期，扎兰屯市境域内的雅鲁河、绰尔河流域为东胡的重要游猎地之一。

东汉末年，雅鲁河、绰尔河流域处于鲜卑势力东界之地。

386年，雅鲁河、绰尔河及阿伦河流域为夫余国势力范围之内，为勿吉国黑水部。

唐宪宗时，雅鲁河、绰尔河流域属南室韦中的和解部和乌罗护部（即北魏乌罗侯）两部的游猎之地。

五代时期，契丹皇族遥辇、迭刺二部长期居住在雅鲁河、绰尔河、阿伦河流域，为契丹人活动中心。1116年，辽在泰州（今黑龙江泰来县塔子城）北设金山县，后升为静州。为雅鲁河、绰尔河流域，即今扎兰屯市境域。

相传，成吉思汗铁木真曾在雅鲁河流域屯驻重兵，他在统一草原各部和西征南战中，未实行分封前，大兴安岭岭东地区为其部将木华黎所统辖。1214年，铁木真对几个立有战功的弟弟和外戚家族进行分封，铁木真幼弟帖木真·翰赤斤的封地在大兴安岭东西之地以及嫩江、松花江一带，扎兰屯市境域在其封地内。

1408年,明王朝设立的阮里河（即雅鲁河）卫，即设在今大兴安岭东麓雅鲁河流域，同时在绰尔河流域设置了朵颜卫。1644～1661年，沙俄军队入侵黑龙江以北广大地区，清王朝忙于平定关内反清叛乱，无力顾及边疆防务，遂采取消极的内迁政策，将居住在这一边区的鄂伦春、鄂温克、达斡尔等族迁至黑龙江南岸居住，其中部分鄂伦春人、鄂温克人被迁至雅鲁河、绰尔河、济沁河流域的原始森林中游猎，雅鲁河、音河流域被编为“雅鲁阿巴”，济沁河流域被编为“济沁阿巴”，绰尔河流域被编为“托信阿巴”。

1683年，今扎兰屯市境归黑龙江将军管辖。

1691年，清王朝在3个“扎兰”、5个“阿巴”的基础上，建立布特哈八旗（即打牲八旗），嫩江流域的达斡尔、鄂温克、鄂伦春人均编入八旗之内。每旗十几或二十几佐不等，每佐设佐领1人，佐下设额兵催领（头目）4人，正蓝旗、镶红旗同驻雅鲁河，正蓝、镶红两旗设扎兰衙门，并派有“扎兰章京”坐镇今扎兰屯，司掌正蓝、镶红两旗的军事和行政事务，由布特哈总管衙门节制。

1894年，清王朝裁撤布特哈总管，改升为布特哈副都统，仍隶属黑龙江将军管辖。同年，扎兰屯设立官庄，由扎兰章京总领收容关内人口、屯田等事宜。

1906年，清王朝裁撤布特哈副都统以嫩江为界，分设东、西两路布特哈，各设总管1人，西路布特哈总管驻宜卧奇，分别掌管本路所辖各旗事宜，雅鲁河流域属西路布特哈。每旗设佐领1人，扎兰衙门废止。

1916年3月1日，中华民国政府为管理自行流入的垦荒农民和发展招垦事业，黑龙江省在大兴安岭东麓济沁河流域设置济沁河稽垦局；同年7月1日，设置扎兰屯稽垦局，同时设立辅佐稽垦局管理土地开放事务的佐治局。1926年2月2日，济沁河、扎兰屯两稽垦局废止，设立雅鲁设治局，局址在今扎兰屯，由黑龙江省委派设治员进行管理。

1923年3月，中华民国政府设立东省特别行政区行政长官公署，掌管辖地内铁路两侧附属地行政事务。

1929年1月5日，中华民国政府黑龙江省行政公署将雅鲁设治局改升为雅鲁县，隶属黑龙江省管辖，为三等县。雅鲁县辖境东至阿伦河西岸与布西县分界，南与景兴县、扎赉特旗分界，北至内兴安岭与呼伦贝尔的呼伦县分界。

1932年6月27日，伪满洲国成立后，撤销雅鲁县建制，将原雅鲁县行政区分设为布特哈左翼旗（驻地今扎兰屯）、布特哈右翼旗（驻地博克图）。1933年5月12日，布特哈左翼、右翼两旗合并为布特哈旗，隶属于兴安东分省，伪旗公署设在今扎兰屯。

1945年8月，日本宣布无条件投降，伪满洲国布特哈旗公署解体。1946年5月，布特哈旗政府组建后，隶属于东蒙古人民自治政府纳文慕仁盟（省）政府。1947年5月1日，布特哈旗归内蒙古自治区政府纳文慕仁盟领导。1949年4月，改属呼纳盟政府。

1950年1月23日，内蒙古自治区人民政府决定将布特哈旗所辖的博克图努克图（雅鲁、巴里木即巴林两嘎查）划归喜桂图旗（今牙克石市）管辖。

1953年4月1日，内蒙古自治区人民政府决定撤销呼纳盟，建立内蒙古自治区东部行政公署，布特哈旗直接隶属于东部区行署。1954年4月，东部区行署撤销，将原呼纳盟、兴安盟合并为呼伦贝尔盟，布特哈旗隶属呼伦贝尔盟。

1969年8月1日，布特哈旗随呼伦贝尔盟划归黑龙江省。1979年7月1日，布特哈旗随呼伦贝尔盟复归内蒙古自治区。

1983年10月10日，经国务院批准，撤销布特哈旗，在原行政区内设立扎兰屯市（县级）。1984年1月1日，实行市建置。

2001年10月10日，国务院批准撤销呼伦贝尔盟设立地级呼伦贝尔市；撤销海拉尔市设立海拉尔区。呼伦贝尔市辖原呼伦贝尔盟的阿荣旗、莫力达瓦达斡尔族自治旗、鄂伦春自治旗、鄂温克族自治旗、陈巴尔虎旗、新巴尔虎左旗、新巴尔虎右旗和新设立的海拉尔区；代内蒙古自治区人民政府管辖满洲里市、牙克石市、扎兰屯市、额尔古纳市和根河市。

至2006年，扎兰屯市建置未发生变化。