考古表明，距今5万到2.5万年，黑龙江地区出现的人类是晚期智人，以狩猎采集活动为主。距今大约2.5万年的旧石器时代，古人类就已广泛分布在大小兴安岭以及嫩江等河川流域，从事渔猎采集。在距今1万年左右的新石器时代，黑龙江地区的农耕畜牧逐步发展，与渔猎采集共同构成混合型的经济文化。

至先秦时期，黑龙江流域的肃慎诸族群与中原王朝及诸侯国开始交往。秦汉王朝建立后，逐步将黑龙江流域诸族群纳入王朝边疆的朝贡体系。

秦汉魏晋南北朝时期，黑龙江各族群广泛融合，形成了全新的格局，这一时期在黑龙江地区先后生活有挹娄、沃沮、橐离、夫余、鲜卑、室韦、勿吉、豆莫娄、地豆于等民族或部族。

唐朝时期，粟末靺鞨人在牡丹江流域建立靺鞨国，并于713年接受唐朝册封，始以渤海为号，称渤海国。渤海国创造了灿烂的渤海文明，被誉为“海东盛国”。

黑龙江省地区在辽代属辽阳行省的开元路和水达达路管辖，在金代属上京路统辖，至明初为辽东都司管辖，1409年以后由奴儿干都指挥使司管辖。

16世纪末，黑龙江地区逐渐被建州女真征服。1636年，皇太极建国号为大清，同年派兵驻防宁古塔，负责黑龙江、乌苏里江流域的事务。1653年，驻防官升为昂邦章京，1662年，改称“镇守宁古塔等处将军”，简称宁古塔将军。

1683年，清设立“镇守黑龙江等处将军”，简称黑龙江将军，辖区自宁古塔将军析出。初置将军衙门在瑷珲，管辖黑龙江中上游两岸、嫩江流域和东流松花江左岸的广大地区，黑龙江下游地区仍由宁古塔将军（后改称吉林将军）管辖，黑龙江作为政区之名由此开始。

1907年，清政府在东北废除军府制，改行省制，裁撤黑龙江将军，设置黑龙江行省，是为黑龙江设省之始。

中华民国建立伊始，东三省名称和行政区划沿袭旧制不变。

东北沦陷时期，东北地区行政区划按照日本侵略者进行严密统治的需要，逐步把省划小。至伪满洲国覆亡前夕，今黑龙江省境内共设有滨江、龙江、三江、黑河、北安、东满6省。

抗日战争胜利以后，在中国共产党的领导下，黑龙江地区相继建立了各级民主政府，其中包括黑龙江、嫩江、合江、绥宁（牡丹江）、松江等5省政府和哈尔滨市政府。至1949年5月，各省逐步合并为松江省（省会哈尔滨）和黑龙江省（省会齐齐哈尔）。

1954年6月，中央人民政府撤销松江省建制，与黑龙江省合并为黑龙江省，同时将哈尔滨市改为省辖市并入黑龙江省。同年8月两省正式合并，省会设在哈尔滨市。自此，黑龙江省行政区划再未发生较大变化。