大约四五万年前，古人类就已生息活动在黑龙江地区。早在先秦时代，黑龙江地区从东至西分布着肃慎、濊貊和东胡三大族系的部分先民。史籍记载，西周初年肃慎人已向中原朝贡。从秦汉至魏晋，在黑龙江地区生息活动的有挹娄人、夫余人、鲜卑人、勿吉人和靺鞨人等。隋唐时期，黑龙江地区在河北道的统辖之下。698 年，粟末靺鞨人在牡丹江流域建立地方政权“震国”，713 年接受唐朝册封，获渤海号，762 年升为属国，最盛时辖5 京15 府62 州，地跨今黑龙江东部和南部。726 年，唐在黑水靺鞨（今黑龙江中下游、松花江下游地区）设黑水都督府。792 年，唐设室韦都督府，地辖今黑龙江西部。辽代，黑龙江地区西部和东部分属上京道和东京道管辖。金代，今黑龙江省行政区域的绝大部分属金上京路统辖，金立国之都上京会宁府遗址位于今黑龙江省阿城区白城。蒙古汗国灭金后，设开元、南京两万户府。元代，黑龙江地区分属辽阳行省的开元路和水达达路管辖。明初归辽东都司管辖，后由奴儿干都指挥使司管辖。清设立宁古塔将军（后改称吉林将军）和黑龙江将军，管辖黑龙江地区。1907 年清政府裁撤黑龙江将军，设置黑龙江行省。中华民国成立后，行政区划大体上沿袭旧制。东北沦陷时期，伪满洲国政权设有滨江、龙江、三江、黑河、北安、东满6 伪省级地方政权机关。解放战争期间，黑龙江地区分为黑龙江、嫩江、合江、绥宁（后改称牡丹江）、松江5 省和哈尔滨市。中华人民共和国成立前，各省市逐步合并为松江省和黑龙江省。1953 年，哈尔滨市改为中央直辖市，黑龙江地区被划分为两省一市。1954 年，松江省与黑龙江省合并为黑龙江省，哈尔滨市并入黑龙江省建制。