1931年

10月 受中共驻共产国际代表团派遣回国内从事抗日斗争。

12月上旬 在上海和中共中央接上组织关系，中央军委派其到东北组织领导抗日斗争。

1932年

2月 到哈尔滨找到中共满洲省委，任省委委员、军委书记。

4月 根据满洲省委指示，到吉东宁安从事组织、领导吉东地区的抗日武装斗争工作。

6月 率部攻打宁安东京城获胜。

8月 应救国军总司令王德林聘请，任救国军总参议、前方司令部参谋长。

9月 参加指挥攻打安图、敦化县城、额穆索等战斗，取得胜利。

10月9日 参加指挥救国军攻打宁安县城战斗。在战斗中左腿负伤。

1933年

9月 成立救国军辽吉边区留守处，任主任，领导辽吉边区军开展游击战争。

1934年

2月16日 在宁安县东南山主持召开各抗日部队代表会议，成立绥宁反日同盟军。

3月1日 成立绥宁反日同盟军办事处，任主任。同时在办事处内成立了军事委员会，任主席。不久成立绥宁反日同盟军党委，任书记。

6月15日 召开中共宁安县委与反日同盟军党委联席会议，会议决定：组织东、西两支派遣队进行远征。

6月24—30日 指挥第二、第五军联合部队进攻汪清绥芬大甸子街。战斗中腿部负伤。

11月 在宁安指挥绥宁反日同盟军开展反“讨伐”斗争。

1935年

2月10日 绥宁反日同盟军改编为东北反日联合军第五军，任军长、党委书记。20日发表成立宣言。

4月 按照中共满洲省委“临时通知”精神，独立自主地在吉东地区开展反日斗争。

9月10日 在宁安小苇塘沟第五军军部开会，议决秋冬季服装、给养征收办法、关于反日统一战线的相互关系及第五团发生叛乱事件处理问题。

12月7日 率第五军、第二军各一部，在宁安镜泊湖左岸和日军作战，毙伤日寇30多人，伪军150多人。

1936年

1月20日 在宁安县北湖头主持召开第二、第五军党委特别会议。研究第二、第五军联合行动问题，讨论整顿第五军问题和第二军的军队组织领导等问题。

1月28日 发出东北反日总会、东北反日联合军等告全国海内外同胞及国内军政要员书。呼吁全国总动员，对日宣布作战。

2月下旬 召开第五军高级干部会议，作目前形势问题报告，总结第二、第五军1935年工作概况，安排新的工作计划。东北反日联合军第五军改编为东北抗日联军第五军，任军长、军委书记。

5月 以抗联第二、第五军政治部名义发布《为日本帝国主义强迫修筑集团部落，增兵满洲，武装移民，告民众书》。

9月24日 在宁安泉眼头召开第二、第五军干部会议，决定亲率第五军教导队东移北进，同第五军第一、第二师主力会合。

9月28日 率第五军军部及教导队自宁安东移，后向中东铁路道北转移，在宁安设置留守处。

11月15日 发出第五军党委会通告，转发中共代表团10月2日寄来“中央新政治路线”指示信。

12月 指挥第五军和第二、第三军各一部在依兰县刁翎大通沟与日、伪军展开激战，毙伤日、伪军多人。