祁班孙，字奕喜，小字季郎，浙江山阴（今绍兴）人。明崇祯八年（1635年）生。少时天资颖悟，喜为诗文，兼通禅学。其诗清丽绝俗，不假雕饰，友人以“真如芙蓉出水饶奇姿”之句称颂之。他与其兄理孙，在族属中排行第五与第六，因此人们习惯呼之为祁五、祁六公子，而不称名。

其父祁彪佳，于崇祯、弘光朝内曾任大理寺丞、苏松巡抚等职。弘光元年（1645年），清军南下，弘光政权灭亡，清军进陷杭州，彪佳投水殉难。彪佳死后不久，淅东江上抗清义师兴起。班孙与理孙也毁家纾难，支持义师，并在家中秘密容纳大批反清复明志士，从事反清活动。其中主要有湖州的钱瞻伯、钱缵曾、潘廷聪，山阴的杨越，萧山的李兼汝，慈溪的魏耕，嘉兴的吴祖锡等人。他们与海上义师郑成功、张煌言有联系。

顺治十六年（1659年），郑成功等大举进攻长江，兵围南京，声势大震，但不久因轻敌兵败。义师撤回海上后，清廷大兴“通海”之狱，借此打击江南汉族地主阶级抗清势力。十八年，一个出身于无赖的僧人孔元章因讹诈钱财不遂，便将他们的通海活动向清吏告密。十二月，浙江将军遣兵捕获钱、潘等人。这时，魏耕正客居祁氏之寓山，杨越先得知钱、潘被捕之事，就连夜赶往寓山，告知此事。班孙召募健儿护卫魏耕从间道浮海，不幸走到台州被清兵捕获，于是班孙兄弟也同时被捕。

在审问中，祁班孙兄弟抢着自认是事件的主谋与策划者。祁氏门客私下计议，不能二人同死，必须设法保全一人，便纳贿于清吏，将理孙放回。后来理孙郁郁以卒。

次年，即康熙元年（1662年）二月被定为逆案。六月初一，魏耕、钱缵曾、钱瞻伯、潘廷聪被处死，祁班孙、杨越、李兼汝及钱瞻伯的3个弟弟虞仲、方叔、丹季被押赴京师，长流宁古塔。

同年十月，班孙出了山海关，取道广宁、沈阳等地。次年三月，渡过松花江，不久行抵戍所。

这时，先已流放至此的友人吴兆骞曾赋诗相赠。内云：“一别朱门瑶草后，相逢紫塞战尘中。交游只讶当时尽，樽酒翻怜此夕同。”

祁班孙除了与吴兆骞诗文唱和外，与杨越交往甚密。一次，与杨越自沙岭泛舟40里，直游至东京城（唐代渤海国上京龙泉府遗址），在“芙蓉碧芦，间错交映”的秀丽景色中，赋诗纪胜，抒发了其“欲下杨生泪，难穷阮子途”的无限感慨。

康熙三年，由于沙俄入侵黑龙江，清廷命宁古塔将军巴海“治师东征，令流人强壮者，供役军中”。班孙与杨越、李兼汝等流人于二月十一日被征调往乌喇（今吉林市）充当水兵。临行时，赋有《复迁》一诗，以咏其事。该诗将宁古塔军民在“长安羽书下”之后，“牛马集前途，糇粮备今日，妇女尽随行”的备战转徒的情景，写得形象逼真。又表现出“意气颇自得”、“献俘见天子”的抗俄御侮的爱国情怀。

由于当地官员对流人管束不严，班孙于康熙四年（1664年）十月初六日自乌喇逃去。其一妾因在宁古塔，未能同逃。

祁班孙逃归后，至苏州尧峰山寺中落发为僧，法号咒明林。次年，又说法于常州马鞍山。作为僧人，他平时不喜讲佛法，专喜议论古今，每当谈到明、清两朝之交的兴亡史，就“掩面欷觑而不能止”。又常对别人说：“宁古塔蘑菇足称天下第一，吾妾所居篱下出者，又为宁古塔第一。”康熙十二年（1673年）十一月十一日卒于寺中，时年39岁。著有《东书堂集》、《紫芝轩集》、《东行风俗记》（又名《盛京风俗记》），前两书已佚。后人辑其遗诗为《紫芝轩逸稿》。