自匈奴人占领中原以来,北方流离失所之民众纷纷南下避难。刘琨的老友祖逖带领几百户乡亲来到了淮河流域。在这场逃难的行军过程中,祖逖主动出列指挥,将自己的车马让给了老弱有病者,让粮食衣服与大家共享。他的英勇和慈悲使得大家都尊敬他,推举他为首领。
到了泗口(今江苏清江市北),祖逖手下已经有一批壮士,他们都是背井离乡的北方汉子,渴望祖逖能够带他们早日恢复中原。
当时,司马睿尚未即位皇帝。祖逖渡江至建康,对琅琊王司马睿说:“晋朝大乱之源,在于皇室内部斗争,使胡人乘机攻入中原。今百姓遭受敌人的残酷统治,每个人都希望起来反抗,只要大王下令出兵,便能收复失地。”
然而司马睿并无恢复中原的打算,但也无法拒绝祖逖的话,只好勉强答应其请求,并派他为豫州刺史,并给予一千粮食和三千匹布,而人马武器则需自己筹备。
于是祖逖带着随来的几百家乡亲组成队伍横渡长江。当船到达江心,他拿起船桨在船舷边拍打,说:“我若不能扫平占据中原之敌,不再过此。”他的豪言壮语感动了随行士兵,使他们个个激奋。
在淮阴,他们制造兵器招募士兵,一路得到民众支持迅速收复失地。当时长江以北还有许多豪强地主互相争夺堡垒。祖逖说服他们停止内战跟随他一起北伐,对不听号令依附敌人的则坚决制裁。他的威望越来越高。
公元319年,陈川投降后赵国,被石勒派五万援军救助。但被祖逖击败后赵将领桃豹与韩潜又争夺蓬陂城四十天相持不下双方均缺粮。
一次运泥土作米袋诱使赵营断粮,这次行动成功迫使桃豹求救而告失败。最后因病去世留下遗憾事业但“中流击楫”的英雄气概却成为后代传颂的事迹。