自匈奴人占领中原以来，北方流离失所之民众纷纷南下避难。刘琨的朋友祖逖也带领几百户乡亲迁至淮河流域。在这长途逃难的过程中，祖逖主动出列指挥，将自己的车马让给老弱有病者，让其乘坐，同时将粮食和衣物分发给大家共享。众人对他敬仰无比，并推举他为首领。
到达泗口（今江苏清江市北）时，祖逖身边已经有一批坚定的战士，他们都是来自北方、希望与祖逖一起早日恢复中原的背井离乡之人。
当时，司马睿尚未即位为皇帝。祖逖渡过长江至建康，劝说琅琊王司马睿：“晋朝大乱，不仅因为胡人的侵扰，更在于皇室内部的争斗，使得胡人得以乘机入侵。现在，我们这些受害的人们都渴望反抗，只要陛下一声令下，派我们去收复失地，那么四方的人心必定会跟随。”然而，即便如此，他仍然没有得到真正的支持，只是被派为豫州刺史，并被赐予粮食和布帛，但军队和武器却需自己筹备。
祖逖带着他的家眷以及随行人员，一路上制造兵器并招募士兵，最终聚集了两千多名战士，便向北进发。当时，由于中原大乱，一些豪强地主利用机会占据堡垒互相争夺。祖逖说服他们停止内斗，与他一起北伐，对不听从命令或依附敌人的，则坚决予以打击。他逐渐获得了更高的地位。
公元319年，当陈川投降后赵国主石勒后，祖逖决定发兵讨伐。这场战争持续了四十天，最终因双方军粮耗尽而告结束。在一次偶然的情况下，当赵营里发现晋营运送大量米粮后，因为贪婪而试图抢夺，却遭到了祖逖设下的伏兵截断，这使得赵营完全断绝了补给，从而导致桃豹部队崩溃。
尽管如此，在战斗中的艰苦生活与同胞们共同努力下，以及奖励耕作并招纳新归顺之人，使得百姓对他赞誉有加。而在一次宴会上，他见到父老感慨万千，不禁泪水涟涟。此外，他还继续扩充军队，以准备进一步的北伐。但最终，被朝廷视为威胁而牵制，他的心情愤懑，最终因疾病去世。他的英勇气概，如“中流击楫”，成为了后世传颂的事迹。
