伍子胥逃到宋国，与太子建会合，偏又逢上宋国内乱，君臣相攻。两人再度逃到郑国，太子建哀求郑定公帮他们报仇，郑定公没有答应。太子建报仇心切，竟勾结反对派大臣篡权，被郑定公杀害。伍子胥抱着太子建与冒充孟嬴的秦国少女所生的孩子公子胜，侥幸逃出虎口。

天下虽然很大，可伍子胥却找不到立足之地。楚国附近的国家都臣服楚国，只有吴国，正在跟楚国对抗，有可能收留他们。于是，逃往吴国。

楚平王和费无极获知伍子胥逃跑后，也分析到他可能会逃去吴国，便命人沿途画像通缉，昭关是去吴国必经之路，官兵盘查更加严密。伍子肯几次走到关城附近，都没敢前去。正焦急之际，伍子胥在街道上碰见了一个叫东皋公的人，是他父亲的旧交，便把伍子胥领回家中，乔装打扮一番，第二天把他送出了关外。

公元前年，伍子胥历尽艰辛，来到吴国都城。然而，苦难还远没有结束，在这里，他举目无亲，投靠无门，又身无分文，靠在街头吹箫讨饭度日。他身心交瘁，不知道自己哪一天会倒毙街头。

一个偶然的机会，伍子胥遇到了吴国贵族公子光。公子光是老吴王诸樊之子，诸樊死时，遗命王位继承采取兄终弟及的方式，但传到夷末时，他没有传给兄弟季札，反而让自己的儿子僚继了位。公子光对此不服，多年来一直培植亲信，时刻准备夺权复位。他见伍子胥身长八尺，虽然破衣烂衫，眉宇间却透出股股英气，又对伍奢一族有所耳闻，便将其收在门下，引为智囊。伍子胥总算有了归宿。

伍子胥在与公子光的接触中，敏锐地洞察到公子光与吴王僚之间的矛盾，他心想，助公子光登基，自己便立下奇功，肯定会官拜上卿，到那时，就可借吴国之兵伐楚，报杀父之仇。为此，他寻找到勇士专诸，把他引荐给公子光。

公元前年，吴国趁着楚平王死后楚国政局动荡之际出兵攻楚，不想吴兵反被楚军绝了退路，围困起来。抓住这个吴国内部兵力空虚之机，伍子胥和公子光决定以宴请为名谋刺吴王僚。

吴王僚接到公子光的宴会邀请，虽然有所顾忌，但仍然身披重甲，带着一队全副武装的卫士前来赴宴。宴会上，专诸假扮厨师把一大盘热气腾腾的炙鱼端到吴王僚面前，猛然从鱼腹中抽出锋利无比的“鱼肠剑”，扎入吴王僚胸口，吴王僚当场死去，两旁卫士见此情景一拥而上，将专诸乱刃砍死，这时公子光带着预先埋伏的甲士冲出来，高叫：“吴王僚已死，公子光当立，从命者不杀！”众卫士见大势已去，纷纷瓦解。公子光于是自立为王，这就是吴王阖闾。

吴王阖闾即位后，让伍子胥参与谋划国家大事。在伍子胥的主持下，吴国修筑了阖闾城（今苏州），并整车习武，广揽人才，招来军事家孙武训练士卒，国势日强。