1938年3月，粟裕将军带领抗日游击队，从平阳县赶赴皖南，加入新四军的战斗行列，后来其部队改编为新四军第二支队第4团第3营。与此同时，粟裕将军开始担任第二支队的副司令员。不久之后，粟裕将军带领新四军先遣队赶赴苏南敌后进行侦察活动。同年6月11日，他奉命进入南京执行破坏铁道的工作，后来他带入伏击日军，歼灭了大量的日本军官。1939年1月，粟裕将军在水阳镇指挥伏击战，歼灭了400多个日军，同时炸毁一辆火车。
皖南事变爆发后，粟裕将军被任命为新四军第1师的师长，后来又兼任政治委员。同年8月他指挥苏中军民进行反击，一连奋战了42个昼夜，先后战斗130余次，歼灭日军1300人。随着战争的不断继续，粟裕将军积累了大量的军事经验，他对军事指挥有了更加深入的了解和认识，领兵作战能力也跟着水涨船高。
毛泽东曾在一次大胜后感慨说，粟裕将军将来至少能带领四五十万大军作战。这个感慨成了预言，粟裕将军后来确实指挥大规模作战，在解放战争中，粟裕将军指挥的兵力动辄百万，为国家的独立和统一作出了巨大的贡献。
在抗战胜利以后，粟裕又担任了华中军区副司令员和华中野战军司令员等职，指挥过高邮战役和陇海线徐海段战役，歼灭拒降日伪军2万余人。这场战役的胜利为迎击国民党军的进攻准备了内线作战的有利条件，还使得华中、山东解放区连成一片。
在天目山反击战中，粟裕更是一战成名，而他也是全军中率先将游击战向运动战转变的将领。在反击战中，粟裕充分利用了各个纵队的特性，从而使得各纵队都发挥出了自身的最大作用，这也直接促使了这场战斗的最终胜利，共歼敌一万余人。也正是这场战役，粟裕受到了中央领导人的高度赞赏，毛泽东甚至对其评价：粟裕能够指挥50万人。
在进入大反攻阶段以后，粟裕更是将自己指挥大兵团作战的天分展现的淋漓尽致，而在他的手中，少则几十万，动辄上百万的战役比比皆是。
也正是如此，在粟裕逝世以后，他的讣告中有着“尤善指挥大兵团作战”的评价，而这也是所有开国将帅中绝无仅有的评价。
