1938年1月6日，新四军军部设在南昌书院街高升巷张勋公馆。9日，军部正式挂牌对外办公。2月11日，叶挺由武汉抵达南昌。他呕心沥血，到处奔波，利用他在海内外的声誉和广泛的影响力，为新四军的组建、南方红军游击队的改编、军部机构的建立健全、军费的筹措、人员的招募、枪弹的购置、物资的补充等做了大量的工作。他不仅吸收了大量的爱国青年投入新四军，而且动员了许多文化人和专门家参加，使新四军的整体素质得到全面的提高。如动员北伐战争时期的国民革命军第三军党代表朱克靖来担任战地服务团团长；邀请医学专家沈其震担任新四军医务处处长；安排大学教授、爱国民主人士林植夫担任敌工部部长；还有经济学家钱俊瑞、薛暮桥，音乐家任光、何士德等都被委以重任。新四军成立时，仅有6200支枪，叶挺想方设法从香港买回了3600支，大大地武装了新四军。新四军的干部和警卫部队使用的短枪，都是叶挺买来的。叶挺为了买枪，让夫人李秀文变卖了她家的家产，还叫自己的胞弟叶辅平担任新四军军需处长。叶辅平在赴香港处理军需物资的归途中，不幸以身殉职。叶挺还把他的几个侄子也叫来参加新四军，为国效命。叶挺为了新四军，不惜倾家荡产。在做好各种准备之后，他和项英一道，迅速指挥部队开赴抗日前线，转战大江南北，实现对日作战。新四军成立仅三年，部队就从1万人发展到10万人，对日伪军进行大小战斗4000余次，毙伤日伪军10万余人。毛泽东称赞叶挺“领导抗战，卓著勋劳”。

尽管叶挺为新四军尽责尽力，但工作环境不利于他军事才能的发挥，其心情并不愉快，曾经要求辞去新四军军长。因为他是党外人士，不能参加中央军委新四军分会的会议，甚至不能看到中共中央和中央军委与新四军往来的文电，新四军内部的一些重大事情也对他回避等等。“三年军长，四次辞呈”，是叶挺内心矛盾痛苦的真实反映。周恩来理解叶挺的难处，对叶挺和项英作了许多工作和帮助。特别是中共六届中央全会后，周恩来亲自送叶挺回到皖南新四军军部。1940年11月，中共中央又任命叶挺为华中八路军、新四军总指挥部总指挥，委以更重要的责任，也表明党中央对叶挺的信任。正当叶挺心情比较舒畅、工作比较得心应手的时候，震惊中外的皖南事变发生了。