1937年8月，根据中央军委决定，中国工农红军第二方面军、陕北红二十七、二十八军、独立第一、第二两师，在陕西省富平县庄里镇集中改编为国民革命军第八路军第一二〇师。以红二军团和红二十八军编为三五八旅，以红六军团和红三十二军编为三五九旅，两支英雄的部队就此诞生。

　　此前，红一、二、四三个方面军，经万里长征虽然在陕北会师，但却都驻扎在保安县及其西北最贫穷的一些地方。经国共两党代表协商，国民党的军队自行退出延安及其南面的几个县，让红军进驻，以利红军休整，待开赴抗日前线。

　　1937 年1月6日，毛泽东任命张宗逊担任中央军委总参谋部(参谋长叶剑英)第一局局长。中央军委一局，也称中国工农红军总部一局，是军委指挥机关的一个综合部门，下设作战、文秘、机要、警卫和行管等业务单位，并直接指挥中央警卫团。其性质与职能，类似于现在的军委办公厅加总参作战部，再加机要局、警卫局和管理局。出任如此要职，可见毛泽东对张宗逊的信任与器重。

　　当时张宗逊还不到29岁。到职后，他立即筹划把军委机关迁往延安的事宜，亲率警卫团一部及先遣人员，乘马星夜赶往延安，划分了各单位的驻地，布设了警戒，制订了迁移方案。随即，他返回保安呈请毛泽东审定并下达各单位后，又护随毛泽东由保安向延安转移。

　　1937 年5月，毛泽东同张宗逊等18位参加过秋收起义的同志在延安合影，并亲笔在照片的顶端深情地写上:“一九二七年秋收暴动成立工农革命军第一军第一师至今尚存之人数约数十人，此为一部分”。毛泽东生前一直很喜欢这幅照片，解放后全国的许多报刊多次刊登，军事博物馆、历史博物馆等许多展览馆长期展出。

　　从 1937年1月至7月，张宗逊跟毛泽东同住在延安城内凤凰山跟前一个院子里，直接协助毛泽东和军委总部的首长处理军务。此时的张宗逊，成了联接红军各大单位的中间环节，从而也结识了红军总部和各个方面军的领导同志。在这半年多的相处过程中，张宗逊也获得了近距离向毛泽东学习的大好机会，几乎每天都能听到毛泽东讲话，看到毛泽东起草或批改的文电。期间，应贺龙的请求，毛泽东派张宗逊到红二方面军工作，担任第4师师长，成为红军中少有的在三个方面军都任过职的高级指挥员。

　　红军改编为八路军后，张宗逊担任第三五八旅代旅长、旅长，下辖第七一五团、第七一六团。在张宗逊率领下，这支5000之众的劲旅迭挫日寇。

　　1937 年9月3日，三五八旅东渡黄河，开赴山西抗日前线，于28日进至晋西北的神池、八角堡地区，发动群众，开辟抗日根据地。随后，配合国民党军在雁门关东西长城各要隘作战。10月，在配合国民党军进行忻口会战中，三五八旅深入日军侧后，在辛庄、雁门关等地区破击公路，袭击日军运输队，使进犯忻口的日军一度补给中断。

　　1938年3月～4月，三五八旅会同三五九旅等部反击日伪军对晋西北地区的首次围攻，收复7座县城。5月，为配合国民党军反攻归绥 (今呼和浩特市)，旅部率七一六团开赴雁北，在朔县(今朔州)、岱岳(今山阴)、怀仁间开展游击战。9月，日军向晋察冀边区北岳区的五台、阜平、涞源等中心地区发动了大规模的“围攻”，第三五八旅奉命参加反“围攻”作战，向同蒲铁路(大同—风陵渡)北段和平绥铁路(今北京—包头)西段出击。10月下旬，当张宗逊得知一股日军孤军深入后，便果断地抓住战机，指挥部队在五台县之滑石片地区设伏，一举全歼进犯五台的日军1个大队700余人。

　　1939 年1月，一二〇师主力开赴冀中，为加强交流、协同作战，八路军第三纵队与张宗逊的三五八旅进行交流:七一五团与第三纵队独立第四支队合编，成立一二〇师独立第一旅;第七一六团与第三纵队独立第五支队合编，成立一二〇师独立第二旅。同时，以张宗逊为主组成纵队(亦称“张纵队”)指挥部，统一指挥独立第一、第二旅，随即全歼了向冀中军区进攻的国民党河北民军司令、反共顽固分子张荫梧部。

　　1939年9月，一二〇师进行整编，“张纵队”撤销番号，独立第二旅改称第三五八旅，张宗逊仍任旅长。为区别于彭绍辉担任旅长的新三五八旅，亦称“张三五八旅”或“老三五八旅”。就在这时，向晋察冀抗日根据地进行 “扫荡”的日军改变战术，袭击了抗大二分校驻地陈庄。为了歼灭这股日军，一二〇师领导指挥部队在敌人撤退的路上设下埋伏。张宗逊参与指挥了这次作战，一举将进犯的这股敌人全部歼灭，无一漏网。在贺龙手下工作期间，张宗逊的勇敢顽强，深得贺龙赞赏。当年底，张宗逊率部返回晋西北地区，先后参加晋西北夏季反 “扫荡”和百团大战，沉重打击了晋西北地区的日寇。1940年11月，他兼任晋西北军区第三军分区司令员，率部坚持抗日斗争。

　　1943年3 月，蒋介石出版了《论中国之命运》一书，发出了强烈的反共信号。毛泽东电令正在晋绥抗日前线的张宗逊，率领三五八旅立即西渡黄河，开赴延安以南的富县地区，准备抗击国民党军的进攻。这时，“张三五八旅”经过五年多对日伪军作战的锻炼，由1937年秋出征时的两个团、5000余人，已扩编成了四个团及三个直属营、共10000多人的精锐部队。张宗逊返回延安后，向毛泽东汇报了在华北作战和建军的情况，毛泽东听了很高兴，对张宗逊说:“今天留你吃饭，以示祝贺。”席间，毛泽东谈到:“蒋介石从希特勒那里学来点新战术，企图闪击延安。把你们调回来，就是为了对付他。”

　　1945年7月21日，由于胡宗南的部队突然袭击了陕甘宁边区南端关中地区淳化县的爷台山等地，侵入边区宽100多里、深20多里包含四十一个村庄的地区。毛泽东立即通电国内外，揭露国民党顽固派挑动内战的阴谋，并组成爷台山反击作战指挥部，任命张宗逊为司令员，统一指挥三五八旅及附近的部队共八个团，执行收复失地的任务。张宗逊指挥所部，经过周密的准备，采取正面牵制、两翼包抄战术，激战一昼夜，胜利收复爷台山，全歼入侵之敌，震慑了胡宗南，大大改善了陕甘宁边区南部的敌我态势，有力地保卫了党中央的安全。

　　1945年8月20日，中央军委组成晋绥野战军，归中央军委直接指挥。贺龙兼任晋绥野战军司令员，张宗逊任副司令员兼吕梁军区司令员、政委，仍直接指挥三五八旅。吕梁军区位于晋西的吕梁山山脉及其周围地区，与陕北隔黄河相对，是晋绥解放区党政军领导机关所在地，也是连接陕甘宁边区与其他根据地的枢纽。从战略上看，是陕甘宁的东大门。张宗逊坐镇吕梁，实际上仍肩负着护卫延安、保卫党中央的重任。