抗战时期，山东涌现了很多地方武装开展抗日活动。此外，山东还有国军武装，数不清的地方武装。山东发展成第一大根据地，两位元帅功不可没。

1938年4月底，徐向前率129师部分部队到河北南部发展。据徐帅个人回忆录记载，冀南八路军”解放临清、高唐、临漳、内黄、清丰、滑县等二十多个县城，消灭日伪军万余人，争取伪军反正五千余人，收编数十股杂色武装和二十余县的民团、保安队，建立了五十一个县的政权，控制了西起平汉线、东至运河，南起豫北，北至滹沱河以南的广大地区，人口逾八百万”。

徐帅领导下，冀南抗日根据地发展迅速。1939年春夏，日军集中兵力扫荡华北抗日根据地，其中5个师团3万余人分11路围攻冀南八路军。徐帅回忆“这次反扫荡异常艰苦”，坚持到1939年5月，日军不得不撤出根据地。

1939年5月，徐向前奉命前往山东工作，从此离开了冀南，离开了129师。

徐帅接到命令后，带上一个小分队和从八路军总部、抗大第一分校选调的干部，1939年6月7日到山东。当时山东除了鬼子，国军，还有多支我军部队：

一、由原地方起义武装，张经武任纵队指挥，黎玉任政治委员，辖八个支队，活跃在鲁中、鲁南及胶东地区，兵力4万余人；

二、第一一五师第三四三旅，第一二九师津浦支队为基础，组成的八路军东进抗日挺进纵队。肖华任司令员兼政治委员，开创了冀鲁边平原根据地，控制了15个县的地域，兵力2万多人；

三、第一一五师师部及第六八五团。由代师长陈光、政治委员罗荣桓率领，与地方武装合编后为苏鲁豫抗日支队，兵力8000人左右。

徐向前对这些部队进行了整合。整编地方武装，从115师抽调干部充实，前后抽调了2000多人。加强主力部队，又从山东纵队一次性抽调3万余人枪给115师，加强交流。

1940年6月1日，徐向前离开沂蒙山区，回延安汇报工作。

徐帅离开后，山东抗日武装进行了整合。罗荣桓元帅领导下，山东的抗日武装最后全部统一在一起，发展了鲁南、鲁中、胶东、清河、冀鲁边、滨海等6个军区。

到1944年，日军兵力被抽调南下，剩余日军只能待在交通干线、战略要点和工矿区的一些守备重点，数量只有2.5万人。由于吴化文、厉文礼、张步云、荣子恒等人率部先后投敌，20万伪军是日本维持山东的主要力量。

号称“抗战主力”的国民党军，在山东影响非常有限。他们没有统一的政权中心，各自为政，仅剩的6万部队之间矛盾重重，有的同日伪秘密联系，甚至接受日伪军的番号，有的对日伪和八路军之间两面讨好，也有的向八路军靠拢。

几年时间里，八路军迅速发展，主力部队，还有各级军区，军分区的部队已经达到了几十万人。罗荣桓一贯谦虚谨慎，此时也非常欣喜，1945年7月7日《大众日报》上撰文：“山东有了屹立不可动摇的基础，一如泰山之不可拔一样。”

截止1945年8月20日，我军在山东的部队如下：

第一师，师长梁兴初中将。

第二师，师长罗华生少将。

第三师，师长王建安上将。

第四师，师长廖容标中将。

第五师，师长吴克华中将。

第六师，聂凤智中将。

第七师，杨国夫中将。

第八师，王麓水，1945年12月13日牺牲。

此外，还有11个旅地方部队：

警备第一旅，旅长陈奇少将。

警备第二旅，旅长吴瑞林中将。

警备第三旅，旅长钱钧中将。

警备第四旅，旅长孙继先中将。

警备第五旅，旅长贾若瑜少将。

警备第六旅，旅长刘贤权少将。

警备第七旅，旅长赵寄舟，1947年被撤职 。

警备第八旅，旅贺健少将。

警备第九旅，旅长赵杰少将。

警备第10旅，旅长张仁初中将。

警备第11旅，旅长莫正民（起义伪军），1946年转地方工作。

在山东境内，我军有鲁中、鲁南、滨海、胶东、渤海等5个军区、8个师、11个警备旅、1个海军支队。至9月初，连同地方武装共27万余人。