1938年春季，日寇的精锐部队第十师团的一个旅团等，企图沿津浦线南下攻占徐州。当时国民党第五战区司令长官李宗仁负责指挥徐州一带战事。蒋介石于徐州方面告急时，也认为在战略上有加强第五战区之必要，乃仓促檄调第一战区驻河南补充训练尚未完成的汤恩伯军团与孙连仲第二集团军星夜增援。

第五战区长官部判断，恃战胜余威、骄狂分万的矶谷师团长一定不待蚌埠方面北上敌军的增援呼应，便要直扑台儿庄，以期一举攻下徐州，抢先夺取打通津浦路的大功，故调兵遣将，张网以待。除以孙连仲部正面迎敌外，又派汤恩伯潜行南下拊敌之背，协同孙部包围日军而歼灭之。

3月19日，孙连仲接到命今后，立即指挥部队东调，指定参谋人员先行赴徐州以北地区选定前进指挥所。同时命令池峰城第三十一师进驻台儿庄及其附近地区，构筑工事，掩护他部陆续集中。

第二集团军完成后的布防概况是：台儿庄城寨由第三十一师一八四团防守。该师其他部队一部分防守台儿庄以西七里之范口村及以东约三里之官庄，准备协同台儿庄核心之作战。另一部分沿大运河南岸布防。

池峰城在城寨外指挥。第二集团军的第二十七师、第三十师和第四十四旅陆续集结于贾汪东北和台儿庄以南地区。总司令部设在距台儿庄城寨五公里处。

3月22日，池峰城师进驻完毕。次日，由峄城南下之敌进犯台儿庄，中**队还击，形成对峙状态。刘兰斋率骑兵从台儿庄北门出击日军，乜子彬旅长率第一八三团跟进，在康庄与日军骑兵遭遇，出击部队边战边退，诱敌深入。

第一八三团在獐山与日军激战至晚。同日下午，敌机多架在台儿庄一带低空飞行，进行侦察扫射、一场喋血大战即将展开。

24日晨，日军三个联队约五六千人，在飞机、坦克、重炮配合下，向台儿庄猛扑。临战之际，孙连仲亲赴前线调令下属：“面临强大的敌人，我们只能依靠地形挡住它，再利用夜里的小突击拖住它。没有命令，决不撤退。”

战斗中，日军摧毁了台儿庄北城墙，从突破口冲了进来。池峰城亲率敢死队与敌拚杀。李宗仁闻报，明令以十万银元奖赏。但敢死队员一致表示：“只要抗战，不要银元！”

当晚，池峰城身先士卒，率队夜袭敌阵，在第一八六团配合下，杀出一条血路，将从突破口冲入日军全部消灭。此后连续数日，敌军仗其优势武器装备，利用白昼作战。中**队坚决抵御，同时摸黑夜袭，消灭敌人，双方展开了激烈的拉锯战。

29日凌晨，孙连仲召集军、师、旅长及炮兵团长会议，重申固守台儿庄之志。并指出：当面之敌似在待援中，我以钳形攻势当可聚歼之；第三十一师仍须独自为战，以利外线组织战斗。

战斗延续到4月3日，日军攻占了台儿庄的东南门，侵入城寨内百米，同时掷催泪瓦斯弹。台儿庄三分之二的地方为日军占领，中国守军死伤十之七八。孙连仲的部队据守南关一隅，死拚不退。

这时，李宗仁来电话，严令第二集团军守至次日拂晓，等待汤恩伯军团前来增援。孙连仲大义凛然地说：“长官有此决心，我第二集团军牺牲殆尽不足惜，连仲亦以一死报国家。”于是集合可用之兵，包括炊事兵、担架兵都一并参加，组成一个敢死队，于午夜袭击敌人。

这时，池峰城来电话请示可否撤退至运河南岸，孙连仲命令说：“士兵打完了，你自己填上去。你填过了，我就来填进去。有谁敢过河者，杀无赦！”池部乃以必死之决心，逐屋抵抗至4日黄昏，将敌增援部队击退。

4月6日，中**队完成了合围任务后，全线出击。日军矶谷、板垣两师团阵脚大乱，狼奔豕突，渐向北撤去。孙连仲部与友军内外夹击，横扫残敌。

台儿庄战役以中**队的全胜而结束，史称台儿庄大捷。此役中，孙部武器虽劣，但官兵勇于作战、不怕牺牲的精神弥补了这一点。近战时大刀发挥了很大威力。孙部官兵还用十二枚一捆的束集手榴弹炸毁敌军坦克。

台儿庄战役结束后，孙连仲的部队伤亡严重，但仍在运河东岸参加了掩护徐州国民党军大部队撤退的军事行动。后来日军沿津浦线攻下了徐州，孙连仲部的后路被切断，蒋介石特由汉口派了一架专机把他接回去，他的队伍也由徐州以南越过津浦铁路，开到信阳一带集结整理。

日军占领徐州和津浦线前段、陇海线东段地区后，又以武汉为目标大举进犯。中**队布置在鄂皖和鄂豫边界的高山地带，奉令进行保卫大武汉的作战。1938夏，孙连仲部开到湖北麻城至河南潢川之间的小界岭、两路口一带参加战斗，仍归第五战区司令长官李宗仁指挥。

孙部在这里凭借有利地形，节节阻止日军的进攻，支撑了一个相当长的时间。到了9～10月间，保卫大武汉的战线逐渐瓦解，武汉终于沦陷，孙连仲部退到南阳一带集结。

在撤退途中，第四十二军军长冯安邦被日军飞机炸死。到南阳后，孙撤销了第四十二军的番号，调第三十军军长田镇南为集团军副总司令，以第三十一师师长池峰城为第三十军军长，辖第二十七、三十、三十一三个师。独立第四十四旅改归总司令部直辖。

当时第二十七师师长是黄樵松，第三十师师长是张华堂，第三十一师师长是乜子彬，独立第四十四旅旅长是吴鹏举。

孙连仲的部队在南阳附近驻了一个时期后.又开到叶县、舞阳一带补充整训，改归第一战区司令长官卫立煌指挥，作为这个战区的预备兵团，蒋介石还给孙连仲加了一个第一战区副司令长官的官衔。

1939年夏天，孙连仲乘部队整训的机会，到重庆住了两个月。他觉得自己的部队在抗日战场上表现不俗，尤其是台儿庄一战打得很出名，他想谋求到一个战区司令长官或省主席的地位。

但由于他没有加入派系，在国民党军政要员中，除了和张厉生私人关系较近外，别的没有得力的外援，而蒋介石是不会轻易把较大的权位授予杂牌将领的。

孙连仲活动了两个月后，蒋介石对于像孙连仲这样一个有功之臣也不能不应付一下，便决定把孙调为第五战区副司令长官，作为李宗仁的副手。因为李宗仁是个老将，让孙做他的副手，比做“后起之秀”卫立煌的副手面子上要好看些。

同时蒋还把第六十八军刘汝明部编入孙的第二集团军的序列。第六十八军也是原西北军的部队，当时辖有一一九、一四三两个师和独立二十七旅。六十八军副军长是李金田和陈新起，一一九师师长是田温其，一四三师师长是李曾志，独立第二十七旅旅长是刘汝珍。

这样，孙的第二集团军就有了五个师和两个独立旅。

孙连仲回到叶县不久，调他任第五战区副司令长官的命令就发表了，接着李宗仁就命令第二集团军总部移驻唐河，并令第三十军和第六十八军接替泌阳以东确山以南地区的第—线防务，与信阳方面的日军对峙。

另外还有活动于平汉路东侧的豫南游击总指挥田镇南部，活动于桐柏山地区的豫鄂边区游击总指挥阎廷俊部，也都归孙连仲指挥。

这年年底，第五战区发动了一次“冬季攻势”。第二集团军的任务是攻占信阳。当时信阳和湖北广水一带驻有日军一个旅团，而孙连仲指挥的部队有七八万人，按说攻占信阳是不成问题的，但孙部的将领看到蒋介石把嫡系部队大部分放在后方，把杂牌军队放在第一线，所以他们也都抱定“全军为上”的方针，谁也不肯去和日军死拼。

这个攻势进行了一个多月，连日军的外围据点也没有攻下一个。只是第三十军抽出一个团，乘夜袭入信阳城内，乱打了一阵枪，到天明前自动撤回。这个“冬季攻势”延续到1940年春节才停止下来。

1940年春天，蒋介石曾打算叫孙连仲接替鹿钟麟任冀察战区总司令兼河北省政府主席，带一部分队伍去河北省打游击。孙连仲接到蒋介石征求意见的电报后，曾和高级幕僚们研究。

当时有人主张接受这个职务，因为蒋介石是不会把正式的战区司令长官和后方的省政府主席职位让给孙连仲的。河北省条件虽不好，总算独当一面。但也有人主张不接受，认为河北省不仅有日伪军，而且有八路军。

到那里以后，如果和八路军合作抗日，蒋必不答应；如果与八路军闹磨擦，恐怕很难站住脚，结果有可能连“老本”都保不住。孙连仲权衡利害，认为还是不去为好，就复电蒋介石表示推辞，大意是：

河北省情况复杂，自己才疏学浅，深恐完不成任务，有负委座重托、谨乞另选贤能。