桓溫伐燕失敗之後，將目光轉移到了東晉內部。東晉內部在同桓溫博弈的同時北方也在發生劇烈的變化。
在擊敗桓溫的戰役中立下大功的慕容垂，愈發遭到慕容評等人的猜忌，無奈之下太和四年（公元369年），慕容垂投奔前秦。最大對手投誠，於是苻堅開始滅燕的計劃。苻堅以前燕未按之前許諾割讓虎牢以西之地給前秦為由開啟戰爭，派王猛率兵攻打前燕。太和五年（公元370年）正月，王猛逼降洛陽太守，在留軍駐守洛陽後自己還師長安。同年六月，苻堅命王猛率領步兵、騎兵六萬再次進攻前燕。在王猛的指揮下，前秦大敗燕軍幷包圍了前燕首都鄴城。隨後苻堅親率精兵十萬攻克鄴城，前燕皇帝慕容暐逃出鄴城，試圖返回遼東的根據地龍城，中途被前秦軍抓獲，前燕滅亡。此後前秦先後滅仇池楊氏、滅前涼張氏，滅鮮卑代國拓跋氏，逐漸統一了北方。
在前秦統一北方的過程中，東晉內部的權力博弈達到了巔峰。寧康元年（公元373年）七月，桓溫的去世使東晉度過了危機。桓溫死後，將兵權交付弟弟桓衝，南郡公爵位則由幼子桓玄襲封。但桓溫世子桓熙不滿這個安排，與叔父桓秘、弟弟桓濟商議密謀殺桓衝，但被桓衝發覺計劃失敗，桓熙等人都被流放長沙。
而東晉朝堂，桓溫死後謝安升任尚書僕射，總領吏部事務，加後將軍，和王坦之等人一起執掌朝政，大權轉移到太原王氏和陳郡謝氏手中。由於司馬曜年幼，桓衝雖然不像其兄那般野心巨大，但其手中的軍隊實力仍為謝安忌憚。為了防止桓衝等桓氏人物繼續專權，謝安請出崇德太后褚蒜子第三次臨朝聽政。隨著寧康三年（公元375年）五月，王坦之去世，謝安勢力地位愈發穩固重要更盛，東晉形成了謝安主內桓衝在位的權力結構的平衡。
東晉雖然保持著內部平衡，和前秦的關係卻出現了變化。早在寧康元年（公元373年），雙方就發生了衝突。桓溫去世沒多久，東晉梁州刺史楊亮為了確保梁州安全，採取了進攻就是最好的防守這一策略，命令其子楊廣從漢中西上出發攻打當時被前秦攻佔不久的仇池。但仇池的守軍可是楊安的精銳，晉軍自然遭遇大敗，楊亮在聽說前線大敗之後嚇得也退守磐險。九月前秦大軍展開反擊進攻漢川。
當年冬天前秦開啟了進一步進攻，苻堅命王統、朱肜率軍兩萬出漢川，前禁將軍毛當、鷹揚將軍徐成率軍三萬直撲劍門關。此時的楊亮早就沒了抵抗的能力，在臨時拼湊的軍隊被擊潰後就倉皇而逃，漢中地區則趁勢被前秦收入囊中。另一邊徐成大軍也順風順水，拿下劍門關，益州門戶洞開，前秦軍隊長驅直入。楊安也迅速南下配合徐成作戰，並有條不紊地依次繼續執行攻佔益州的作戰方略，楊安所部包圍益州川北重鎮梓潼，切斷梓潼和成都方面的聯絡，使其首尾不能相顧。毛當則迅速揮師南下，兵鋒直逼成都。東晉自然不可能坐視不管，從荊州派來援兵，益州刺史周仲孫則選擇固守綿竹關來阻擊前秦大軍。但荊州援兵進軍緩慢，毛當部也沒有選擇強攻綿竹，而是選擇繞過綿竹直取成都，這就使得周仲孫處於腹背受敵的局面，周仲孫狼狽之下只有率部五千精兵逃向南中地區，前秦則順勢奪下了梁益二州。苻堅以楊安為益州牧，鎮成都；毛當為州刺史，鎮漢中；姚萇為寧州刺史，屯墊江；王統為南秦州刺史，鎮仇池。一時間桓溫滅成漢的成果也沒了。
太元元年（公元376年）正月，孝武帝司馬曜加元服，崇德褚太后歸政。謝安以中書監錄尚書事，成為名副其實的宰相。但謝安手下一直缺乏一支可靠的軍事力量，此時對內要防範仍在荊州盤踞的桓衝勢力，對外要日益強盛的前秦政權更是不得不防。一支強大的軍隊成為了謝安急需解決的問題。太元二年（公元377年），謝安推舉自己的侄兒謝玄為兗州刺史，鎮守廣陵，兩年後又兼領徐州刺史，駐節北府。謝玄在此期間招募劉牢之、何謙、諸葛侃、高衡、劉軌、田洛及孫無終等驍將，整合他們麾下以流民為主的軍隊，這支軍隊就是日後影響深遠的北府軍。
北府軍成立沒多久就迎來了機會。太元三年（公元378年）四月，苻堅派苻丕攻打襄陽，荊州刺史桓衝雖手握重兵卻因畏懼不敢展開救援，同時司馬曜命謝玄遣彭城內史何謙遊軍淮泗以為形援，這是北府軍的首次出戰。同年七月，前秦彭超請攻彭城，與攻襄陽之苻丕相互呼應。苻堅同時從西線分俱難、毛盛等軍自襄陽東略淮陰、盱眙，與彭超等合勢。太元四年（公元379年）正月，襄陽失守，東晉守將朱序被俘。
襄陽失守，東晉的淮北也在遭受猛烈進攻。前秦將領彭超等率領步騎兵七萬人進攻彭城。謝玄率領東莞太守高衡、何謙駐紮在泗口準備救援彭城。面對兵風正盛的前秦軍，謝玄放出訊息要派遣何謙進軍留城，留城是彭超輜重所在地。彭超趕忙率軍返回留城保護輜重。何謙迅速率軍前進，解彭城之圍，彭城守將戴逯帶領彭城部眾跟著何謙投奔謝玄。彭超於是拿下已成空城的彭城，然後進軍南侵進攻盱眙，另一邊俱難大軍也攻克了淮陰。同年三月，苻堅派毛當、王顯率軍二萬出襄陽向東和俱難、彭超會師並進攻淮南。五月彭超、俱難攻佔了盱眙，並俘獲了東晉高密內史毛璪之。緊接著前秦軍六萬在三阿包圍幽州刺史田洛，三阿距離重鎮廣陵只有百里。東晉朝廷驚恐不已，趕忙調兵遣將，徵虜將軍謝石率水軍往塗中，右衛將軍毛安之、遊擊將軍王曇之、淮南太守楊廣、宣城內史丘準駐紮堂邑。但前秦毛當、毛盛率領兩萬騎兵向堂邑發動進攻，毛安之等驚慌潰逃。
這個危難的時候，謝玄和他的北府軍又一次站了出來。謝玄從廣陵出發進攻彭超俱難等軍。他先派何謙率軍擊敗三阿之敵，為田洛解圍。彭超、俱難被迫退守盱眙。謝玄又率何謙、戴逯、田洛乘勝追擊，俱難、彭超又被打敗，只能退到淮陰。謝玄又派何謙等人率領水軍趁著漲潮沿河而上，夜間焚燒了淮橋。前秦將領邵保戰死，俱難、彭超後退到淮河以北。謝玄率兵緊追不捨，在君川與其展開戰鬥，再次大破其軍。另一邊謝玄的參軍劉牢之攻破浮橋和白船，督護諸葛侃、單父縣令李都又攻破其運輸船。俱難、彭超繼續向北逃跑，手下早已各自潰散狼狽不已。立下此等戰功，東晉朝廷加封謝玄為冠軍將軍，加領徐州刺史，還屯廣陵，以功封東興縣侯。
對於這次慘敗苻堅也大怒不已，準備追究彭超、俱難的責任，彭超畏罪自殺，俱難被削爵為民。苻堅這邊不準備放棄攻滅東晉的計劃，在平定內亂之後，苻堅準備舉全國之力滅東晉統一天下，一場大戰即將爆發。