元嘉三年（公元426年，北魏始光三年）三月辛己日，劉義隆在完成對謝晦的征討後，率軍返回建康。此時的劉義隆真正成為了劉宋真正的一把手。
隨著徐羨之等人被誅殺，先前被他們排擠的人也得以回到劉宋朝廷中央，謝靈運被任命為秘書監，顏延之被任命為中書侍郎，就連慧琳道人也被劉義隆時常找來談論國家大事。這些人都得到重用了，幫劉義隆奪回大權的功臣自然也被加官進爵了。五月乙未日，檀道濟被任命為徵南大將軍、開府儀同三司、江州刺史，到彥之被任命南豫州刺史。官員任命完畢，劉義隆就把更多精力放在了民生上。劉義隆派遣散騎常侍袁渝等十六人，讓他們分別巡察各州郡縣，考察官員的政績，訪求民間無處申訴的疾苦。劉義隆還下命各郡縣上疏奏報當地的行政得失。不僅如此，劉義隆還每年要親自到延賢堂聽取訴訟過程兩三次。在劉義隆的帶領下，劉宋國內又展現出一片欣欣向榮的氣象。
隨著國力不斷恢復與提升，劉義隆想起了被北魏侵佔的河南之地。恰巧此時，拓跋燾的北魏接連與夏國和柔然爆發戰爭。這讓劉義隆看到了收復河南之地的機會，他決定先禮後兵。元嘉六年（公元429年，北魏神麚二年），劉義隆派遣使者要求拓跋燾歸還河南之地，不然就要發兵奪取。當時拓跋燾正在召集大臣商討對付柔然的事宜，得知劉義隆這個要求後，拓跋燾哈哈大笑，對群臣說，“龜鱉小豎，自救不暇，夫何能為！就使能來，若不先滅蠕蠕，乃是坐待寇至，腹背受敵，非良策也。吾行決矣。”在拓跋燾看來劉宋不過是龜鱉小丑，認為他們難有作為。所以決定先不理睬劉義隆，全力討伐柔然。不出拓跋燾所料，直到拓跋燾討伐柔然返回平城，劉義隆也沒有真的出兵。
但到了元嘉七年（公元430年，北魏神麚三年）三月，劉義隆卻決定北伐了。三月戊子日，劉義隆下詔挑選精兵五萬人，讓自己的心腹愛將到彥之指揮。為了成功收復河南，劉義隆對這次北伐做了相應部署。首先讓到彥之統率王仲德、兗州刺史竺靈秀帶領水軍進入黃河。同時，劉義隆又派驍騎將軍段宏率領精銳騎兵八千人，目標直指虎牢。命令豫州刺史劉德武率軍一萬人隨後進發。又命令後將軍、劉道憐之子、長沙王劉義欣統兵三萬人，監征討諸軍事。雖然已經決定武力奪取河南，但劉義隆還是派殿中將軍田奇出使北魏，讓他告訴拓跋燾：“河南舊是宋土，中為彼所侵，今當修復舊境，不關河北。”拓跋燾聽後勃然大怒，反駁並警告劉宋：“我生髮未燥，已聞河南是我地。此豈可得！必若進軍，今當權斂戍相避，須冬寒地淨，河冰堅合，自更取之。”很顯然戰爭是無法避免了。
雖然拓跋燾當面呵斥了劉宋的使者，但對於劉宋可能開展的進攻，也需要想好應對之策。這時駐守在宋魏邊境的將領們提出建議，應當搶在劉宋大軍發起進攻前先發制人，同時把黃河以北的流民全部殺掉，以免他們成為劉宋軍的嚮導。北魏大臣們紛紛表示贊同這個方案，但有一個人站出來表示反對，沒錯，又是崔浩。崔浩認為當時的天氣加上地形，不利於北魏開展大規模軍事行動。而且在劉宋有所準備的情況下，選擇出兵也不會有太好的戰果。崔浩建議暫時應當選擇以逸待勞，與劉宋大軍進行周旋，等到秋天之後再展開反擊。拓跋燾最終採納了崔浩的意見。
此時的劉宋大軍正在緩慢前進的路上。到彥之大軍雖然四月就已出發，從淮河進入泗水。但因為此時天熱乾旱，導致河水水位一降再降，以水軍為主的劉宋軍隊就行動困難，每天只能行軍十里，結果直到七月才抵達須昌。然後再進入黃河向西進發。隨著到彥之大軍逐步逼近，拓跋燾認為黃河以南四鎮的兵力不足，選擇抵抗也必然是徒勞的，於是就命令四鎮兵馬一律撤退到黃河以北。七月戊子日，北魏駐防在碻磝的軍隊率先撤退。戊戌日，滑臺的守軍也開始撤離。庚子日，拓跋燾任命大鴻臚、陽平公杜超為都督定、相、冀三州諸軍事、太宰，進封為陽平王，負責鎮守鄴城，總領各路大軍。庚戌日，洛陽、虎牢兩鎮北魏的守軍也都棄城撤離。
隨著北魏守軍主動撤出。到彥之軍不費吹灰之力就收復河南四鎮。到彥之隨即開始安排將領把守各地。到彥之任命司徒從事郎中朱之鎮守滑臺，司州刺史尹衝駐守虎牢、建武將軍杜驥駐守金墉。劉宋其他各路大軍則進駐靈昌津，沿黃河南岸列陣守禦，大軍一直延伸到潼關。河南之地成功收復讓所有人都高興不已。唯獨一個人感覺到了潛在的危險，此人就是王仲德。王仲德認定北魏守軍棄城逃跑，只不過是避其鋒芒。等到天冷黃河結冰了，北魏大軍就會展開反撲，但眾人並沒有太把王仲德的話放在心上。
北魏的反擊比王仲德預想的要來得早。八月，拓跋燾任命此前俘虜夏國皇帝赫連昌的安頡為冠軍將軍，由他督率諸軍阻擊劉宋大軍。見北魏方面有所動靜，到彥之這邊也開始採取行動。八月丙寅日，到彥之派部將、當時的劉宋第一猛將姚聳夫，率軍渡過黃河攻打冶坂，企圖會會安頡。安頡見狀，就督領諸軍展開阻擊，姚聳夫所部不敵，被斬首三千餘人，落水而死之人更是多不勝數。姚聳夫大敗而歸。戊寅日，北魏這邊繼續增兵，拓跋燾又派徵西大將軍長孫道生會合丹楊王拓跋大毗屯兵黃河北岸，來防禦到彥之，戰況開始呈現膠著態勢。
十月，到彥之自認沿河佈防妥當，就帶著王仲德回東平去了。北魏抓準機會準備開始反擊，十月乙亥日，安頡率軍從委粟津渡過黃河南下，開始攻打金墉城。此時的金墉城，城防破敗不堪又缺乏糧草，完全沒法面對北魏的進攻。守將杜驥因此打算棄城逃走，但又怕受到朝廷懲治，就想了一個陰險的主意。此時金墉城附近，姚聳夫正率領一千五百人，按照劉義隆的命令，在洛河打撈先前劉裕討伐後秦的戰利品之一，一口大鐘。杜驥於是找到姚聳夫，騙他金墉城已修整完竣，糧食也充足，最為缺少的就是兵員。打撈沉鍾什麼的可以先放一邊，當務之急是一起鎮守金墉，抵擋北魏軍的進攻。姚聳夫不假思索同意了杜驥的一番話。但當他到達金墉時，看到的卻是破敗的城池，根本不可能堅守抵擋北魏。姚聳夫於是就率軍離開了。這正是杜驥等的機會，他正好以此為藉口，放棄金墉城，向南逃跑了。
十月丙子日，因為杜驥棄守金墉，洛陽也很快被安頡攻陷。劉宋守城的五千餘人也成了安頡的俘虜，並被他下令屠殺殆盡。杜驥這邊倒是順利逃回建康，為了逃避責任，他對劉義隆說自己原本打算死守金墉，只不過因為姚聳夫答應幫忙卻又撤退，致使城中人心渙散，情緒低落，所以才會使得金墉丟失，最終導致洛陽也丟失。結果劉義隆相信了杜驥的這番鬼話，一怒之下，義隆下詔將姚聳夫斬首。戰局還未全線開打，劉宋就自損一員猛將。
此時的北魏大軍正在黃河渡口七女津集結，大有就此過河的意圖。到彥之為此甚是擔憂，決定派副將王蟠龍逆流而上去劫奪北魏的戰船。不料王蟠龍所部被杜超等人擊敗，王蟠龍自己也戰敗被殺。安頡隨即展開反擊，和龍驤將軍陸俟一起攻打虎牢。並在十月辛巳日攻克虎牢城。劉宋的司州刺史尹衝拒絕投降墜城而死，而滎陽太守崔模選擇投降北魏。黃河防線被撕開一個大口子，劉宋形勢開始變得不利。為了不讓這次北伐的成果丟失，劉義隆準備啟用劉宋最強將領檀道濟。十一月壬辰日，劉義隆加授檀道濟為都督征討諸軍事，命其統率大隊人馬去討伐北魏。十一月甲午日，北魏其他軍隊也開始行動，叔孫建和長孫道生率軍渡過黃河南下。大戰一觸即發，劉義隆的這次北伐會怎樣發展呢？