明孝宗去世後，將自己的御用內閣謝遷、李東陽、劉健三人留給了明武宗，囑咐三人為顧命大臣，共同輔佐年輕的明武宗。然而明武宗登基之後，卻對這三位顧命大臣不感冒，反而對自幼服侍自己左右的劉瑾等宦官親近無比，甚至到了有求必應的地步。

劉瑾的大名，想必看文的各位應該沒人不知道，這就是明朝有名的專權宦官。據說他當時收受賄賂，大肆剝削百姓，家財萬貫，是當時的世界首富。劉瑾憑藉明武宗的寵愛，禍亂朝政，打壓異己，形成自己的宦官政治集團。

面對宦官專政的局面，謝遷和李東陽、劉健與劉瑾對上。然而每次都是劉瑾憑藉明武宗的寵愛，佔據上風。在直接要求處死劉瑾，而未能得到明武宗的同意之後，謝遷、李東陽、劉健三人共同上書請辭。

後來謝遷和劉健皇帝都恩准還鄉，只有李東陽還留在朝堂。此後李東陽坐到內閣首輔的位置，而謝遷卻閒居在家，期間遭到劉瑾的多次迫害。

三人只有李東陽一人留朝，並且還升官了，所以後世人常將謝遷和劉健擺在高位，而貶低李東陽。但實際上，謝遷和李東陽都是好官，只不過兩人走的道路不同。

謝遷見不慣劉瑾的所作所為，但是皇帝卻執意重用寵信劉瑾，他個人無法與劉瑾同朝為官，所以毅然辭官。李東陽雖然也辭職，但是皇帝不準，所以後來他選擇了與劉瑾虛與委蛇。

劉瑾本人十分欣賞李東陽的才學，所以對李東陽頗為禮遇。李東陽便是憑此，多次從劉瑾手下救出不少被迫害的大臣。就連後來謝遷和劉健兩人受到劉瑾的迫害，也是李東陽為二人說好話這才逃過一命。

謝遷和李東陽都是與國有利的大臣，只不過二人的道路不同。在明孝宗時期，兩人都是輔佐明孝宗的“賢相”，有評價說：“李公謀略高超，劉公辦事果斷，謝公談吐尤健。”

關於謝遷，後世留下了不少他的故事，其中謝公見色不亂的故事，是有名的趣聞妙事。

謝遷才學出眾，少時就已經頗有才名，所以後來受聘鄰郡一個富戶家中擔任家教。那富戶家中有一個女兒，見著謝遷少年博學，談吐優雅，舉止有禮，因此漸漸的對他產生了愛慕之意。

相比於大部分女郎丟手絹、繡花包等表白行為，那富戶的女兒堪稱膽大妄為。他趁父母離家之時，直接來到謝遷的住處，傾述自己的愛慕之意，同時言語間也對謝遷多有挑逗。豆蔻年華的少女，正是貌美如花，最誘人的時候。

對於這樣一位少女的到來，謝遷既沒有做出無禮的舉動，同時也不曾因此沾沾自喜，而有所反應。他十分嚴肅的對女子進行勸說。他說：“雲英未嫁，你應當潔身自愛，舉止莊重才能得到大家的尊重名。如今你私自來找我，不僅讓人覺得你父母家教不嚴，若是遇到輕狂的男子，恐讓你失去貞潔，自此蒙羞。男人內心尊重、敬愛的是端莊賢淑的女子，而不是輕佻、率性而為的人。你且快回去，今日我就當沒有見過你，日後一定要注意自己的言行舉止。”

少女聽了謝遷這一勸告，當下幡然醒悟。想到自己的所作所為，幸虧遇到的是謝遷這樣的君子，若是情況之輩，還不知會發生什麼。當下又羞又急，害怕自己的舉止讓心上人誤以為自己是輕率的女子，十分羞愧，掩面而去。

這算是謝遷這樣一位正經的大臣，難得的桃色故事，倒也讓人看見了他國事之外的另一面。