1969年他辞去联邦众议员的职务，加入理查·尼克松总统的内阁，成为白宫经济机会办公室的主任和总统助理。其间，发现并重用迪克·切尼，开始了二人长达近40年的密切关系，这种关系在小布什总统任期内对美国的国防和对外政策产生重大影响。
　　1973年2月，拉姆斯菲尔德受尼克松委派，出任美国驻北约大使。1974年8月，尼克松因水门事件被迫辞职，副总统杰拉尔德·福特接任总统。拉姆斯菲尔德被福特任命为白宫办公厅主任。1975年10月底，福特对内阁实行大洗牌（史称“万圣节大屠杀”），原任国防部长詹姆斯·R·施莱辛格因与福特不和而被迫辞职，拉姆斯菲尔德被任命为新的国防部长，成为美国历史上最年轻的国防部长。他原来担任的白宫办公厅主任职务被迪克·切尼接任。在国防部长任内，他持鹰派立场，强调苏联的威胁，不支持对苏缓和，积极主张增加国防经费。后来福特戏称，“限制战略武器条约”的搁浅，应由勃列日涅夫和拉姆斯菲尔德二人负责。拉姆斯菲尔德则诙谐地回应，他对福特的这一评价“欣然接受”（见拉姆斯菲尔德回忆录“已知与未知”）。