到1961年时，瑟古德•马歇尔已经为从法律上废除种族隔离制作出了一个美国公民所能作出的最大贡献。由于马歇尔的努力，马丁•路德•金博士等民权活动人士──以及遵纪守法的数百万美国人──得到了法律保护。通过从法律上确定不得在公共场所实行种族隔离，马歇尔和他的律师同事帮助形成了一种社会基础，使1964年的《民权法》(Civil Rights Act)等一系列法律能够将多种形式的非公共场合中的歧视定为非法。

    与马丁•路德•金以及其他非洲裔美国领袖人物不同的是，马歇尔先是通过法庭、随后又从政府内部推动民权斗争。作为改进黑人社会处境的一个举措，肯尼迪总统(John F. Kennedy)1961年任命马歇尔担任辖区含纽约、康涅狄格和佛蒙特三州的联邦第二巡回上诉法院法官。上诉法院是仅低于最高法院的高级联邦法院，马歇尔是担任联邦上诉法院法官的仅有的第二位非洲裔美国人。

    马歇尔在担任联邦上诉法院法官期间共主笔98份法律意见书，不曾有一份意见书被最高法院推翻。

    1965年，约翰逊总统(Lyndon B. Johnson)任命马歇尔担任联邦总检察长，此时马歇尔已在提交到最高法院的近30个案子中胜诉。 这一新的任命使他肩负起在最高法院为政府辩护的职责。

    他担任联邦总检察长接手的第一个案子恰好涉及三名民权活动人士被谋杀的联邦诉讼案。这三名活动人士是詹姆斯•钱尼(James Chaney)、安德鲁•古德曼(Andrew Goodman)和迈克尔•施沃纳(Michael Schwerner)。他们在为黑人选民注册登记后，被种族歧视煽动者杀害于密西西比州的纳索巴县。密西西比州法院拒绝将杀人者定罪，但马歇尔成功说服最高法院下令基于违反联邦民权法的指控进行审判。

    1967年6月13日，约翰逊总统提名马歇尔担任美国最高法院有史以来的第一位非洲裔大法官。 约翰逊总统说："我相信他已赢得了他的历史地位，但他在最高法院就职将使之意义更加重大。"