正当哈特春风得意之时， 1988 年5 月3 日，《迈阿密先驱报》刊登了一条关于加里•哈特和一位29 岁的女演员兼模特儿唐娜•赖斯“共度春宵”的绯闻。不久，美国各家报纸竞相转载这一报道。顷刻间，哈特的私生活问题成了美国新闻媒介的头号新闻。

    事情的经过是这样的，据《迈阿密先驱报》的负责人说，他们根据一个匿名电话所提供的线索，开始对哈特和赖斯的关系进行跟踪。5 月1 日晚间，该报派出几名记者轮流埋伏在哈特在华盛顿的住宅门前监视（当晚，哈特夫人不在华盛顿）。他们看到赖斯进入住宅，一直到第二天白天尚未见她出来。于是，他们就以此为题，写了上述报道。事后，哈特和赖斯矢口否认关于他们“一同过了一夜”的传闻，并对5 月1 日晚听发生的事作了详细说明。他们说，那天晚上赖斯是同另外一男一女一起到哈特家的。当他们发现门口有人监视后，赖斯和另二位拜访者就迅速从后门离开了哈特家。对此，那位拜访的男客人（一位律师）也作了旁证。尽管如此，在美国公众中，关于哈特与赖斯有不正常的性关系的流言蜚语却日益增多。

    据说，在1988 年3 月，哈特和赖斯与另外一男（已婚）一女（独身）“一起航行”到巴哈马，去验收一条正在比米尼岛上修理的游艇时，他们俩人就在比米尼岛上过了夜。虽然哈特声称他和赖斯不在“同一条船上”，虽然这四位当事人“都坚持说没有发生任何不体面的事情”，然而，由于哈特同他妻子李•哈特自结婚以来的“恩恩怨怨”，以及关于哈特的”“不忠行为”和“喜好女色”的传言，再加上正在流行的绯闻，所有这一切使得许多美国人“相信哈特确实有过私通之事”。这就是为什么1987 年5 月6 日，哈特在达特茅斯学院举行的记者招待会上，遇到了他有生以来“最充满敌意的质询”。有人问哈特：“你是否认为通奸是不道德的”？“是的”“你是否与别人有过私通？”哈特十分尴尬他说：“我不能够回答这个问题。”就在哈特因赖斯事件被弄得焦虑不安之时，《华盛顿邮报》又刊登了哈特的另一桩婚外传闻。1988 年5 月6 日晚，该报记者告诉哈特的一个竞选工作助手，说他们根据一个“匿名的来源”所提供的线索，经“有效地证实”，己掌握了哈特同华盛顿的另一个女人有暖昧关系的“确凿证据”，并要求立刻向哈特当面采访。这真是祸不单行。

    在舆论的交相攻击之下，哈特已清楚地意识到争取总统竞选提名的形势对他已越来越不利。5 月7 日，他决定放弃正在新罕布什尔州进行的竞选活动，无可奈何地飞回到了丹佛。当天，他的竞选总部宣布了哈特暂停竟选活动的消息。5 月8 日，哈特在他妻子李•哈特的陪同下，在丹佛举行记•者招待会，正式宣布他已决定退出竟选。其理由是他不愿意让他的家庭、朋友和他本人进一步受到“谣言和流言蜚语的伤害”。

    接着，他对美国的政治体制和报界进行了猛烈的抨击。他说：“我们必须对这个国家选择政府首脑的体制提出严肃的批评，它使这个国家的新闻界降到了猎人的地位，而总统候选人则成为其猎物；它使记者们藏身灌木丛中，编造不确切的虚假故事；它使照像师们窥测于我们的窗户之间，成群的直升飞机则在房顶上盘旋。我的非常坚毅的妻子也为之落泪，因为她没有一次不在受到侵扰的情况下回到自己的住房”。不过，他也承认，他与赖斯之间有“不检点行为”。