早在杰克逊当选美国总统之前，他与查尔斯狄金森有过一场决斗。狄金森是当时肯塔基州很出色的律师。有点桀骜不驯的杰克逊在狄金森形容他的老婆是个重婚者后对其发出了战帖。确实，杰克逊的老婆是二婚与杰克逊结为夫妇。决斗当天，狄金森只小小地打伤了杰克逊，而身为前军队领导的杰克逊无疑打死了敌人狄金森。这场决斗是杰克逊参加的为数很少的几次决斗之一，而且杰克逊一生当中参加的大多数决斗都是为了维护其妻子的名声。