杰克逊具有苏格兰人与爱尔兰人的血统。安德鲁•杰克逊的父亲也叫安德鲁•杰克逊，母亲是伊丽莎白•“贝蒂”•哈钦森，他们共育有三个孩子。一七六五年，杰克逊一家卖掉土地，移民美国。他们来到了南北卡罗来纳交界处的沃克斯华地区的苏格兰—爱尔兰人聚居地。在那里，老杰克逊在搬木材时受了伤，于一七六七年三月去世，抛下了怀有身孕的妻子。杰克逊的母亲是一位坚强不屈的女性，杰克逊遗传了她的淡红色头发和蓝眼睛。独立战争期间，她不畏艰辛地养育着三个失去了父亲的孩子。小杰克逊出天花时，有着生命危险，在母亲的悉心照料下，才挨过这个坎。之后，她去了查尔斯顿，看护备受折磨的美军俘虏，在船上她染上霍乱而死。杰克逊十四岁后再没见过母亲。然而，他一生牢记母亲临行前的话：不说谎、不偷窃，除非男人的尊严受到威胁的时侯，不要与人争吵。她还告诫他说“别指望法庭会惩罚诽谤，要靠自己去解决问题”。一七七九年，杰克逊的大哥休在斯托诺渡口之战后病死。两年后，二哥罗伯特与安德鲁一起被俘，患天花去世。
    杰克逊是遗腹子，一七六七年三月十五日生于南北卡罗来纳边界的沃克斯华地区。关于他的出生地点一直存在争议。杰克逊夫人埋葬了丈夫后，就要临产了，她去了兰开斯特县姐姐简•克劳福德夫人家，一般认为杰克逊就出生在那。但有些历史学家认为，杰克逊夫人是在前往兰开斯特的中途拜访联合县的姐姐玛格丽特•麦卡米夫人时，在她家生下了他。杰克逊认同第一种说法，说自己是南卡罗莱纳人。争论一直持续到今天。一九七九年，两县官员决定：每年举行一次联合县和兰开斯特县的高中橄榄球比赛，以杰克逊的外号“老胡桃树”名命，胜者称杰克逊是本地人，可以将一尊杰克逊的半身像摆在县法院里，期限一年。
    年轻的杰克逊勇敢好斗，对批评很敏感，谁取笑他流口水毛病的话，一定是自找苦吃。沃克斯华地区的居民大多是文盲，九岁的杰克逊常给他们读报。一七七六年，他向人们朗读了《独立宣言》。独立战争结束后，杰克逊的母亲和两个哥哥死于战争，他举目无亲，轮流寄居在两个姨夫家中。十五岁时，他继承了祖父的三百五十英镑的遗产。在当时，这是一笔很大的财富。杰克逊拿到钱后，来到查尔斯顿狂赌滥饮，把钱花的精光。在回家的途中，杰克逊竟然付不出房租，他以他的坐骑作赌资，豪赌了一场，大获全胜。杰克逊还清房租，回到了沃克斯华，时年十六。回到沃克斯华后，杰克逊对自己的挥霍深感后悔，他痛下决心，一定要出人头地。
    杰克逊的母亲一心要把他培养成一名牧师，因此他受的教育比哥哥们好。八岁到十三岁，杰克逊开始学基础知识，跟随汉弗莱斯医生和斯蒂芬森牧师学习古典文学。杰克逊不是好学生，也不想当牧师。他的拼写和语法很差。关于OK的传说，来自杰克逊，杰克逊不会拼写all correct，把它写成了all korrect，再缩写为OK，从此OK就成了约定俗成。从查尔斯顿回到沃克斯华后，杰克逊跟随罗伯特•麦卡洛克学习了一段时间。教了一年书。一七八四年，杰克逊离开了家乡，再也没有回去过。
    在北卡罗来纳州，杰克逊请名律师韦斯特梯尔•爱维利收他为徒，被爱维利拒绝。杰克逊只得来到索尔兹伯里在斯普卢斯•麦凯门下学了两年的法律。杰克逊是个特立独行、不受拘束的人。当地人对他的评价是“杰克逊不是一个具有基督教品德的人。”一次圣诞晚会，杰克逊带去了两名妓女，引起大哗。麦凯对杰克逊很失望，他们不欢而散。杰克逊最后在约翰•斯托克斯的律师事务所学习工作了六个月，杰克逊做的只是完成他的该做的事。斯托克斯是个酒鬼，杰克逊常和他一起喝酒，杰克逊还赌博、追女人、学跳舞。一七八七年九月，杰克逊取得了律师资格。
    杰克逊对宗教不很虔诚，但他不是异教徒，他不常参加礼拜。但杰克逊很喜欢读《圣经》，自认是虔诚的基督徒。退休后，杰克逊正式皈依了长老会，这样作是不想让人们指责他信教是出于政治目的。
    杰克逊学了两年半法律，但并没有学到什么，加上他的坏名声，他只好在北卡罗来纳的马丁斯维尔，当店员维持生计。马丁斯维尔是杰克逊的福地，在那里，他遇到了同学约翰•穆奈里。穆奈里家在北卡罗来纳有很深的根基。穆奈里是个法官，杰克逊在他的帮助下，当上了检察官。从此，杰克逊有了固定工作，时为一七八八年。单身的杰克逊为了身份，花了三百元卖了个女奴，从此他成了奴隶主。杰克逊的那点法律知识，常常让他败北。尤其是遇到名律师韦斯特梯尔•爱维利时，每次都被驳的无言以对。一次，杰克逊气极了，从法律书上撕下一页，写了一份决斗挑战书要求与爱维利决斗。爱维利想尽办法避免决斗，但在杰克逊的坚持下，爱维利只得去决斗。决斗时双方朝天开枪，没有伤亡。决斗让杰克逊达出了名。这是杰克逊的第一次决斗，他一生中有过很多决斗，是决斗最多的美国总统。
    一七八九年，杰克逊来到了田纳西的纳什维尔，当时田纳西尚为建州，是土地投机的好时机。不到一年，杰克逊当上了纳什维尔的检察官，他在政治和经济上有了稳定的地位。约翰•道奈尔逊是田纳西的豪门之一，一七八五年，在与印地安人的战斗中丧生，他的遗孀在纳什维尔开了家客栈，杰克逊寄居于此。道奈尔逊女儿雷切尔十七岁时，与路易•罗巴兹结婚。当罗巴兹发现雷切尔与别的男人有交往时，怀疑她行为不端，把她赶回了娘家。这时，杰克逊在雷切尔的娘家寄宿，他劝罗巴兹收回成命，让她回家。罗巴兹把妻子接回了家，两人重归于好了一段时间。不久，罗巴兹怀疑雷切尔和杰克逊有染，再次把她赶回娘家。杰克逊很同情雷切尔，由此产生了爱情。一七九零年底，罗巴兹请求州议会准许他离婚。杰克逊从报上读到这个消息后，以为罗巴兹得到了最终离婚判决。第二年杰克逊与雷切尔“结婚”。作为律师，杰克逊应该懂离婚判决与准许离婚的区别。罗巴兹得知妻子与杰克逊同居后，以通奸为由起诉离婚。一七九三年九月，法院判决离婚。当知道他们的婚姻违法时，杰克逊非常震怒，雷切尔颜面丧尽。一七九四年他们再次举行了婚礼。不幸的是，这件事从未了结，通奸的罪名一直伴随着他俩。政敌们对他的攻击，杰克逊倒不大在乎，但对雷切尔的任何指责都让他无法忍受，作为男子汉，他为了妻子的名誉，作过多次决斗。一八二八年，对雷切尔人品的恶毒攻击严重影响了杰克逊的总统选举。杰克逊尽量不让有心脏病的妻子知道，但雷切尔还是听说了。这种耻辱损害了雷切尔的健康，一八二八年十二月二十二日，她突然病逝。杰克逊认为是他的政敌使她过早辞世，他们是永远都无法被原谅的。“在这个亲爱的圣徒面前，”杰克逊在雷切尔的葬礼上庄严宣誓，“我可以做到饶恕我所有的敌人。但是，侮蔑过她的卑鄙小人只能求上帝宽恕。”
    杰克逊在土地投机中发了财，被选上了联邦参议员，但他未能连任。一八零四年，杰克逊面见杰弗逊，请求让他担任路易斯安纳总督，未准。杰克逊的爱好是养马和赛马，养马让他开辟了一个新行业，发了财。但赛马的爱好带给他一次臭名昭著的决斗。杰克逊挨了一枪，但他忍痛还击，打死了对方。此事引起了田纳西州长的不满。有一次杰克逊说自己为公众利益出过力，州长听后喊道：“服务？我不知道你对国家有过什么贡献，我只知道你拐跑过别人的老婆。”听过此话，杰克逊面若冰霜说道“上帝作证，我不许你提到我妻子的名字。”说罢给了州长一棍子，并要求决斗。几天后，在双方公正人的劝说下和解了。几年后，杰克逊在决斗中打死过一个人，因为此人喝醉后，拿他的婚姻开玩笑。
    独立战争时期，十三岁的杰克逊和哥哥一起加入了大陆军。参加过悬石之战。一七八一年四月，杰克逊兄弟在表兄托马斯•克劳福德的家中，遭到英军的袭击，被英军俘虏。英国军官命令兄弟俩给他擦靴子，遭到拒绝，他就用剑砍了杰克逊兄弟。安德鲁头上留下了一道的伤疤，他从未忘记英国人的暴行。杰克逊是最后一位参加过独立战争的总统，是惟一当过战俘的总统。
    尽管十三岁就当兵了，但杰克逊的军事经验仅限于与印地安人作战。一八一二年战争期间，一位来自密苏里的青年托马斯•班顿请杰克逊组织民兵参战，杰克逊被田纳西州长威廉•布朗特任命为民兵少将司令，班顿为上校副司令，率领二千多名田纳西民兵开往南方的密西西比，没多久詹姆斯•威尔金森将军就让他们交出军需物资和军队。杰克逊交出了政府物资，但没交部队，而是带着部下返回了田纳西。途中，他的部下托马斯•班顿的弟弟杰西•班顿与另一军官发生了一次决斗，决斗中杰西受了伤。托马斯从华盛顿回来后，对此非常不满，认为杰克逊非但没有阻止决斗，还当了杰西的助手。双方吵了起来，杰西向杰克逊开了一枪，杰克逊的人冲进房间，顿时枪声大作。好在没有人死伤。班顿兄弟从此离开了军队。行军途中，杰克逊坚忍不拔的性格赢得了“老胡桃树”的外号。
    一八一四年三月，杰克逊的军队镇压了米姆斯要塞的印第安人起义，这次战役中，杰克逊手下来了一位二十一岁的青年，山姆•休斯顿。休斯顿英勇善战，杰克逊把他升为少尉。战后，休斯顿因伤退役，此后，休斯顿对杰克逊永矢忠贞。
    一八一四年十月，杰克逊被派往佛罗里达，十一月攻占了彭沙科拉。然后，杰克逊进入新奥尔良，负责防御。当时，一万多英军在惠灵顿将军的姻兄爱德华•巴肯韩的率领下向新奥尔良进军。杰克逊只有五千人，他在等待援兵。一八一五年一月八日，英军试图在晨雾的掩护下进攻新奥尔良，杰克逊率军击退了英军。这一战意义非凡，它给英军一个错觉，以为美军敢于进攻，一定有强大的后援，英军因此没有孤军深入，而是在原地等待后援。这就给了杰克逊时间修筑工事。几天后，英军正式进攻时，美军已作好了准备，杰克逊下令要等英军进入射程内才还击。英军还是老一套作战方式，他们陷入了沼泽，动弹不得。美军枪炮齐鸣，巴肯韩中弹丧命。英军大乱，美军百发百中，战果辉煌。英方死三百人，包括三名将军、八名上校，一千多人受伤；美方死亡六人、七人受伤、伤亡率一百比一。新奥尔良之战发生在结束战争的《根特条约》签订之后，但仍是一八一二年战争中最具决定性的一战。战后杰克逊威名大震，成了民族英雄。
    在一八一七年的第一次西米诺尔战争中，门罗总统派杰克逊抗击聚集在西属佛罗里达地区的印第安人和逃亡奴隶的入侵，但命令让他们不得侵入西班牙领土。一八一八年，杰克逊侵入佛罗里达，摧毁了印第安人的村庄，占领了彭沙科拉，推翻了西班牙总督。还处死了两名英国公民。杰克逊是在没有总统的授权的情况下采取的行动，陆军部长卡洪私下里要求逮捕杰克逊，但没有采取行动。一八二一年，担任了几个月的佛罗里达总督后，杰克逊退役。
    一八二四年大选，前总统约翰•亚当斯的长子约翰•昆西•亚当斯最被看好。同时，美国西部的政治力量也在不断壮大。四个侯选人中杰克逊得到选举人九十九票，没有超当选所需的半数一百三十一票。国务卿亚当斯八十四票，财政部长克劳福德四十一票，肯塔基州的克雷三十七票。没人得到当选总统所需的票数，选举结果提交联邦众议院裁决。众院决定对得票前三位的候选人投票，也就是说克雷已出局，但只要克雷支持任何一位候选人，该候选人就能出线。