安多弗菲利普斯高中经常与菲利普埃克塞特高中一起被认为是“新英格兰精英预备学校”的标志和特权。20世纪前50年，美国作家William S. Dietrich II将安多弗和其他精英预备学校描述为一个“盎格鲁撒克逊系的白人新教徒统治”的地方。类似耶鲁和普林斯顿这样的精英大学倾向于接受大量预科学校的学生，从而使用配额拒绝录取少数族裔的申请人。1931年《时代》杂志曾经描述了这两个学校的“繁荣”，它们“在规模和声望上就像预备学校中的双生巨人”,基本上相当于常春藤联盟大学如哈佛和耶鲁的直属学校。1960年代，拥有“洁白整齐的牙齿”并穿着鳄鱼牌衬衫的年轻男性是这里的标志，在当时很容易被年轻女性认出：
　　她们仅仅从外貌就可以看出一个男孩是否来自东部的预科学校。不仅如此,她们还可以说出他来自哪所预科学校,通常是圣保罗、霍奇基斯、格罗顿、埃克塞特或安多弗等等，只是取决于他的头发和衣服。
　　——汤姆·沃尔夫，《淡紫色的手套&疯子，混乱和葡萄树》
　　盎格鲁撒克逊系的白人新教徒的统治地位在1960年代开始瓦解，因为精英预备学校和精英大学的招生政策开始强调价值而不是富有。不过，基于不公平的排他性仍有所保留。如果白人新教徒的优势被减弱，学校的财政就会持续贫乏,正如一位作家谴责学校每年耗资不下30000美元一样。然而，从毕业生的状况来看教育正在趋于多元化。例如，克里斯蒂娜•哈特曼在2001-2003年就读于该校，她认为学校的招生政策很盲目。她提到学生团体的多样化，学校为特定学科领域提供专门建筑，学术具有挑战性，老师们很灵活，同学也“聪明好动”。她还详细阐述了安多弗提供两种免费手语以适应她的耳聋。虽然整体形象可能因多样性和强调尊重个人才能而改变，但学校在媒体面前仍然继续意味着特权、金钱、排他性、威望和学术质量，有时则是消极的亲密或傲慢。