最早进入图森的据说是三个黄姓华人，他们在十九世纪七十年代即在市区内开了家名为“OK”的中餐馆。随后，更多的华人接踵而至。早期进入图森的华人是在美国有过多年生活和工作经验的华工，或曾修筑铁路，或曾在西海岸的矿山营地当矿工、厨工。本着勤劳节俭的民族习惯，尽管工资报酬低微，不少人薄有蓄积，所以来到图森后不几年内，便斥资开洗衣馆、小吃店，以图自谋生计。彼时铁路尚未开通，他们很可能是乘坐当时流行的交通工具——马车，从Yuma跨过加州和亚利桑那州之间的界河科罗拉多河进入亚利桑那州的。一部分人则可能是从墨西哥入境来到图森的。
    当时的图森在经历过西班牙殖民者、墨西哥人的统治之后再度易手，成为美国领土，生活在图森的居民因而有土著的印第安人、属于西班牙语裔的墨西哥人和到“野西部”（Wild West）冒险“淘金”的欧洲裔美国人。这一时期，图森依旧保留着浓郁的墨西哥风情，民居多是平顶的土坯建筑，临街排列成行，风格朴拙粗犷，和美墨边界以南的其它墨西哥小镇没有太大区别。
    当时的图森市区坐落在A山脚下、圣大克鲁斯河 (Santa Cruz) 东岸，是在一个占地十英亩、1776年由西班牙殖民者率先设置、1821年后为墨西哥人延续使用过的军事土堡的原址上发展起来的。华人最早的聚居点就在这个军事土堡的西南侧，1879年时约有三十多人，全部来自广东“三邑”。
    1880年3月18日，南太平洋铁路修通到图森。又一批华人进入图森，当路轨继续向东南铺设延伸时，有的人选择留下来。1880年6月联邦政府人口统计图森有159名华人，其中包括两名妇女。这批新到者全部是广东“四邑”人，其中以台山人为主。随着“四邑”人的到来，并在人数上取得绝对优势，原先聚居在图森军事土堡遗址西南侧的“三邑”人逐步迁出。新到者便“鹊巢鸠占”，在三邑人原先居住的地段定居下来。不过，据图森地方报纸报道，截至1935年，尚有十多个三邑人后裔在图森居住。  
    现存最早标注华人聚居区的一张1883年的图森地图显示，图森军事土堡遗址西南侧、在主街的东西两侧、南北介于阿拉米达(Alameda) 和朋宁顿 (Pennington) 两街之间，特别是在珍珠街 (Pearl) 和奥特街 (Ott) 与主街 (Main Street) 的交汇处，当时是华人住户最为集中的街区，建有洗衣馆、餐馆、杂货店，甚至庙宇、鸦片馆、赌场等等。这一带就是图森历史上最早的“唐人街”。但它并不是个纯粹的华人社区，除华人住户之外，尚有墨西哥人、白人居住。因图森历史上从未对华人实施过居住隔离和限制，所以在“唐人街”之外还有一些华人住户始终散居在图森市内其它街区。二十世纪以后，散居者的比例越来越大，乃至留在“唐人街”的华人基本上是年老而单身的男子。