万历中，破灭吕宋，尽擅闽、粤海上之利，势益炽。至三十四年，又于隔水青州建寺，高六七丈，闳敞奇閟，非中国所有。知县张大猷请毁其高墉，不果。明年，番禺举人卢廷龙会试入都，请尽逐澳中诸番，出居浪白外海，还我壕镜故地，当事不能用。番人既筑城，聚海外杂番，广通贸易，至万余人。吏其土者，皆畏惧莫敢诘，甚有利其宝货，佯禁而阴许之者。总督戴翟在事十三年，养成其患。番人又潜匿倭贼，敌杀官军。四十二年，总督张鸣冈檄番人驱倭出海，因上言：“粤之有澳夷，犹疽之在背也。澳之有倭贼，犹虎之傅翼也。今一旦驱斥，不费一矢，此圣天子威德所致。惟是倭去而番尚存，有谓宜剿除者，有谓宜移之浪白外洋就船贸易者，顾兵难轻动。而壕镜在香山内地，官军环海而守，彼日食所需，咸仰于我，一怀异志，我即制其死命。若移之外洋，则巨海茫茫，奸宄安诘？制御安施？似不如申明约束，内不许一奸阑出，外不许一倭阑入，无启衅，无弛防，相安无患之为愈也。”部议从之。居三年，设参将于中路雍陌营，调千人戍之，防御渐密。天启元年，守臣虑其终为患，遣监司冯从龙等毁其所筑青州城，番亦不敢拒。
其时，大西洋人来中国，亦居此澳。盖番人本求市易，初无不轨谋，中朝疑之过甚，迄不许其朝贡，又无力以制之，故议者纷然。然终明之世，此番固未尝为变也。其人长身高鼻，猫晴鹰嘴，拳发赤须，好经商，恃强陵轹诸国，无所不往。后又称干系腊国。所产多犀象珠贝。衣服华洁，贵者冠，贱者笠，见尊长辄去之。初奉佛教，后奉天主教。市易但伸指示数，虽累千金不立约契，有事指天为誓，不相负。自灭满剌加、巴西、吕宋三国，海外诸蕃无敢与抗者。
和兰，又名红毛番，地近佛郎机。永乐、宣德时，郑和七下西洋，历诸番数十国，无所谓和兰者。其人深目长鼻，发眉须皆赤，足长尺二寸，颀伟倍常。
万历中，福建商人岁给引往贩大泥、吕宋及咬〈口留〉吧者，和兰人就诸国转贩，未敢窥中国也。自佛郎机市香山，据吕宋，和兰闻而慕之。二十九年驾大舰，携巨礮，直薄吕宋。吕宋人力拒之，则转薄香山澳。澳中人数诘问，言欲通贡市，不敢为寇。当事难之。税使李道即召其酋入城，游处一月，不敢闻于朝，乃遣还。澳中人虑其登陆，谨防御，始引去。
海澄人李锦及奸商潘秀、郭震，久居大泥，与和兰人习。语及中国事，锦曰：“若欲通贡市，无若漳州者。漳南有彭湖屿，去海远，诚夺而守之，贡市不难成也。”其酋麻韦郎曰：“守臣不许，奈何？”曰：“税使高寀嗜金银甚，若厚贿之，彼特疏上闻，天子必报可，守臣敢抗旨哉。”酋曰：“善。”锦乃代为大泥国王书，一移寀，一移兵备副使，一移守将，俾秀、震赍以来。守将陶拱圣大骇，亟白当事，系秀于狱，震遂不敢入。初，秀与酋约，入闽有成议，当遣舟相闻，而酋卞急不能待，即驾二大舰，直抵彭湖。时三十二年之七月。汛兵已撤，如入无人之墟，遂伐木筑舍为久居计。锦亦潜入漳州侦探，诡言被获逃还，当事已廉知其状，并系狱。已而议遣二人谕其酋还国，许以自赎，且拘震与俱。三人既与酋成约，不欲自彰其失，第云“我国尚依违未定”。而当事所遣将校詹献忠赍檄往谕者，乃多携币帛、食物，觊其厚酬。海滨人又潜载货物往市，酋益观望不肯去。当事屡遣使谕之，见酋语辄不竞，愈为所慢。而寀己遣心腹周之范诣酋，说以三万金馈寀，即许贡市，酋喜与之。盟已就矣，会总兵施德政令都司沈有容将兵往谕。有容负胆智，大声论说，酋心折，乃曰：“我从不闻此言。”其下人露刃相诘，有容无所慑，盛气与辨，酋乃悔悟，令之范还所赠金，止以哆啰嗹、玻璃器及番刀、番酒馈寀，乞代奏通市。寀不敢应，而抚、按严禁奸民下海，犯者必诛，由是接济路穷，番人无所得食，十月末扬帆去。巡抚徐学聚劾秀、锦等罪，论死、遣戍有差。
然是时佛郎机横海上，红毛与争雄，复泛舟东来，攻破美洛居国，与佛郎机分地而守。后又侵夺台湾地，筑室耕田，久留不去，海上奸民，阑出货物与市。已，又出据彭湖，筑城设守，渐为求市计。守臣惧祸，说以毁城远徙，即许互市。番人从之，天启三年果毁其城，移舟去。巡抚商周祚以遵谕远徙上闻，然其据台湾自若也。已而互市不成，番人怨，复筑城彭湖，掠渔舟六百余艘，俾华人运土石助筑。寻犯厦门，官军御之，俘斩数十人，乃诡词求款。再许毁城远徙，而修筑如故。已，又泊风柜仔，出没浯屿、白坑、东椗、莆头、古雷、洪屿、沙洲、甲洲间，要求互市。而海寇李旦复助之，滨海郡邑为戒严。