西班牙人東來的主要目的為通商傳教，占領北臺灣的目的亦是要突破荷蘭封鎖，使貿易與傳教活動更為順利，但因西班牙人無力將荷人趕出臺灣，且日本又實施鎖國政策，禁止與西班牙貿易，加上臺灣原住民伺機反抗，使西班牙萌發棄臺念頭。
西元1642年，荷蘭人將西班牙人驅逐，占領西班牙人的聖多明哥城後，在附近重建城堡。由於漢人多稱荷蘭人為「紅毛」，所以也將此建築稱為「紅毛樓」，今人則多稱為「紅毛城」。
