金山附近原為一大森林帶，今水田仍有巨大樹株遺留，而該鄉在漢人未定居開墾前，為平埔族所居。
平埔族分為西拉雅、洪雅、巴布沙、柏宰海、道卡斯、凱達格蘭、卡瓦蘭與柏布拉。凱達格蘭族傳說提及，其先祖由海外至金山一帶海岸，因遍地荒蕪不適居住，再乘舟抵達貢寮鄉定居，首建三貂社。其後子孫部份移往基隆，建基籠社；後又向台北盆地分佈。其中一路沿海岸到金包里建社。另一路則沿基隆河進入台北。
凱達格蘭族文化遺址特徵，其陶器製作精良，花紋繁多，以網文、方格文、條文等為主；石器已有刃石器，後漸淘汰，以鐵器代之。
金山早有磨製石器及青銅鑄屑出土，在金包里街背後為公館崙的大沙丘的蔭影一帶找到凱達格蘭系的土器片以及中國近代磚瓦陶器破片。
據云此地曾經有過極有勢力之番人居住，並曾向漢族移民收取佃租或土地租金。依照所找出之中國近代磚瓦陶器碎片分佈，可推定當時已有中國近代民家樣式住屋及居民，這遺跡也說明了平埔與後來的漢族移民互相接觸﹕前者居地漸被漢族移民佔居的過程，提供了後人探知漢番初期交往情形。
