公元前20世紀前後，閃米特族的迦南人定居在勒凡特南部（迦南）的沿海平原。前12世紀開始，猶太人的祖先以色列眾部落遷此並在東部山地定居。大概同一時代，非利士人作為海上民族的一支，自愛琴海一帶遷至迦南，並在迦南東南部沿海建立若干城邦，史稱五城（亞實基倫、亞實突、以革倫、迦特和迦薩。）。
一般認為，早期的非利士人可能來自克里特島（參見《阿摩司書》第九章第七節）。以色列部落與非利士人一直處於對峙狀態（見《聖經》《撒母耳記》中的相關敘述）。非利士人於公元前7世紀被亞述人所滅， 並從大部分史書中消失。
以色列於前11世紀建立統一的王國，公元前935年所羅門國王死後分裂為北部的以色列王國和南部的猶大王國，後來亞述帝國薩爾貢二世於前721年滅北方以色列王國，巴比倫帝國尼布甲尼撒二世於前586年滅南方猶大王國。此地區後成為波斯帝國、亞歷山大馬其頓帝國、塞琉古帝國統治。在這些政權的統治下，該地區一般稱為撒瑪利亞和猶太地（Judea）。
公元前63年，羅馬共和國的格奈烏斯·龐培率軍佔領了此地。原來定居在此的迦南人多在古以色列建國前後被消滅或被以色列奴役後猶太化（參見聖經《約書亞記》） 。約1000年後，至羅馬帝國時期，猶太人的半獨立地位被剝奪並遭到驅除。為消除猶太人的影響， 羅馬帝國開始使用巴勒斯坦一名來泛指這一地區，但定義的區域模糊, 同期至少有十個以上的名稱也同時使用。巴勒斯坦這一名稱正式的啟用開始於1918年，即英國建立的英屬巴勒斯坦託管地。
4世紀羅馬帝國分裂為西羅馬帝國與東羅馬帝國後，此地屬於東羅馬帝國敘利亞南部的一部分。公元638年，阿拉伯穆斯林軍隊佔領耶路撒冷和周邊地區。十字軍東侵期間，又被十字軍反覆佔領過近200年。1187年的哈丁戰役後，薩拉丁取得對此地大部分地區的控制權。1260年至1300年之間的部分時間，蒙古人曾短暫的控制過此地，13世紀末又被埃及的馬木留克王朝所佔領。
1516年，奧斯曼土耳其帝國開始統治耶路撒冷和附近的大片領土，直到第一次世界大戰。大戰結束後，英國佔領了全境， 正式稱為巴勒斯坦。這個時期的巴勒斯坦人包括阿拉伯人，猶太人，奧斯曼人和古老的撒瑪利亞人等多個民族。