以色列最初是指一個民族而非地名，可查最早的記載出現在公元前1211年。在過去3000年的歷史中，猶太人視以色列地為自己的民族和精神生活的核心，稱之為“聖地”或“應許之地”。以色列在猶太教中具有特別的含義，包括聖殿遺蹟和相關的宗教禮儀，都是現代猶太教傳統的重要基礎。根據聖經記載，以色列人的先祖亞伯拉罕原來居住在美索不達米亞地區，後受神呼召，遷居至迦南。以色列的先祖亦曾南下至埃及寄居，在埃及做奴工四百年。直至公元前14世紀，他們才集體離開埃及，回到迦南定居，並逐漸佔領當地。
大衛王-所羅門王
大衛王將以色列的都城遷到耶路撒冷，在耶路撒冷為王33年。其子所羅門接任王位。所羅門承接大衛留下的這個強國，就大興土木，建築堡壘、宮室和耶路撒冷的聖殿。所羅門的統治時期可以說是以色列歷史的黃金時代的頂點。
南北王國時期
公元前931年所羅門王死後，北方的十個支派便馬上脫離以色列聯合王國，由耶羅波安做王；而南方的兩個支派，即猶大和便雅閔，則依然由所羅門的兒子羅波安領導，自此，約一百多年的以色列聯合王國結束，國家分為北國以色列和南國猶大。
南部群體（即南國猶大）有兩個部族，以較為強大的部族猶大來命名；而北部群體（即北國以色列）則有10個部族，仍然保持著以色列的名稱。因此，居住在南部猶大地區的人，自此被稱作猶太人；而居住在北部以色列地區的人，便保持以色列人的稱號，從而使猶太人與以色列人一樣，都具有種族和民族，乃至國家的多重意義。
巴比倫之囚古典時代
經歷過亞述、巴比倫、波斯、希臘、羅馬、拜佔廷等古國的統治，猶太人在這一地區逐漸衰落並遭驅逐。尤其是在132年的一次大規模起義失敗後，羅馬帝國將猶太人驅逐出這一地區，將地名改為“敘利亞-巴勒斯坦”。雖然如此，千年來小部分猶太人一直留在巴勒斯坦，但主要的猶太人口從以色列南部移至北部、或其他大陸。猶太教最重要的兩本經籍《密西拿》和《塔木德》經也是在這段時期寫成。
哈斯蒙尼王朝中世紀和奧斯曼時期
公元638年，穆斯林從拜佔廷帝國奪取該地區的控制權，之後一千多年數個穆斯林帝國統治過這個地區；包括倭馬亞王朝、阿拔斯王朝，以及花剌子模和蒙古帝國，在1260年至1517年間由馬木留克王朝統治，接著在1517年成為奧斯曼帝國一個省份。