以色列最早的历史除了传说以外，得不到任何验证。传说中的历史有多少是真的，也无人知晓。出现在《旧约全书》中最早有名字的犹太人是亚哈，他是以色列的国王。
公元前722年之后，犹太王国保持着自己的宗教与传统独立存在。公元前586年，新建立的巴比伦王国攻破了耶路撒冷城，并将犹太人押回巴比伦。公元前538年，居鲁士王攻破巴比伦，允许以色列人回到巴勒斯坦。回到巴勒斯坦的以色列人开始重建圣殿，此时犹太正教开始成形。
被掳到巴比伦的经历让犹太教发生了许多变化。犹太人将这次经历看做神在惩罚自己，就像父亲惩罚孩子一样。带着这种身负罪恶感的心理，流亡期间的犹太人更加虔诚地信仰自己的宗教，严格排他。
最初的时候，犹太教信奉很多神，到了巴比伦之后便开始只崇拜一个神。十诫的第一条便说：“你只准崇拜我一个神。”这说明犹太教在巴比伦入侵之前不久进行过改革。当时的先知们警告犹太人，只崇拜一个神将得到赐福，崇拜多个神将会撤销赐福。
犹太人和基督徒都喜欢讨论罪恶，不同的是，基督徒将把自己当做罪人看做一种美德，以表现自己的谦虚，犹太人则不会这样做。
希腊对犹太思想影响的最好证明体现在哲学家菲罗身上。他是正统的犹太教徒，但他同时也是柏拉图主义者，并且深受斯多亚派与毕达哥拉斯派影响。他还曾经试图将希腊哲学与正统的犹太文化结合到一起。
当时，犹太人的定居区遍布各大城市，他们影响了其他教派的教徒，以及罗马官方的宗教人士。他们的影响甚至深入到了俄罗斯南部，那里的许多人也改信犹太教。
中世纪期间，在西班牙的犹太人为文化传承作了许多贡献，其中斯宾诺莎是受影响最大的一个人。当西班牙被基督教徒侵占的时候，犹太人将自己知道的知识都传给了西班牙人。他们还将知识传给经院学者，其中也包括了占星术、炼金术之类的无用东西。
当时的犹太学者既懂希伯来文、希腊文和阿拉伯文，又通晓希腊哲学。他们对世界文化的影响在中世纪之后从未间断，一直持续至今。