一般認為，最早的猶太人起源於蘇美爾帝國境內，後來曾遷入埃及居住數百年，之後從埃及返回西亞，並在其後建立強大的以色列國。以色列國後被巴比倫帝國所覆滅。之後數個世紀內，猶太人先後遭遇波斯、羅馬等帝國統治。中世紀以來，猶太人曾遭遇迫害。為了躲避迫害，猶太人被逃離世代生活之土地，前往羅馬人控制之外的地方討生活。其中，有一部分來到了中國，並不斷繁衍後代，形成了中國猶太人。目前在我國河南大約生活著四千多猶太人。那麼，這群猶太人的始祖，是何時來到中土的呢？
關於猶太人來華的時代問題，有專家研究後認為，不應該晚於先秦時代。百餘年前，相關學者在翻譯《聖經》之《以賽亞書》的時候，還專門將其中一個地名翻譯成「秦國」，暗示猶太人在東周時代就定居過秦國。不過，這種說法缺乏歷史實證，因此不被學術界廣泛認可。一般認為，南北朝時期，中國和西域列國來往頻繁：比如北周李賢（不是武則天的兒子），不是北周人某將軍的墳墓里，就隨葬了波斯的藝術品，這期間，不乏有小規模的猶太人進入中國。而最大規模的猶太人入華，則是在兩宋時期。
根據《宋史》記載，北宋時期，阿拉伯帝國曾頻繁派遣使團前往宋都開封。而中世紀時期，阿拉伯帝國對猶太人相對友善，而阿拉伯頻繁派遣使臣前往宋朝，目的之一則是為了打通商路。而宋朝皇帝對商業的態度也很開明。在這個背景下，大量的猶太人沿著阿拉伯使團的路線，來到了宋朝定居、生活。並安家落戶，繁衍至今。
這批猶太人的後裔，由於常年在中土生活，不斷和本土百姓進行通婚、交流，逐漸的其外貌和東亞人無異，至於猶太人的宗教信仰也逐步淡去，最終只是在飲食方面還保持著猶太人的禁忌。近代以來，隨著中國和外國有了主動和被動的交流，很多猶太人在外部勢力影響和關懷下，通過家譜等證據，逐漸發現恢復了猶太人意識。
隨著以色列的建國和《回歸法》的頒布，以及中以兩國之間建立外交關係，中國猶太人也做出了各自不同的選擇。有的猶太人認為自己祖祖輩輩在華生活將近千年，對以色列早已感到陌生和感情淡漠，於是選擇繼續保持中國國籍；也有的猶太人打算放棄中國國籍，入籍以色列，但是迄今為止，只有五個中國猶太人成功拿到了以色列的國籍，並且都是女性。
這是因為按照《回歸法》，以色列人對家譜，認同母系傳承，而中國習慣記載家譜則是父系傳承，因此，能通過家譜證明自己具備以色列血統的寥寥無幾。此外，根據以色列的《回歸法》，想要入籍的以色列人，還需要經過考試，而通過考試合格的，更是寥寥無幾。因此這麼多年來，只有五個中國猶太人成功入籍以色列。