从先秦时代开始，就不断有大陆移民进入日本列岛。最早用文字撰述的日本史籍《古事记》、《日本书纪》中，把外来移民称之为“汉人”、“新汉人”、“吴 人”、“唐人”、“归化人”等。大陆移民移居日本列岛的主要可分为四个时期，即秦汉时代——发轫期;魏晋南北朝时代——高潮期;隋唐时代——持续期;宋明 时代——终结期。其中也不乏日本朝廷为吸收先进文化，引进技术人才，多次遣使至中国大陆和朝鲜半岛寻觅、劝诱汉人来日等，种种因素推动了大陆移民的赴日高 潮。
第一次是在秦汉时期(公元前3世纪至公元3世纪)。
其间流传最广的就是发生在秦始皇时期的徐福东渡日本的传说。在司马迁的《史记·秦始皇本纪》中中有这样一段记载：始皇二十八年：“齐人徐 (徐福)等上书，言海中有三神山，名曰蓬莱、方丈、瀛洲，仙人居之。请得斋戒，与童男女求之。于是遣徐福发童男女数千人，入海求仙人。”那么，徐福求药寻 仙最后去了哪儿呢?据《史记·淮南衡山列传》记载徐福最后到达“平原广泽”之地，竟“止王不来。”据说，这“平原广泽”是今天日本的九州。在日本学术界， 研究徐福事迹的学术团体、学者和专家有很多，也有很多研究徐福事迹的文章、著作和专著，都确认了徐福到达并开发日本事实，徐福至今也仍受到日本民众的尊崇 与爱戴。
不管徐福的传说到底怎样，但是有一个事实是毋庸置疑的，即在秦汉年间，就开始有中国人大量移居日本。首先在秦始皇的铁骑横扫六国时。旧燕国和齐国民众为逃 避战乱，分两路逃亡日本：北路是燕国人由东北到朝鲜半岛再渡海到日本，南路是山东半岛的齐国人直接渡海赴日本。其次在在西汉武帝时期。元封三年(前 108),汉武帝灭卫氏朝鲜政权，在朝鲜半岛北部设置乐浪等四郡。大量汉族人民随之移居四郡，其中有一部分不断往半岛南部迁移，直至跨海到达日本。再次是 东汉时期。此时中日之间终于建立了正式的官方联系。
据《后汉书·东夷列传》记载，公元57年，倭奴国来朝，汉光武帝刘秀封倭奴酋首为国王，并赏“汉倭奴国 王”金印一枚。1784年，倭奴国内发现“汉倭奴国王”五字金印一枚，证明了记载的可靠。另据日本史籍也有关于此事的记载。这个时候开始，就有一部分汉朝 皇室成员(刘氏)因出使、避难等原因开始渡海来到日本。西文首氏(王氏)也有人到达了日本。
第二次是魏晋南北朝时期(公元3到6世纪)。
在四世纪末和五世纪初以及五世纪末，中原人民为躲避战乱，大规模迁徙日本群岛，形成两次日本史书称之为“归化人”赴日的高潮。主要祸根是由西晋末年八王之 乱所引发的百年内战(史称“五胡乱华”)，长期极其残酷的民族仇杀使大陆汉族人尤其是中原的衣冠望族不堪忍受，开始了向四周大规模迁徙的浪潮：主要是南迁 江南，其次是由东北逃向朝鲜半岛，南北两路难民都有相当多的一部分最后去了日本。
在《古事记》和《日本书纪》等日本早期史书中，对这段时间大量来自大陆的 归化人到达日本有着非常详尽的记载。在日本文书中常被提到的汉族“归化人”的代表，有弓月君(秦氏)、东汉直(刘氏)、西文首(王氏)等人。他们大都是来 自朝鲜半岛的汉族“归化人”，有一个共同的特点，那就是，这些人常常自称为秦始皇或汉高祖的后裔。例如，弓月君及其所率领的秦人，自称为秦始皇的后裔;阿 知使主及其儿子都加使主率领的汉人，自称为汉灵帝的后裔;身狭村主青又自称为吴孙权的后裔;再晚些如司马达止等则自称为南朝司马氏的后裔等等。
据《古事记》和《日本书纪》应神纪所载，大约在四世纪初弓月君率其部民一百二十县(或一百二十七县)归化日本。这是后来被称作秦氏一族的来源。到雄略纪时 (即倭王武时代，大约在五世纪后半)，收集秦氏遗族，共得九十二部一万八千六百人，赐其首领名为酒公。秦氏一族在长期的养蚕制丝业、农田水利和土木工程的 生产活动中，逐渐蓄积财富，变为具有实力的地方豪族，成为倭王的得力官吏，形成地域集团的首领，并加入倭王高级统治集团，由倭王赐姓为直，成为日本古代重 要的氏姓巨族之一。
刘姓作为两汉皇族也是此时到达日本的汉族归化人的主力。历史上最有名的刘氏开拓日本人物，是今天日本原田、高桥、大藏等家族的共同祖先阿知王。阿知(也写作阿智)王，又称阿知使主，是东汉最后一个皇帝汉献帝的玄孙。日本原田家族族谱《大藏朝臣原田家历传》称，阿知王是汉献帝的玄孙。
当年曹氏灭汉建魏，汉献帝刘协被曹丕贬为山阳公，建都山阳郡下的浊鹿城(一名青阳城，在今河南省修武县东北)。阿知王在这时也随东汉皇室遗民便从洛阳徙居浊鹿。后来司马氏灭魏建 立西晋，刘氏皇族地位表面上没有改变，但实际情况开始恶化。太康十年(289年)，刘阿知见当时天下混乱之像已生，便于五月初一召集旧臣商议对策。刘阿知说：“我久在此地，恐有覆灭之祸，闻东国于日本，有圣天子”，遂决定率其家族东渡，前往日本避难。这样，刘阿知便率领他的儿子刘都贺、舅舅赵舆德和族人刘国鼎、刘涛子、刘鹤明、刘信子等男女共2040人，离开中国本土，飘洋过海，几经艰难，于日本应神天皇二十九年九月五日来到日本。阿知王到达日本后，被日本天皇赐号东汉使主，奉命定居于大和国高市郡桧前村。据记载，当年随阿知王来日本的，还有段姓、郭姓、李氏、多姓、皂姓、朱姓、高姓等7个姓。
阿知来日本后，又奏请日本天皇，派遣使都前往高丽、百济、新罗等国，将许多流落在这些地方的同乡族人招来日本。因人多地狭，日本天皇政府又将他们分置各地。日本大化《新撰姓氏录》记载，阿知使主的儿子刘贺都，后被日本雄略天皇赐姓为直，子孙因此以直为姓。他有三个儿子山木直，次志努直(一名成努直)，次尔波伎直。其中，山木直又是日本民忌坟、桧原宿祢等25个姓氏的共同祖先。尔波伎直则是山口宿祢等8个日本姓氏的共同祖先。志努直的后裔后来也衍生出数十个日本姓氏。 阿知使主一族在手工业中的业绩显著，其中一些人逐渐成为倭王政权中的中下级官吏，进而变成“官人豪族”，成为日本古代社会中一支不可忽视的力量，终于成为拥有氏姓豪族的东汉直氏。
西文首氏是另一个归化汉族集团。其中一些人至日本群岛的时间，可能略早于秦氏和东汉直氏。据《古事记》和《日本书纪》应神纪载，百济王命阿知吉师(或阿直 歧)去日本，赠送倭王牡马和化马各一匹以及刀、镜等礼物。因阿直歧懂中国的经典，倭王令其教太子茧道稚郎子读中国典籍。一天，倭王问他，是否还有比他更懂 中国典籍的人?他回答说：有。王仁比他更懂中国典籍。于是，倭王派使者去百济召聘王仁。王仁应召来至日本，同时携带《论语》十卷、《千字文》一卷。这就是 关于王仁的传说。王仁为中日两国的文化交流作出贡献，后来在传说中逐渐演变成为西文首的首领。王仁与乐浪郡的王氏一族有某些渊源。乐浪郡的王氏一族原是山 东半岛的巨族大姓，因避战乱迁至乐浪郡，并在那里作过郡，守。其后裔中知识分子很多，担任过历代乐浪郡的各种官职。
在公元三一三年乐浪郡灭亡后，其中一部分人移居于百济。王氏的后裔从百济再迁移至日本。因所居之地靠近河道，因而和船运、物资的收藏、管理、搬运等工作发生联系。经过长期的发展，这一族也形成 拥有氏姓的地方豪族。为和东汉直归化汉人相区别，且居于大和的西部，遂称为西文首氏。
这样，秦氏、东汉直氏、西文首氏等归化汉人，以其大量的经济活动，逐渐形成地方氏姓大族，进入倭王政府，成为日本统治阶级的组成部分。
此时移居于日本群岛的汉族，远不只上述三族。据九世纪初日本天皇政府编纂的《新撰姓氏录》所载，在天皇政府中有一定政治地位的氏中，在京城、山城、大和、 摄津、河内、和泉等地区收集起来的归化人系统的氏有三百二十四氏(其中一部分是汉族)，约占日本全部氏的百分之三十。这百分之三十的归化人中虽然不全是汉 族，但汉族所占的比例不会小。这话说得很中肯，去到日本群岛的汉族人民，就是作为日本人的一员在自觉地建设着日本，但是，他们在客观上起了促进中日文化交 流的作用。两晋“五胡乱华”时期东渡日本的移民，大都身怀一技之长，深受日本朝廷重用。无数事实证明，大和国家统治机构的完备，经济的发展，国力的增强， 无不与大陆移民有密切关系。
第三次是隋唐时代(公元6世纪末至10世纪初)。
此时，隋朝完成了中国的统一，结束了长达三个世纪的南北分裂状态，中国封建社会开始进入了鼎盛的巅峰时期。尤其是大唐王朝前期(贞观之治到开元盛世)，国家空前强盛，百姓生活富足安康。相比之下的日本，则正处于由奴隶社会向封建社会转折的阵痛期，国势日衰，内部矛盾重重，内讧不断。大陆移民东渡热潮日趋消 退，虽仍有部分知识分子、手工业者和学问僧在日本使者的劝诱下赴日，但是人数相比两晋时期已是强弩之末。
相反，强盛的大唐却强烈的吸引了当时的日本人不畏 惊涛骇浪，大规模派遣使节(即遣唐使)来唐朝访问学习。本文开头引用李白诗中的晁衡就是其中一名最著名的留学生(日文名叫阿倍仲麻吕)。遣唐使回日，唐朝有时派遣送使同去。由于航行艰险，他们往往居留下来，归化日本。如沈惟岳、袁晋卿等，都在日本朝廷任职。唐朝僧人也有随遣唐使赴日的，最有名的是鉴真东 渡。有趣的是，伴随着大规模的人员交往，出现了很多唐日之间的跨国婚姻，如遣唐大使藤原清河娶的就是一位中国新娘。可见，跨国婚姻不是今天才有的的时尚， 早在一千多年前的唐朝就已相对的普遍化了。安史之乱后，唐朝衰弱，藩镇割据混战，民不聊生，此时直至唐末，又陆续有不少民众驾舟东渡，但规模已无法与两晋 时相比。甚至有传说杨贵妃并没有在马嵬驿被缢死，而是随使者逃到了日本，据说日本还有人自称是其后裔。
第四次是宋明时代(公元13世纪末至17世纪末)。
遣唐使于公元895年废止后，一直到元朝，中日两国之间的关系趋于冷淡，官方往来基本停止，大规模有组织的大陆归化人移民浪潮也基本结束。有据可查的是洪 武二十五年(1392)，朱元璋“更赐闽人三十六姓”人琉球。这批中国移民主要是向琉球传授中国先进的生产技术和文化。琉球王国也曾主动请求赐人，如 1606年，尚宁王受册封时，便请赐明人归化。如从中国去的蔡氏为蔡襄的后人，林氏为林和靖家族的后人。
到了元灭南宋和清军入关的残酷民族战争与屠杀中， 又有些南宋和明朝遗民(主要是江南汉人)迁居日本(比如著名的南宋温州雁山能仁寺住持高僧祖元、明朝宗室遗民朱舜水等)，但为数已不足道。一个最主要的原因就是唐宋以来，中国造船技术的进步和指南针的使用大大提高了中国人的航海技术，大量的贫苦农民和战争难民开始浮海到自然条件更为优越的南洋一带谋生，人多地狭的日本已逐渐失去了对大陆人民的吸引力，不再是中国海外移民的首选目的地。
17世纪末，清朝统治日趋稳定，民族压迫政策有所减轻，经济由恢复而发展，开始进入封建社会最后也是持续时间最长的盛世——康乾盛世;日本则进入了德川幕府统治时期，中日两国都奉行闭关锁国的国策，官方往来再次中断。至此时，引发移民潮的原动力不复存在，持续了将近2000年的中国大陆移民迁居日本的历史终于彻底终结。
正如日本一位史学家所说的，“只要统计一下我们祖先的数字就明白了。可以说我们现代的每一个日本人，都继承着一千数百年前生活着的全部日本人的血液，所以，必须承认，我们不论谁的血液中，都含有百分之十或二十古代归化人的血液。虽然流行着我们的祖先同化了归化人的说法，但并非如此，归化人(汉族移民)就 是我们的祖先。”