那么，客家先民究竟经历了几次南迁？目前学术界尚无定论。客家史研究权威罗香林提出，客家人经历了5次大迁徙。有的学者则认为客家人有过6次大迁徙。
这两种看法的分歧在于：2000多年前的50万秦军南下，是不是客家先民的第一次大迁徙。罗香林没有提到这是客家先民的迁徙。而“六次南迁”论者则认为，秦始皇统一中国以后，为防止南方百越民族进犯，便派屠椎、赵佗率领50万大军南下，驻扎在五岭南北。不久，秦朝灭亡，这些秦军仍居留驻地，与当地百越民族中的南越人融合后，大部分人成了今天广东、广西一带粤语地区的先民。另一部分便是今天赣南、粤北、粤东地区的客家人的最早祖先。赵佗当年曾任龙川县县令。如今在广东这个纯客住县内，便有四个姓氏是赵佗带来的北方汉人的后裔。他们认为，50万秦军南下是中原汉人的第一次南迁，也是客家先民的第一次迁徙。
客家先民的第二次大迁徙，始于东汉末年的黄巾起义，为避战乱，中原汉人开始南迁。魏、蜀、吴三国纷争，黄河流域战火连年，民不聊生，百姓四处逃难。西晋末年的“五胡乱华”和“八王之乱”，历经18年，中原士民纷纷南逃。特别是公元311年的“永嘉之乱”，匈奴贵族率兵攻陷洛阳，俘虏怀帝，杀人三万之众，后来还逼得晋元帝迁都江南建康。于是，苦于连年战乱的中原士族百姓，纷纷跨黄河，渡长江，逐渐迁到安徽和江西的长江两岸。“洛京倾覆，中州仕女避乱江左者十六七。”(《晋书》王导传)当时，在百万南迁的人流中，有70余万南渡长江，一部分迁移到江苏、浙江和福建。“永嘉之乱，中原士族，林、黄、陈、郭四姓先入闽。”(唐代林谞《闽中记》)“晋永嘉二年，中州板荡，衣冠始入闽者八族，所谓林、黄、陈、郑、詹、丘、何、胡是也。”(明代何乔远《闽书》)另一部分则迁往江西北部，再溯赣江而上，来到赣南地区，有的甚至迁到赣闽交界处。
唐代末年的黄巢农民战争和藩镇割据，特别是黄巢起义军的征战，波及长江中下游和南方各省，使客家先民住地成了战祸的要冲。于是，他们只好再次迁徙，移居到当时未蒙战乱的江西东南部和福建西部，还有一些则进入广东东北部。这是客家先民的第三次大迁徙。
第四次大迁徙是南宋末年。当兴起于北方草原的蒙古贵族的铁骑席卷而来时，怯懦无能的南宋帝室，仓皇逃往福建、广东。这时，定居江西、福建的客家先民，或随之南迁，流入广东东北部，或响应文天祥、张世杰、陆秀夫等人的号召，勤王抗元。
元代初期，在元朝统治者的高压下，客家聚居区人口大减，经济、文化也受到摧残。后来，经过明代的休养生息，闽粤赣交界处的客家地区，经济复兴，人口繁衍了。然而，这些地区山多田少，此时已不能满足发展。到了清代初叶，朝廷实行移民政策，于是客家人便积极响应，大举南下、西迁。南移者，迁入珠江三角洲及广东西部一些沿海地区，其中包括今日深圳和香港九龙、新界等地。这是客家人的第五次大迁徙。
第六次大迁徙，源起广东西部的土、客大械斗。这是由于居住在广东台山、开平、四会等地的客家人，人口激增，与当地居民的矛盾日益加剧，终于在1856年爆发了持续12年之久的大械斗。清朝政府在调解、弹压之余，再次移民。于是，由官府拨钱，“成年者每人八两，未成年者每人四两，各发执照，使往他处垦殖”，将这一带的客家人迁至信宜、徐闻等粤西山区和雷州半岛，以及今日的广西合浦、钦州和海南岛等地。
本文采用五次迁徙的说法。