客家人的主体是中原南迁的汉人，客家文化的主体承袭了中原文化。但客家先民在南迁及定居后，也不断吸收和融合南方土著民族的古越文化和畲〔she奢〕族、瑶族等文化。其中，最重要的是吸收和融合了畲族文化。
秦汉时期，广东、江西、福建是古代百越民族的居住地。从魏晋南北朝至隋唐时期，在今日客家住地的闽、粤、赣三省交界地区，生活着史称为“蛮”、“蛮僚”、“峒蛮”、“峒僚”的土著居民。据考证，他们是百越民族一个分支的后裔，是今日畲族的先民。但是，直到13世纪中叶南宋末年，汉文史籍、文书上才开始出现畲族的名称：“畲民”或“輋〔奢she〕民”。客家先民正是在与畲族的共处和交流中，相互影响，相互融合，最后才形成客家民系和客家文化的。
唐代末年的黄巢农民战争，延续了九年，波及中原及南方的10个省区，而闽、粤、赣交界处，却因地处偏僻山区而幸免这场战祸。于是，西晋末年迁入江西北部的客家先民，纷纷迁到江西南部、福建西部，还有进入粤东、粤北地区的。
随着大量汉人的迁入，加之这时增设郡县，封建统治力量不断扩展和深入，使得居住在这一带的畲民，一部分被迫迁往他乡，大部分则与客家先民共同生活。他们在长期的杂处和互相通婚中，不仅血缘混合，而且由于物质文化、精神文化多层面的相互交流、相互吸收，出现了你中有我、我中有你的民族融合，并最终形成了客家民系，造就了独具特色的客家文化。这方面的例证，不胜枚举。
语言是文化的载体，是人们的交流工具。客家人讲客家话，而今天居住在福建、浙江、江西、安徽、广东的畲族人民，除了广东的海丰、增城、惠阳、博罗等县极少数畲族使用接近瑶族“布努”语(属苗语支)以外，99%的人都操与客家话接近的畲语，以至有人认为畲族人讲客家话。这种有趣的奇特语言现象，就是客家文化与畲族文化交流和融合的结果。
原来，历史上客家先民与畲族长期生活在交通闭塞的山区，他们进行交流，首先要有通用的语言为媒介，于是导致他们的母语出现了变异，彼此互相靠拢，互相交融——原先讲北方语言的客家先民，其母语有所变化，吸收了畲族语汇等等。这里只举一例。“母亲”一词，在广东梅县一带称“阿娓”〔mei梅〕，在福建长汀一带称“娓娓”或“姆娓”，皆用“娓”来称呼母亲，这在汉语普通话和其他方言中都是少见的。然而，在畲语和苗、瑶语中，则多用“娓”来称母亲，其中不难看出渊源关系。当然，在相互交融中，畲族的母语也变了，而且，先进的语言往往起主导作用，畲语向汉语靠拢为多，正是古畲语被汉化的结果。据研究，这一语言混化的过程，始于唐代末年，而在南宋，大量客家先民迁入闽、粤、赣地区后，便已初步完成。换句话说，客家话初步形成于南宋。
在经济生产与物质文化方面的相互交流和吸收也相当广泛。客家先民向畲族学习当地的耕作方法和生产技术。例如，开垦梯田；种植适于山坡旱作的稻子“畲禾”和适于山区的早熟水稻“百日子”，以及单季稻“八月白”等；施用草木灰作肥料；将青石烧成石灰施入深山冷水田，使“田得其煖〔暖nuan，实为用碱性石灰来中和酸性土壤〕；利用田边地角种植芋头，等等。畲族的这些垦殖耕作方法，直到20世纪50年代在客家山区中仍可见到。至于在饮食和生活器物方面，如畲民用大瓢作水瓢，以长柄瓢当舀酒的酒瓢等日常器物，也传给了客家人。
在住房方面，畲民最初用竹木搭盖简陋的茅草房，因而畲语称房屋为“寮”。在与客家人共处交融中，畲族不但有了木结构的泥墙瓦房，还吸收了客家人的建筑形式，讲究选址方向，甚至迷信风水了。
在风俗习惯方面相互交融的地方更多。其中，突出的例证是生育与丧葬习俗。从前，客家产妇大多请来接生婆，在自己家里分娩。若生下儿子，接生婆将毛笔劈开，用笔管的竹片割断脐带，以祝愿男儿长大后勤奋好学，读书仕进；如生下女儿，则将烧火吹风的吹火筒劈开，用其竹片割断脐带，希望她日后好生烧火做饭，料理家务。还有，产妇在坐月子期间，要用温开水洗脸，不吃稀饭，不吃青菜等等。这些习俗都与畲族完全一样。
畲族历史上曾盛行火葬，后来，客家人实行的土葬和“拾骨重葬”习俗，影响了畲民，畲民也普遍实行二次葬。至于葬礼过程的各种礼仪，客家人与畲族也多有相似之处。例如为逝者沐浴，客家习俗是到河边焚香化纸，再丢几文钱币于河中，向河神买水，再顺水舀水，拿回灵堂为逝者抹浴。畲民亦有“买水”之俗，但逝者男性为顺流取水，以示男在天；逝者女性则逆流取水，表示女居地。
在文化生活方面，客家人和畲族人民都喜唱山歌。畲民不论在闲暇休息、生产劳动、节日喜庆、谈情说爱、会亲访友，乃至男婚女嫁、祭祀祖先、举哀丧葬，无不吟唱山歌。客家人受了畲民的影响，也喜唱山歌，他们在生产劳动、节日闲暇和男女相慕、谈情说爱中，常常以歌为乐，以歌传情。客家人和畲族在唱山歌中互相影响，还表现在客家人给畲族山歌带来了唐诗的韵味，以及采用七字一句、四句一首的形式，和比、兴、双关、重章叠句等表现手法。
在信仰崇拜方面，客家人有浓厚的崇拜祖先观念，重视以直系血缘为基础的宗族关系，讲究姓氏渊源，门第堂号，续修祖谱，建立祠堂，修建祖坟，祭祀祖先。受客家人的影响，畲族在崇拜图腾、笃信远祖盘瓠〔hu护〕之外，也编纂族谱，甚至也像客家人一样，把自己的祖先说成是来自中原，出身权贵。
在民族精神方面，表现在妇女身上的民族精神尤为典型。客家妇女和畲族妇女在历史上都保持天足。她们吃苦耐劳，艰苦创业，勤俭持家，孝顺父母，侍奉丈夫，抚育子女，表现了中华民族的优秀品德。客家妇女以中原儒家礼教和思想道德影响畲族，而畲族妇女则以勤劳节约、艰苦创业和淳厚质朴的品德影响了客家妇女。
此外，客家人和畲族男女从前皆以长衫马褂为礼服，女子喜爱戴遮阳挡雨的竹笠，婚姻礼俗中有许多中原古风，以及共同过春节、上元、二月二、清明、端午、乞巧、盂兰、中秋、重阳、冬至等节日。从上所述，人们不难看出客家先民与畲族在长期的共同生活中，多层面的文化互动及民族融合。