少林寺创建于北魏孝文帝太和十九年（公元495年）。当时天竺僧人跋陀由西域跋涉而来，得到虔信佛学的孝文帝的礼敬。跋陀见由太室山和少室山组成的嵩山很像一朵莲花，便有意在“花”中立寺，孝文帝遂在少室山建造少林寺供养跋陀。后来又过了三十余年，南天竺僧人菩提达摩来到少林寺，广罗弟子，传授禅宗，成为中国佛教禅宗的开山祖师。
达摩，全称菩提达摩，南天竺人，婆罗门种姓，自称佛传禅宗第二十八祖。南朝梁武帝时航海到广州。梁武帝信佛，达摩至南朝都城建业见梁武帝，面谈不契，遂一苇渡江，北上北魏都城洛阳，于嵩山少林寺面壁九年，传衣钵于慧可。后出禹门游化终身，东魏天平三年（公元536年）卒于洛滨，葬熊耳山。
达摩在中国始传禅宗，“直指人心，见性成佛，不立文字，教外别传”，经二祖慧可、三祖僧璨、四祖道信、五祖弘忍、六祖慧能等大力弘扬，终于一花五叶，盛开秘苑，成为中国佛教最大宗门，后人便尊达摩为中国禅宗初祖，尊少林寺为中国禅宗祖庭。
少林寺自从李世民还是秦王时就与李姓王朝结下不解之缘。少林僧兵起初只是一个为维护寺院不受社会战乱侵扰而建立的武装组织。至隋末唐初，隋将王世充拥兵东都称帝，国号为郑，并命其侄王仁则为大将军，在柏谷庄设重兵建城池，以阻挡秦王李世民东进。唐武德三年（公元620年），高祖李渊命其子李世民统领诸路军马前往征讨王世充，李初战失利，此时，驻守柏谷庄的少林武僧志操、惠锡、昙宗等十三名武僧因不满王仁则侵占少林寺封地，“率众以拒伪师”。昙宗等十三武僧夜间攻入郑兵大营，生擒王仁则，献于李世民，为秦王统一全国立下了汗马功劳。李世民登基后对少林武僧大加封赏，赐少林寺田地四十顷，水碾一具。十三棍僧俱受封赏，封昙宗为大将军。
此后历经战争洗礼，少林武功日趋成熟。武则天一代时少林更是千方百计保存李氏血脉，与天策府一起成为李家的坚实后盾。光明寺一战，少林众僧大显神威，少林武学正统之威重现江湖。自那以后，谁都知道要想与大唐为敌，必须先过少林寺这一关。到了杨国忠这一代，更是欲将少林这个对朝中许多大臣都有影响力的门派铲除，他一面控制神策军打压天策府，一面从天竺请来迦兰高僧，以图在信仰上将少林击倒。
