A zen gyökerei egészen az indiai buddhizmusig vezetnek vissza, bár ott nem képezi a buddhizmus egy önálló ágát. Neve a meditáció szanszkrit megfelelőjéből ("dhyāna" (ध्यान) származik. Ez a szó a kínai nyelvbe úgy került be, mint chán (禪, egyszerűsített 禅; magyar ejtése és gyakori írása: csan). Később, Koreában a szon, Vietnamban a thiền, míg Japánban a zen nevet kapta. (Megjegyzendő, hogy a csan, szon, thien, és zen pusztán a közös kínai karakter különböző kiejtései. Tanításaik ugyan több pontban is különbözhetnek, de alapelveik azonosak.)

A hagyomány szerint a zen alapjait Kínában rakta le egy indiai buddhista szerzetes, Bódhidharma (Japánban Daruma Daisi, Kínában Da mo; Bódhidharma a Csola-dinasztiaharmadik hercege volt, a Kanchipuram déli részét uraló észak-indiai Csola-ág leszármazottja). A hagyomány szerint Mahákásjapának, Buddha tanítványának 28. reinkarnációja volt. A korai források szerint i. sz. 520 körül hajózott a dél-kínai Liang királyságba, ahol kinyilatkozta, hogy az önző céllal véghez vitt jócselekedetek haszontalanok a megvilágosodás (lásd még: bodhi) eléréséhez. Ezek után egy Lojangmelletti kolostorba vonult Észak-Kínában, ahol a legenda szerint kilenc évet töltött meditációval egy sziklafal előtt. Tanítványokat csak ezután fogadott. Később a kínai Henan provincia Deng Feng megyéjében hunyt el, a Sung-hegy Saolin Templomában (嵩山少林寺).

Később Kínában tanuló koreai szerzetesek vitték tovább hazájukba a csant, amit addigra már átitatott a kínai taoizmus és kisebb részben a konfucianizmus(Konfuciusnak közel 2000 életvitelre vonatkozó szabálya aztán sok modern államalakulatnak is az alapja lett). Koreában a seon (ejtsd: szon) nevet kapta (amit nyugaton néha hibásan soenként is említenek).

A csan, a szon, és a zen elkülönülten fejlődött hazájukban, és mára mindegyiknek önálló identitása alakult ki. Ugyan Kínában, Koreában, Japánban, és másutt is a családfák közvetlenül Bódhidharmától erednek, vitathatatlanul kialakultak hitbeli és gyakorlati különbségek.

A japán rinzai zen filozófus, Szuzuki Daiszecu megfogalmazásában a gyakorlás célja a szatori (Kensó), azaz a megvilágosodás. Ami azonban az indiai buddhistáktól igazán megkülönböztette a kínai, koreai, és japán zen buddhistákat, az a gyökeresen különböző életmódjuk volt. Indiában fennmaradt a koldulás szokása, míg Kínában a társadalmi körülmények egy kolostori rendszer kialakulását segítették elő, amiben az apát és a szerzetesek egyaránt hétköznapi feladatokat végeztek. Ilyen volt a földművelés, ácsolás, építészet, háztartás, adminisztráció, és a gyógyítás gyakorlása. Következésképpen a zen által keresett megvilágosodásnak meg kellett felelnie a mindennapok okozta frusztráció támasztotta elvárásoknak.