Uma das cinco famosas montanhas da China é chamada de montanha Sung Shan. A montanha Sung não é um pico, mas uma cadeia de montanhas. Em um dos lados existem cinco picos conhecidos como Ng Yu Fung. O templo do Norte fica localizado próximo a base destes picos e da cidade de Dang Fong na província de Huo Lam no norte da China. Desde quando o templo foi construído em uma pequena floresta  ele foi conhecido por Templo da Pequena Floresta (Siu Lam Ji). Originalmente construído em 495 d.c. pelo emperador Hau Man Dai, seu propósito era espalhar os ensinamentos da religião Budista. O monge indiando chamado Bat Tuo foi colocado como monge líder. Trinta e dois anos depois, outro monge indiano chamado Dat Mo veio através dos Himalaias na China, fixando-se no Siu Lam Ji. Lá ele ficou por nove anos em meditação, de frente para uma parede. Após este período inicial, ele publicou o Yit Gun Ging, um clássico de treinamento muscular que ele usava para manter sua saúde e capacidade física durante os anos de meditação. A maior reivindicação de Dat Mo a fama é de que ele foi o primeiro professor do Zen Budismo na China.

 

Mais tarde, durante a dinastia Bak jau, o imperador Mou Dai (572 – 575 d.c.) suprimiu a prática aberta tanto do Budismo quanto do Taoismo. Durante esta período de três anos, o templo ficou fechado. Durante o reino do imperador Jing Dai (579 – 580 d.c.) o templo foi re-aberto com o nome de Ji Gu Ji.

 

O nome foi novamente altarado para Siu Lam Ji pelo imperador Man Dai (581 – 600 d.c.) durante a dinastia Chou. Em adição, foi dado ao templo cem acres chineses de terras pelo imperador.

 

O templo alcançaria o topo de sua fama durante a dinastia Tang que teve início em 626 d.c. Depois da fundação da dinastia, o futuro imperador Lei Sai Man pediu ao templo para que o ajudasse contra dois generais rivais chamados Wong Sai Chung e Wong Yan Jap. O templo enviou treze monges com bastões. Esses monges sendo combatentes ferozes, não somente ajudaram Lam Sai Man a vencer a batalha, mas capturaram os rivais vivos. Isto trouxe fama e fortuna para o Templo Siu Lam.

 

Depois deste evento, o templo foi chamado de “O templo número um debaixo do céu”. Quando Lam Sai Man tornou-se imperador em 627 d.c. as terras do templo foram ampliadas para dez mil acres chineses e cinco mil dormitórios e outras construções que foram construídas para abrigar mais de dois mil monges. Foram adições as quatorze edificações originais do templo.

 

Os três maiores monges deste tempo eram Wan jung, Ji Chou e Wai Cheung. O líder Wang Jung foi feito general honorário do exército de Lei Sai Man. Durante os tempos de paz ele era livre para ir atrás de seus estudos budistas, mas durante os tempos de guerra, ele deveria retornar a seus deveres militares. Em adição, quinhentos monges militares foram permitidos o que foi chamado ostensivamente de um exército permanente. Eles eram guardas do templo.

 

O templo foi atacado em diversas ocasiões. Um dos maiores ataques foi durante a dinastia Ching (1644 – 1911 d.c.) onde legalistas da antiga dinastia Ming (1368 – 1644 d.c.) usaram o templo como quartel general. O governo descobriu e expulsou os rebeldes, matando centenas de pessoas e destruindo outras centenas de estruturas do templo. O pior dano aconteceu durante a guerra civil em 1928. Os dois generais Sek Yau Sam e Shin Jung Sau atacaram o templo para expulsar o general Fon Jung Sau que estava usando o templo como quartel general. Em 15 de Março de 1928, Sek Yau Sam venceu a batalha e entrou no templo. Acreditando que os monges cometeram um ato de guerra por permitirem que Fon Jung Sau ficasse no templo, Sek Yau Sam ateou fogo ao templo que queimou fora de controle por quarenta dias. Algumas estruturas foram reparadas, mas a maioria foi perdida para sempre.