Wutaishan was vroeger een van de belangrijkste centra van het Chinese boeddhisme. Pelgrims kwamen er vanuit heel China naar toe. De bodhisattva Manjusri (in het Chinees: Wenshu) werd hier vereerd, want men veronderstelde dat hij hier geleefd heeft. Volgens de overlevering bereikte Manjusri de Wutaishan op een wolk en zag hoe de boeren moesten zwoegen voor een karige oogst. Hij meldde dit aan de Drakenkoning in de Hemel, waarop deze regen en wind zond. De oogst werd rijker, en zo won het boeddhisme steeds meer aanhangers.
Van de 4e tot de 10e eeuw stonden hier verscheidene rijke kloosters. Deze hadden zowel grote geestelijke als wereldlijke macht. Zij leverden een groot deel van het tribuut dat het Chinese hof aan de semi-nomadische Liao in het noorden betaalde. Zij hadden ook zilvermijnen en andere werkplaatsen in de noordelijker gelegen Fanshi-vallei.
Daarnaast nam dit berggebied ook een bijzondere plaats in onder de Mongoolse boeddhisten die het Tibetaanse lamaïsme aanhingen. Nog tot in deze eeuw plachten Mongolen hun ouders hier naartoe te brengen om hen te begraven.
In zijn bloeitijd bevatte de Wutaishan wel 360 grote en kleine kloosters en tempels, waarin tweeduizend monniken en lama's woonden. De rijkste en meest bezochte kloosters lagen in het centrum, tussen de vijf terrassen, en op het middenterras. Door de tand des tijds zijn er nu nog 47 kloosters over.