De naam Lushan betekent ´Berg met Strohutten´. Drieduizend jaar geleden woonden volgens de legende de zeven Kuan-broeders op de berg als kluizenaars. Om van hun wijsheid te profiteren zond de Zhou-keizer een gezant om hen naar de hoofdstad te halen. Maar de gezant trof slechts lege strohutten aan.
De Lushan werd in de tweede helft van de 19e eeuw een vakantieoord. Ongeveer 100 hotelgebouwen en villa's werden voltooid en gebruikt door rijke Chinezen, regeringsambtenaren en buitenlanders. De meesten werden in een draagstoel langs een steil pad van 9 kilometer naar boven gedragen. Zo ook Chiang Kaishek, die hier zijn zomerresidentie had. Tussen 1928 en 1938 hield de Guomindang talrijke vergaderingen te Lushan. Hier ontmoette de Amerikaanse generaal George C. Marshall hier Chiang Kaishek in 1948-49 nadat de Guomindanglegers Manzurije aan de Communisten hadden verloren.
In 1959 werd te Lushan het 8e Plenum van het 8e Centraal Comité van de Chinese Communistische Partij gehouden, waarop maarschalk Peng Dehuai, toen Minister van Defensie, een kritische redevoering hield ten aanzien van Mao Zedongs Grote Sprong Voorwaarts.
In 1970 werd hier opnieuw een plenum gehouden. Ditmaal was het de beurt aan maarschalk Lin Biao, die Peng Dehuai als Minister van Defensie was opgevolgd, om Mao te bekritiseren - deze keer voor zijn toenaderingsbeleid tot de Verenigde Staten.