Harbin betekent `Plaats om de visnetten te drogen'. Het gebied is vanaf 1097 door de Nüzhen bewoond. Tijdens de Yuan-dynastie werd de stad tot Harbin herdoopt. Tot het begin van deze eeuw was het een klein vissersdorp aan de Songhua-rivier.
In 1898 werd Harbin een Russisch concessiegebied en kreeg het een Russische wijk. Dankzij de aanleg van de Oostelijke Spoorlijn aan het begin van deze eeuw groeide Harbin snel in omvang. Dit traject verbond de Trans-Siberië spoorlijn via Manzhouli aan de Chinees-Russische grens met Wladiwostok.
Rusland verloor de suprematie in het gebied nadat Rusland in 1905 door Japan was verslagen. Harbin werd meer internationaal en diverse landen vestigden er vertegenwoordigingen. In die tijd kwamen de voedsel en textiel industrie op en ontwikkelde Harbin zich tot het centrum van het noordoosten.
Na de Russische Revolutie van 1917 en de daaropvolgende burgeroorlog vluchtten na 1918 vele zogenoemde Wit-Russen naar Harbin. De stad werd de grootste Russische enclave buiten Rusland. Daaronder waren voormalige tsaristen en aristocraten, maar ook een groep Joden, die later werden aangevuld met Duitse Joden die uit Nazi-Duitsland waren gevlucht. In de twintiger en dertiger jaren woonden er wel 200.000 Russen in de stad.
In 1931-32 veroverde Japan het noordoosten van China en vestigden er na 1935 de marionettenstaat Manzuguo (waarvan Pu Yi ‘keizer' werd). Japan was vooral uit op de grondstoffen.
Na hun capitulatie in 1945 keerden de Russen terug, nu als Geallieerd Leger. Zij verlieten de stad reeds een jaar later. De Chinese communisten kregen de stad als gevolg hiervan reeds op 28 april 1946 in handen. Met het Sovjetleger gingen ook veel voormalige Wit-Russen terug, nadat Stalin hun amnestie had beloofd. Andere Russen en Europeanen emigreerden naar hun land van oorsprong of naar Australië, de USA en Brazilië.
De Russen verdwenen (in 1988 waren er nog maar 30). Toch is de Russische invloed nog steeds zichtbaar in Harbin, vooral ook door de orthodoxe kerken. In de negentiger jaren kwam een nieuwe groep Russisch immigranten naar Harbin, in eerste instantie kleine handelaren, maar later ook investeerders en in toenemende mate toeristen.
Vóór 1949 was Harbin al het belangrijkste voedselverwerkings- centrum van het noordoosten. Sindsdien is de economische activiteit enorm gediversifieerd. Het huidige Harbin is een belangrijk centrum voor de productie van zware machines.