Dessen Entstehungsgeschichte ist im Liedtext verewigt. Im Dezember 1971 reiste die Band für Studioaufnahmen in ein Kasino im schweizerischen Montreux am Genfer See. Zunächst wollten die Musiker noch auf ein Konzert von Frank Zappa & The Mothers of Invention. Das wurde wegen eines Feuers abgebrochen. Im Song heißt es, ein „Idiot mit einer Leuchtpistole“ sei dafür verantwortlich. Das Kasino brannte bis auf die Grundmauern nieder. Rauchschwaden zogen über den Genfer See.
Deep Purple zog ins Grand Hotel, das laut Text „unbewohnt, kalt und kahl“ war. Dort entstand das Album „Machine Head“, das 1972 mit „Smoke on the water“ in den Handel kam. Hohen Wiedererkennungswert hat das Stück vor allem wegen seiner Gitarren-Riffs.