Eigentlich ist der 6. Mai 1684 der Geburtstag von Lustheim. An diesem Tage begann der Abbruch der im Auftrag von Wilhelm V. (1548 - 1626) errichteten Renatusklause (die aber später im südlichen Pavillon einen neuen Platz erhielt), damit an gleicher Stelle das Jagdschloss Lustheim für den bayerischen Kurfürsten Max Emanuel entstehen konnte.
Die Ortschaft Lustheim entwickelte sich durch den Bau sogenannter Taglöhnerhäuschen an der Ostseite der Hofgartenmauer.
Lange Zeit hielt sich das Gerücht, dass sich hier gefangene Türken aus der Zeit Max Emanuels (1662 - 1726) angesiedelt hätten.