Das Gebäude Neue Gasse 1 in Schillingsfürst wurde 1841 als Fürstliches Herrschaftsgericht erbaut. 1900 – 1904 Umbau zum Bayerischen Landgericht. 1974 hat Ludwig Doerfler das Areal vom Freistaat Bayern erworben, ein Ensemble mit Garten, Gartenhaus und einem kleinen Bauteil des ehemaligen Hoftheaters. Er hatte die Qualität des Gebäudes für Ausstellungszwecke erkannt und schuf die Grundlage, das zuletzt mit drei Wohnungen belegte Haus wieder in ein öffentliches Gebäude umzuwandeln. Seit 1982 hat Doerfler den Gedanken entwickelt, seinen gesamten künstlerischen Nachlass, sein Barvermögen sowie von ihm gesammelte erhaltungswürdige Gegenstände wie antike Möbel, Teppiche, Textilien und Trachten der Stadt Schillingsfürst zu vererben. Die Stadt sollte mit diesem Erbe eine Stiftung gründen. Der künstlerische Nachlass umfasste insgesamt über 2.200 Bilder, von der kleinsten Skizze, die Ludwig Doerfler mit „Südzucker-Papier" auf die Rückseiten von Briefen oder Wahlplakaten zeichnete, bis zum großen Tafelbild. Alle Maltechniken sind vertreten: Öl auf Leinwand, Papier, Holz oder Karton; Aquarelle, Bleistift-, Tuschezeichnungen, Radierungen und Tempera-Bilder.
Ab 1993 wurden die Renovierungsarbeiten des heutigen Museums in Auftrag gegeben und es begann der eigentliche Umbau des Gebäudes. Die Visionen des verstorbenen Ludwig Doerfler galt es umzusetzen. Dabei wurde sehr darauf geachtet, den ursprünglichen Charakter des Gebäudes und der Räume zu bewahren.

 

Am 26.04.1997 ist das Ludwig-Doerfler-Museum, „Haus der Heimat“, der Öffentlichkeit zugänglich gemacht worden. In den Erdgeschoss-Räumen werden nicht nur die Werke des Malers, ein Querschnitt aus über 60 Jahren seines Schaffens, sondern auch einige Ehrenzimmer präsentiert. Im Obergeschoss, im sogenannten „Sälchen" als Galerie, finden jährlich von Ostern bis Oktober Wechselausstellungen statt. Als Kulturmeile der Schlossstadt von Presse und Kunst Liebhabern sieht sich das Museum mit individueller Note.
Durch viele nationale und internationale renommierte Künstler unterschiedlicher Stil-richtungen, ob Maler, Bildhauer, Musiker, Autoren, Performance-Ausstellung und
Veranstaltung ist es längst zu einem bedeutenden kulturellen Begriff über die Region hinaus und international bekannt geworden. Zum anderen finden in den Räumlichkeiten wie auch im Museumsgarten, Atelierhaus und Gartenhaus mittlerweile viele Veranstaltungen, Vorträge, Konzerte, Theater, Buchvorlesungen und Malkurs statt.