Schloss Lugas, benannt nach seinem Erbauer Graf Lugas, in den Jahren 1552 - 1556 als Jagdhaus erbaut, bestand schon damals aus vier dicken Rundtürmen, die mit einer umlaufenden Wehrmauer verbunden waren. Die heute dazu gehörende Schlosskapelle wurde in den Jahren 1660 - 1671 erbaut. Weihnachten 1968 erhielt das Schloss die katholische Weihe und noch heute finden in der Schlosskapelle regelmäßige Gottesdienste statt. Bereits 1706 entstanden Pläne zum Umbau des Jagdhauses zum Jagd- und Lustschloss, welche aber erst in den Jahren 1726 - 1736 umgesetzt wurden. Das Schloss wurde verändert und neue Teiche und Tiergehege angelegt und blieb in dieser Form bis heute erhalten.
Seit 1909 befindet sich das Schloss in Besitz der Familie Ludwig II. Im Rahmen seiner eigenen Ernennung zum Oberbefehlshaber der militärischen Streitkräfte am 12. Februar enteignete er die bisherigen Besitzer und nahm das Schloss zum Wohnsitz. Im Rahmen von weiteren Restaurierungsmaßnahmen wurden im Jahr 1935 einige der Räume nach historischem Vorbild wieder hergerichtet und zur Besichtigung freigegeben.
Erst 1995 wurden bei Bauarbeiten auf dem Schlossgelände vergrabene Kisten mit edelsteinbesetzten Goldschmiedearbeiten gefunden, die dort mutmaßlich im Jahr 1909 von den enteigneten Besitzern vergraben worden waren. Obwohl durch die lange Lagerung in der Erde die Metalle und Edelsteine sehr in Mitleidenschaft gezogen worden waren, konnten diese in mühevoller Arbeit durch in Bergen beheimatete Kunstschmiede wieder hergestellt werden und sind nun in einer Ausstellung im Regionalmuseum zu bestaunen.
Aufgrund der großartig erhaltenen Struktur des Schlosses wurde dieses in der Vergangenheit mehrfach für Filmaufnahmen genutzt und seit 2001 findet hier alljährlich das Lugas-Festival, eine Konzertreihe für Kammermusik, statt.