Skalský Dvůr vyrůstá na pozemcích v jižní části katastrálního území Lhoty, která spadá pod obec Lísek. Nejbližší větší sídla jsou Bystřice nad Pernštejnem a Nové Město na Moravě. Stavba se nachází přímo na břehu Skalského rybníka a v blízkosti hranice Chráněné krajiny Žďárské vrchy.

Počátky původního panského dvora sahají až do přelomu 16. a 17. století. Za jeho založení patrně stál Václav Ples Heřmanský ze Sloupna, tehdejší majitel bystřického panství. Původní název budovy – Lhotecký dvůr – se poprvé objevuje v záznamech z roku 1609, kdy jej od poručníka dětí Zikmunda Jana Plesa odkoupil Jan Čejka z Olbramovic a na Polici. Následovalo období časté výměny vlastníků, které skončilo v roce 1731, když panství zakoupil Arnošt Matyáš Mitrovský z Mitrovic a Nemyšle.

Rozhodující změnu přinesla baroková přestavba v polovině 18. století. Tehdejší majitelé nechali vytvořit uzavřený komplex budov kolem velkého nádvoří. Středem komplexu procházel valeně klenutý průjezd, nad nímž se vypínal portál s kartuší obsahující znak Mitrovských z Nemyšle. Patrová obdélná budova střední části křídla připomínala spíše zámeček či letohrádek, ačkoliv historické doklady ji takto výslovně nepojmenovávají. Její vzhled zdůrazňoval trojúhelníkový štít s hodinami, umístěný nad římsou prvního patra a symetrickou dvojicí vikýřů. V přízemí se nacházely hospodářské místnosti a byt panského služebníka. V patře převládal oválný sál s dalšími čtyřmi pokoji, jejichž stropy zdobil štuk. Celou stavbu zakončila sedlová střecha.

Až do dvacátých let 20. století tvořil Skalský Dvůr součást velkého statku Dolní Rožínka v majetku hraběte Vladimíra Mitrovského, spolu s dvory v Domanínku, Vojetíně, Rozsochách a Novými dvory. Pozemková reforma po roce 1919 vedla k postupnému rozparcelování. První rozdělení proběhlo roku 1923, druhé pak v letech 1925 až 1926, kdy se prodalo celkem patnáct hektarů orné půdy. Zbývající statek s původním zámečkem zůstal v rukou Mitrovských do roku 1945. Po jejich odchodu z republiky jej převzala státní správa. Budovy postupně upadaly.

V roce 1976 se Skalský Dvůr stal majetkem JZD Bohuňov. Vzhledem k jejich značně zchátralému stavu se zemědělské družstvo rozhodlo proměnit lokalitu v rekreační zařízení. Vážnějším zájemcem se nakonec ukázalo Federální ministerstvo zemědělství a výživy. Na přestavbě se podíleli Josef Svobodník a inženýři Rádl a Kyslík. Architektonická služba Brno pod vedením projektanta V. Pšíkala zpracovala v roce 1978 studii obnovy. Rozhodnutí o přestavbě padlo v roce 1979. Vzhledem k velmi špatné kondici budov se nakonec volila jejich demolice s výjimkou tzv. Šafářova domu. Dne 25. listopadu 1980 byla podepsána smlouva mezi ministerstvem, krajskou a okresní zemědělskou správou a bohuňovským JZD. Stavebníkem se stalo Stavební sdružení Žďár nad Sázavou.

Dnešní hotel tak stojí na místě bohaté historie – zde, kde někdy hospodařili viděníhodní vlastníci za zvuku ranních zvonů kostelů rozprostřených po moravské krajině.