Pałac ten w dawniejszych czasach zamieszkiwała rodzina Lehndorfów czyli jeden z najstarszych w Prusach Wschodnich rodów szlacheckich. Pojawili się oni w tym regionie jeszcze w zamierzchłych czasach krzyżackich około 1422 roku i bardzo szybko stali się niezwykle zamożnym i wpływowym rodem dzięki swojej przebiegłości i znajomości realiów.
Pałac Lehndorffów powstawał przez bardzo wiele lat. Pierwsza struktura powstała w XVI wieku, kolejna w latach 1554-1572, jednak zasadniczą część budowy przeprowadzona została w latach 1689-1691. Powstał wtedy wielokondygnacyjny budynek z charakterystyczną więźbą dachową. Dębowe schody były niezwykłą ozdobą sieni pałacu. Przepiękne wnętrze z dekoracyjnymi kominkami, malowanymi olejno plafonami i wybitnie zdobionymi sztukateriami tworzyło niepowtarzalny klimat. Przed budynkiem znajdował się dziedziniec z cudownym widokiem na Jezioro Sztynorckie. W północnej części rezydencji znajdował się dość obszerny park. W latach 1650-1680 posadzono słynne sztynorckie dęby, które stoją tam do dzisiaj. Park okalający pałac był jednym z największych w tamtym okresie i budził podziw. Liczył sobie ponad 18 hektarów. Cały teren był zadbany, ukwiecony, obsadzony wieloma gatunkami drzew. Znajdowały się tam również rzeźby parkowe, natomiast na jednej z polan w 1741 roku powstał słynny zegar słoneczny. W XIX wieku rozbudowano pałac, natomiast w parku powstała neogotycka kaplica i neoklasycystyczna herbaciarnia. Ostateczny kształt pałac uzyskał w latach 1860-1880. Do końca II wojny światowej był siedzibą rodu Lehndorff-Mgowskich. Ostatni właściciel z tego rodu – Heinrich von Lehndorff został brutalnie zabity w 1944 za udział w spisku na życie Hitlera.