Neogotycki pałac w Dowspudzie był niegdyś perłą architektury i zaliczał się do najpiękniejszych pałaców w Polsce. Dziś wciąż imponujący pięknem i wielkością arkadowy portyk wita wszystkich odwiedzających. Z dawnego pałacu zachowała się wieża narożna zwana Bocianią, a także ryzalit zachodni i mury zachodnie. Można także zwiedzić dwukondygnacyjne piwnice. Do współczesnych czasów zachowały się również związane z tym miejscem legendy o marmurowych żłobach i złotych łańcuchach dla koni czy kilometrowych tunelach wydrążonych pod pałacem, biegnących we wszystkie strony świata.

Majątek w Dowspudzie należał od 1639 roku do Paców, rodu wywierającego znaczny wpływ na życie polityczne i kulturalne Wielkiego Księstwa Litewskiego. Ostatnim i najwybitniejszym dziedzicem Dowspudy był hrabia Ludwik Michał Pac. Otrzymał ją w 1797 roku, jako część ogromnego spadku po swoim wuju - Józefie Pacu, staroście wilejskim i generale. Warto przybliżyć życiorys Ludwika M. Paca, jego działalność pozostała bowiem nie bez znaczenia dla Suwalszczyzny.

Jako jeden z pierwszych w kraju wybudował dla siebie rezydencję we wchodzącym wówczas w modę stylu neogotyckim. Między 1820 a 1823 rokiem powstał wspaniały pałac, pasujący do wcześniej ukutego przysłowia "Wart Paca pałaca, a pałac Paca". Projekt opracował i rozpoczął prace budowlane architekt włoski Piotr Bosie, ale po pewnym czasie przejął je zasłużony dla polskiej architektury XIX w. Włoch Henryk Marcowi. Poza pałacem Marcowi zaprojektował stajnię neogotycką i klasycystyczny kościół w Raczkach. W kościele tym zachowały się dwie rzeźby protoplastów rodu Paców, wykonane z białego marmuru, domniemane dzieło słynnego Canovy (lub jednego z jego uczniów).

Jedynym zachowanym świadectwem dokumentującym świetność pałacu jest opis z roku 1865 autorstwa Aleksandra Osipowicza z litografią M. Fajansa zamieszczony w "Tygodniku Ilustrowanym". Dzięki najnowszym badaniom J. Kaźmierczaka i K. Mikockiej - Rachubowej można częściowo odtworzyć układ sal i ich wystrój.

Budowla składała się z pięcioosiowego korpusu głównego, ujętego czterema smukłymi wieżyczkami. Fasadę korpusu głównego zdobił ozdobny portyk z umieszczonym w kluczu środkowej arkady herbem Gozdawa. Węższe trójosiowe skrzydła boczne łączyły się z ośmiobocznymi pawilonami, wydłużonymi do osi głównej pałacu.

Na fasadzie pałacu, w ostrołukowych niszach umieszczone były pomniki (autorstwa Carlo Aurelii) na poziomie parteru - czterech królów polskich: Bolesława Chrobrego, Władysława Jagiełły, Jana III Sobieskiego i Stefana Batorego; na wysokości piętra zaś znajdowały się figury ośmiu hetmanów: Konstantego Ostrogskiego, Jerzego Radziwiłła, Jana Tarnowskiego, Jana Zamoyskiego, Stanisława Żółkiewskiego, Karola Chodkiewicza, Stefana Czarnieckiego i Michała Kazimierza Paca.

W Dowspudzie, tak jak we wszystkich pałacach magnackich najbardziej reprezentacyjna była Jadalnia. Położona była we wschodnim trakcie korpusu i miała formy gotyckie. W oknach umieszczone były witraże z portretami Paców. Na ścianach też wisiały portrety przodków.

Galeria Obrazów, w której znajdowały się kolekcje artystyczne - sztukaterie i freski Piccola de Angelisa i Giovanniego Battisty Carellego, obrazy malarzy włoskich i francuskich, wykończona była w stylu klasycyzmu. Galeria znajdowała się w północnej części pałacu a z jej okien rozciągał się widok na park.

W Sali Korynckiej, zdobnej w 24 kolumny i półkolumny utrzymanych w porządku korynckim, znajdowały się liczne marmurowe popiersia i reliefy - kopie dzieł Canovy oraz kominek z cacaryjskiego marmuru. Przeszklone drzwi oddzielały salę od oranżerii. W umieszczonych pod nią dwukondygnacyjnych piwnicach znajdowały się termy (w górnej kondygnacji). Oprócz term, tuż przy Galerii Obrazów, znajdowała się łazienka przyozdobiona grupą rzeźbiarką Wenery i Amora.

Ważną rolę spełniała biblioteka, urządzona w stylu etruskim. Z Eruti (późniejszej Toskanii) bowiem wywodził się ród Paców. Ponadto w rezydencji na parterze mieściły się: Sypialnia Reprezentacyjna, Sala Bilardowa, Zbrojownia, Biblioteka Wojskowa i dominanta całej budowli Kaplica. Umieszczona była w środku korpusu, w ośmiobocznym rzucie, jej wysokość równała się dwóm kondygnacjom i wyniesiona była ponad inne pomieszczenia - wchodziło się do niej po schodach.

Rezydencja została po upadku powstania listopadowego w 1831 roku skonfiskowana wraz z całym majątkiem. Władze carskie przeznaczyły ją na majorat dla rosyjskiego generała Sulimy, zasłużonego w dziele tłumienia powstania. Jednak ten zrzekł się wkrótce donacji. Dzierżawił ją Polak Horaczko, leśnik, który nie wkładał pieniędzy w utrzymanie budowli, a wręcz korzystał z jej destrukcji. W 1887 roku znaczną część cegieł z pałacu sprzedał na budowę koszar suwalskich.