Muižas apbūve veidojusies ap taisnstūra pagalmu pils priekšā. Pils celta ap 1856.g. neogotikas stilā. Pēc fon Budbergu dzimtas vēstures materiāliem, sākumā uzcelta pils divstāvīgā daļa, bet otrs, zemākais spārns, uzcelts 1885.g. 1939.g. ēka pārbūvēta skolas vajadzībām pēc arh. Vasiļjeva projekta, un kopš 1940.g. tajā atrodas Gārsenes pamatskola. Pilī atrodas muzejs un ekspozīcija par Budbergu dzimtu.
Leģenda vēsta, ka pilī iemājojis pāragri mirušās barona fon Budberga pirmās sievas gars. Pils spoks tiek dēvēts par Zilo dāmu. Līdz pat 1920.g. agrārajai reformai Gārsenes muiža piederēja baronu fon Budbergu dzimtai. Muižas apbūve veidojusies ap taisnstūra pagalmu pils priekšā. Saimniecības ēkas grupējas ap parādes pagalmu, kur blakus pilij ir 18.gs.b būvētā klēts un stallis ar lieveņa arkādi. Otrpus bruģētam ceļam, kas vijas gar parādes pagalmu, atrodas dzirnavas, kas gotizētas 19.gs. 2.pusē. Vēl ir brūzis ar strādnieku māju un kalpu māja.
