Malý zámeček s dnes již zchátralým hospodářským dvorem byl postavený rytířem Kyšperským z Vřesovic na místě staré zpustlé tvrze.

V desetiletích po roce 1634 se na Chlumínském zámku vystřídalo několik vlastníků, kteří však zámek neužívali, a proto pustl. Rovněž v městečku zůstalo po třicetileté válce mnoho domů neobývaných a propadajících zkáze a trvalo dlouho, než byly znovu obydleny.

Na přelomu 17. a 18. století byl zámek barokně přestavěn Údrčskými z Údrče. V přízemí i patře byl a prolomena další okna a celý objekt, postavený výlučně z kamene, dostal nové omítky. Barokní přestavba ponechala objektu původní půdorys a podle dnešního stavu lze usuzovat, že nebyla provedena se vší péčí a důsledností, protože některé renesanční prvky (ostění, okna) nezůstaly netknuty.

Další úpravy zámku - ve stylu rokoka, byly prováděny i v 18. století, za nástupců kněžny Anny Marie Toskánské, která v roce 1728 darovala obci morový sloup, který je umístěn na návsi. Roku 1732 nechala kněžna rovněž přestavěn chlumínský kostel sv. Máří Magdalény do dnešní podoby. Kostel patří k největším v celém okolí, což vypovídá o jeho významu již v první třetině 14. století, kdy vznikl jako děkanský kostel chlumínského děkanátu, pod který spadalo 18 far v širokém okolí. 
 Zámek byl vyzdobený vnitřními nástěnnými rokokovými malbami, dnes již značně poškozenými.
 Zámek, který šlechta užívala ponejvíce jako letní sídlo, býval spojen s farním kostelem sv. Maří Magdalény dřevěným mostem. 
 
 V roce 1802 zřídili tehdejší majitelé Chlumína, Chotkové, na zámku školu, do níž místní mládež docházela až do začátku 20. století, kdy byla v obci postavena nová školní budova. Současně zde bylo sídlo farního úřadu. Zámek byl tedy od tohoto roku trvale využíván a obydlen místními duchovními. Původní fara, umístěná v samostatném domku na jižní straně vedle kostela, byla později prodána za 985 zlatých. Dvě třídy obecné školy v zámku byly pro 200 dětí obcí Chlumín a Netřeba.  
 
 V roce 1859 zámek vyhořel, ale narozdíl od jiných podobně vyhořelých objektů byl opraven. 

Po roce 1945 sloužil chlumínský zámek k obytným a hospodářským účelů bývalého státního statku. Byly zde prováděny nevhodné stavební úpravy pro uvažované využití objektu na depozitář Umělecko-průmyslového muzea v Praze. Z původního zařízení interiéru se zachovaly pouze dveře s rokokovými figurálními malbami. Z přilehlého hospodářského dvoru se dochovala pouze část. 

Charakteristika a řešení stavby vyhovuje svou celkovou náročností požadavkům rytířských rodů, což dokládají i zbytky štukové výzdoby stěn, rytířská síň a dekorace dveří malbou, znázorňující postavy rytířů.
 
 V současnosti je využíván Umělecko-průmyslovým muzeem v Praze jako depozitář a je veřejnosti nepřístupný.