Hrad nechal po polovině 13. století postavit Oldřich zrodu Buziců. Podle pověsti byl hrad obklopen šípkovými keři a to dalo zřejmě podnět ke vzniku názvu Rosenthal, který by později počeštěn na Rožmitál. V 16. století byl hrad prodán Gryspekůmz Gryspachua přestavěn na renesanční zámek. Od roku 1623 sloužil jako letní sídlo pražského arcibiskupa. Ve 20. století zde byly byty a kanceláře Státních lesů. Vsoučasné době je zámek pro veřejnost uzavřen.