Tvrz stávala na vyvýšené planině na východním okraji údolí, jímž od Březnice protéká říčka Vlčava k Mirovicům. Tímto údolím šla od pradávna stezka od Mirovic na Březnici a dále na Příbram. Blízkost knížecího raně středověkého hradu Bozně a vsi Stražiště na protějším svahu vyvolává dohad, zda i tvrz Hrochův hrádek neměla převážně strážní funkci. Ve 13. století na Hrádku sídlil vladyka Hroch, po němž byl pojmenován. Neznámo kdy získal statek Bohuslav z Němčic, který jej prodal Joštovi z Pruku, hejtmanovi na Třeboni v r. 1477 a v l. 1491 - 1499 na Zvíkově.
První písemná zpráva o tvrzi je z r. 1543, kdy Zdeslav Ojíř z Očedělic prodal Václavu Bechyňovi z Lažan tvrz Hrochův hrádek s dvorem a ves Nestrašovice. Když se r. 1579 dělili jeho čtyři synové o majetek, převzal Hrochův hrádek Jiří. Po jeho smrti r. 1582 jeho syn Václav prodal r. 1584 ves Nestrašovice Přibíku Bukovanskému z Bukovan. Tvrz byla při prodeji již zřejmě pustá. Z mohutné kamenné tvrze zůstaly pouze zbytky obvodového zdiva paláce do výše prvního patra. Část tvrziště a zřícenin obytné budovy vzala za své v r. 1875 při stavbě železnice Zdice - Protivín, která probíhá v těsné blízkosti ruiny na jižní straně.