Ve 13. století stála pravděpodobně v místech dnešní budovy Zámečku dřevěná tvrz. Dokladem této hypotézy jsou archeologické vykopávky, které místní osídlení dokládají. Přestavba dřevěné tvrze v kamenný hrádek je však věrohodně prokázána až v polovině století čtrnáctého. Město Příbram s panstvím tvořilo součást majetku pražského biskupství, jehož nejvyšším představitelem se stal blízký spolupracovník Karla IV., první pražský arcibiskup Arnošt z Pardubic. Ten dal na místě původní dřevěné tvrze postavit kamenný hrádek. Výrazná dominanta Příbrami byla podle svého majitele nazvána Ernestinum. Z původní stavby z 2. poloviny 14. století se dodnes dochovala východní část s gotickým arkýřem s žebrovou klenbou, pozůstatek presbytáře tehdejší kaple.
Hrádek byl sídlem purkrabího, správce arcibiskupského panství a také Arnošt z Pardubic zde často pobýval. Potvrzují to mimo jiné i listiny jím vydané v roce 1358 a 1360. K Ernestinu se váže také pověst o vzniku dřevěné sošky Panny Marie, kterou údajně sám arcibiskup vyřezal a umístil ve zdejší kapli. Odtud byla přemístěna o několik století později na Svatou Horu.
V historické budově příbramského zámečku Ernestinum se dnes nachází galerie Františka Drtikola. František Drtikol (1883 Příbram -1961 Praha) byl první český fotograf, který získal již za svého života světové uznání. Jeho dílu byla věnována již řada výstav i odborných publikací, ale dosud chyběla stálá expozice autorových prací.