Pierwotnie gotycki zamek zbudowano około 1137 roku. Jego pierwszym znanym właścicielem był żupan zwoleński  Ditrich, potomek słynnego rodu rycerza Donča. 

W okresie największego rozkwitu zamek Modrý Kameň odgrywał na Węgrzech dużą rolę. Był ważną częścią składową przeciwtureckiej linii obronnej, ale i tak został zdobyty przez Turków, którzy mieli go w swoim posiadaniu w latach 1575 - 1593. Przed swoim odejściem został przez nich zniszczony. Ponownie zamek został zrekonstruowany przez rodzinę Balass. Po nowej wojnie Turcy ponownie go zniszczyli, górna gotycka część zamku jest od tego czasu w ruinach.

V  1730 roku Balassoowie wybudowali w dolnej części zamku pałac w stylu barokowym.  W tym stanie przetrwał z małymi zmianami do dziś.

Aktualnie w pałacu ma siedzibę Muzeum kultur kukiełkowo - lalkowych i zabawek (Múzeum bábkarských kultúr a hračiek) jedyne swojego rodzaju na Słowacji. Zwiedzający mogą tu obejrzeć wystawę zatytułowaną "Z życia  krasnoludków". Unikatem w całej Europie Środkowej jest stała historyczna ekspozycja techniki stomatologicznej Słowackiej Izby Techników Stomatologicznych. Oprócz wystaw w jego ogrodzie organizowane są różne imprezy i festiwale. 

Dostęp: samochodem przed zamek, pieszo z miasta Modrý Kameň około 20 min.

Źródło: Dajama