Rybnov se řadí mezi zajímavé příklady zaniklých feudálních sídel, která poznamenala krajina severovýchodní Čech. Hrad založil v letech 1437 až 1438 Zikmund z Vartenberka a jeho první zmínka v písemných pramenech pochází z roku 1440, kdy již plnil funkci správního centra zdejšího panství.

Zajímavostí je, že samotní Vartenberkové zde nekončívali. Správu hradu a panství zajišťovali jmenovaní úředníci. Z historických záznamů se dochoval jménem alespoň jeden z nich – v roce 1534 to byl Alexej Kyj z Kyjova. Postupem času se však charakter sídla měnil. Někdy v polovině šestnáctého století hrad přestal být panským sídlem, což se stalo v sousedním zámku v Zahrádkách. Rybnov však ještě nějakou dobu sloužil jako obydlí pro správní personál. Kdy byl opuštěn úplně a jaký byl přesný průběh jeho zániku, se historikům bohužel do dnešních dnů nepodařilo zjistit.

Z hlediska stavby předpokládá se, že měl hrad dvoudílnou dispozici. Dochoval se z něj především výběžek centrálního hradního jádra s dvojicí vymezujících prvků – příkopem vytesaným přímo ve skále, který byl 6 až 8 metrů širokými, a nezbytnými fragmenty zdiva z místního pískovce spojeného vápennou maltou. Předhradí, které by se mělo nacházet na straně jihovýchodní, zcela zaniklo. Ke vchodu do hradu vedla nejspíše cesta u kamenného mostu z roku 1801. Není vyloučeno, že předhradí mohlo existovat také na straně severozápadní, kde do dnešních dnů vede přírodní cesta na plošinu.

Vzhled hradu se dramaticky změnil v důsledku stavebních úprav, které probíhaly od počátku devatenáctého století. Příkop byl zejména po roce 1840 prohlouben a technicky upravován pro odtok vody z přilehlého rybníka. Z těchto činností zbylo jen velmi málo – především drobné fragmenty zdiva, která se badatelé klánějí ke zbouzenému opevnění samotného jádra.

Dnes Rybnov představuje tiché místo českého venkova, kde se jen s obtížemi dochází stopy minulosti. Právě ta skrytá historická vrstva, spojená s administrativou a hospodářským životem významného panství, však činí toto zaniklé sídlo zajímavou položkou pro každého, kdo se zajímá o osud malých feudálních středisek střední Evropy.