Ruševine starega srednjeveškega gradu so skrivnostne, pisni viri so skopi, zato pa je bogatejše ustno izročilo. Grad naj bi po Valvasorju stal še v zgodnjem 13. stoletju, že od 14. stoletja dalje pa je v razvalinah. Po ljudskem izročilu naj bi v utrdbi živeli roparski vitezi, ki so prežali na splavarje, ki so tovorili po Savi, hkrati pa nadzirali prehod iz Savske v Moravško dolino. V ta namen naj bi jim služile tudi stopnice, ki naj bi vodile do Vinj. Kot se za skrivnostne ruševine spodobi, ljudsko izročilo zatrjuje, da je v ruševinah skrit velik zlat zaklad, zato lahkoverni še dandanes prekopavajo skale in upajoče iščejo…
Grad Koprivnik (tudi grad Rabensberk) v Moravški dolini (nemško Rabensberg ) je stal vrh skalnatega hriba pred zaselkom Konfin pri Sv. Trojici na vzhodni meji občine Domžale, od katerega so ostale le še skromne razvaline.
Grad Koprivnik ali Rabensberk je v listini omenjen že leta 1238, vendar je bil pozidan že prej, saj so bili gospodje Koprivniški (Rabensbergi) omenjeni že leta 1203, sprva kot andeški pozneje pa kot spanheimski ministeriali na vzhodni meji Kranjske. Leta 1214 sta omenjena dominus Vlschalcus in Engilschalcus de Rabinsperc, leta 1228 pa dominus Wlscalcus in njegov vitez Hermannus in Rauensperch. Med letoma 1250 in 1263 je bil Bertold Koprivniški eden od najpomembnejših spanheimskih ministerialov. Ker so gospodje Rabensbergi imeli tri gradove in posesti, poleg Koprivnika še Vranjo Peč pri Kamniku in Ranšperk v Savinjski dolini, je v njihovem prvem obdobju, ob skromnih virih, težava z lociranje na določeno posest ali grad.
Prvi gospod Koprivniški ali Rabensberčan, ki ga je mogoče z večjo gotovostjo povezati z gradom Koprivnik in gospoščino, naj bi bil Engelschalc de Rabinsperch, ki je bil leta 1238 med ustanovitelji samostana Adergas. Rodbina Koprivniških je po moški liniji izumrla sredi 14. stoletja in kot zadnji član rodu je leta 1339 omenjen vitez Artico de Rabensperch.
Grad Koprivnik je konec 14. stoletja prišel v last Celjskih grofov, saj listina iz 1395 omenja, da je bil takrat Hof zem Rabenspach upravljan s strani celjskih kastelanov. Grad je bil verjetno opuščen konec 15. stoletja. Že za časa Valvasorja je bil popolnoma razrušen. Po Valvasorju naj bi Koprivnik ali Rabensberk nasledil grad Krumperk.
Gospoščino je leta 1479 prevzel Štefan Hohenwart, rodbina Hohenwart je bila potem celo 16. stoletje lastnica Koprivnika. Tako se 1596 in 1597 omenja Kozma grof Hohenwart s Kolovca in Koprivnika. Po letu 1619 je grad in gospostvo pripadalo ženskemu samostanu Mekinje, leta 1823 je posestvo z razvalinami kupil domačin Matevž Cerar, leta 1930 senator, prav tako domačin dr. Valentin Rožič. Zemljišče z ostanki gradu je bilo kasneje v lasti kmeta Tovorja, tako se je oblikovalo tudi ime Tovorov grad.
