I Middelalderen var der evig strid mellem kongehus og bispesæde, da sejrherren havde ret til at beskatte befolkningen – og dermed blive rig. Kong Valdemar Sejr, som besad et af Bornholms fire herreder, lod opføre Lilleborg midt på øen, mens ærkebiskoppen i Lund, Anders Sunesøn, der på den tid havde magten over de tre andre herreder, som modtræk lod Hammershus opføre. Det skete engang i 1200-tallet.
En senere ærkebiskop i Lund, Jakob Erlandssøn, konkurrerede med Kong Christoffer d. 1. om magten på Bornholm. I 1265 blev Hammershus erobret af Kong Erik Klipping, som imidlertid gav den tilbage til ærkebiskoppen i 1276. Også under to efterfølgende ærkebiskopper, Jens Grand og Esger Juul, spillede borgen en vigtig rolle i magtkampen mellem konge og kirke.
Efter sagnet påbegyndtes opførelsen af Hammershus først på en nærliggende høj, hvor de underjordiske holdt til. Det viste sig nu, at alt, hvad man havde opført om dagen, blev revet ned om natten. Man besluttede så at flytte konstruktionen til borgens nuværende beliggenhed, og det var de underjordiske åbenbart tilfredse med, for nu blev opførelsen ikke forstyrret. Tværtimod var der nogle ukendte personer, som hjalp med at mure – men kun om natten.
Bygherren satte nu folk på udkig for at erfare, om det var de underjordiske, der var på spil, men udkigsmændene faldt uvægerligt i søvn. Så prøvede en modig mand at holde nattevagt på selve muren – men det skulle han aldrig have gjort. Næste morgen så man, at muren i løbet af natten var vokset yderligere, men af vagten fandt man kun et stykke tøj, som stak ud midt på den nybyggede mur. Siden da vovede ingen at holde øje med de natlige sysler, og borgen blev færdigbygget uden yderligere problemer.
I 1361 erobrede Valdemar Atterdag atter Hammershus, men for at stå på god fod med den magtfulde kirke overlod han borgen til ærkebispen i Lund på den betingelse, at kongehuset kunne kræve den tilbage nårsomhelst.
Året efter blev Christian d. 2. styrtet af Frederik d. 1., som til denne handling havde modtaget hjælp fra lübeckerne. Da disse ønskede at kontrollere hele handelen i Østersøen, fik de Bornholm i pant fra Kong Frederik i 50 år, med tilhørende ret til at beskatte bornholmerne. Til gengæld var det deres pligt at forsvare øen mod danskernes ærkefjende – svenskerne.
I 1525 overtog lübeckerne magten på Bornholm, og nu blev Hammershus genopført i stor stil, bl.a. med ny ringmur, slotskirke, bro, kanontårne samt en række halvrunde murtårne. Til opførelsen anvendtes røde munkesten, som fragtedes hertil fra Schleswig. Den tyske kommandant på Hammershus, Schweder Kettingk, var meget populær blandt bornholmerne. Han lod ikke blot borgen genopføre, men stod også bag en lang række forsvarsværker langs den bornholmske kyst. Under Syvårskrigen (1563-70) modstod han og hans folk alle svenske angreb. Rester af forsvarsværkerne kan stadig ses mange steder.
Under en af de utallige Svenskekrige, i 1657-58, erobrede svenskerne alt land øst for Øresund, herunder også Bornholm. Under krigen havde Corfitz Ulfeldt begået højforrædderi gennem at rådgive svenskerne. Den svenske kommandant Johan Printzensköld blev indsat som lenshøvding på Hammershus. Han var særdeles upopulær, ikke kun på grund af de høje skatter, han indførte, men især fordi unge bornholmere blev tvangsudskrevet til den svenske hær.
Bornholmerne startede et oprør i 1658 under ledelse af Jens Pedersen Kofoed, præsten Povl Anker og Hasle-borgmesteren Peder Olsen. Printzensköld red til Rønne for at sende bud efter svenske forstærkninger, men hos byens borgmester blev han taget til fange og skudt ned på gaden.
Oprørerne drog til Hammershus, hvor man ikke vidste, at Printzensköld var død. En bornholmer iklædtes hans tøj, og svenskerne på borgen lod sig narre. De troede, at deres kommandant ville blive aflivet, eller at han var gået over til fjenden, for de overgav sig uden kamp. En delegation slap gennem den svenske flåde til det belejrede København, hvor de blev modtaget som helte. Bornholm blev højtideligt overdraget Frederik d. 3. til evig arv og eje. Til gengæld lovede kongen i 1659, at øen aldrig mere måtte afstås til nogen fremmed magt.
Forfaldet af Hammershus var allerede startet, da lübeckerne forlod stedet. Med opførelsen af Christiansø flådebase i 1684 mistede borgen sin militære betydning, og i 1743 besluttede man at nedrive den. Bornholmerne kunne købe byggematerialer fra Hammershus, og i løbet af det første år solgtes 50.000 mursten til opførelse af bygninger andre steder på øen. På det tidspunkt var teglværksproduktionen endnu meget begrænset på Bornholm.
I 1814 blev det forbudt at hente sten på borgruinen, og i 1822 blev den fredet. I 1885 startede den første restaurering af det ca. 34.000 m2 store område. Teglmurene er udsat for et stort slid af vind og vejr, så nye restaureringsarbejder er hele tiden påkrævet.