Yksi tunnetuimmista tarinoista kertoo muuriin haudatusta tytöstä. Tarinasta on tehty myös laulu, Annikki Tähden Balladi Olavinlinnasta. Tarinasta on monia versioita, tässä yksi: Ruotsalaisen linnanherran kaunis tytär, Ingnel, oli rakastunut venäläisupseeriin. Hän avasi rakkaalleen linnan portit, ja sisään hyökkäsi venäläisarmeija. Hyökkäys torjuttiin, mutta linnan kavaltaneen neidon loppu oli surullinen. Linnanneito haudattiin elävältä linnan muuriin. Neidon hautapaikasta versoi sitten tytön viattomuudesta kertonut pihlaja. Sitkeä pihlaja oli todellinen. Se putosi kaiketi lahonneiden juurtensa vuoksi vasta 1950-luvulla.Olavinlinnaan liittyy myös tarinoita salaisista maan- ja vedenalaisista käytävistä, joiden kautta linnaan pääsi sen ulkopuolelta varsin kaukaakin. Salakäytäviä on kerrottu olevan Tallisaaren ja linnan sekä Kyrönniemen ja linnan välillä. Monet kertovat jopa kulkeneensa jonkin matkaa käytäviä pitkin kohti linnaa, mutta tunnelin huono kunto tai ummehtunut ilma lopetti kulkuyrityksen. Jopa sukeltajat ovat yrittäneet etsiä salakäytävää. Mielikuvat linnaan johtavasta tunnelista ovat ilmeisesti syntyneet Tallisaaressa olleiden rakennusten kellareista.Olavinlinnaan liittyy myös uskomuksia mustasta virrasta, mustista kaloista ja vetehisistä. Pohjoismaisten kansojen historiaa käsittelevässä kirjassaan Historia de gentibus septentrionalibus (v. 1555) Olaus Magnus kertoo myös Olavinlinnasta. Hänen mukaansa Suomen kaukaisimmassa osassa sijaitsi taidokkaasti rakennettu linna nimeltään Uusi linna. Linna sijaitsi pyöreällä kalliosaarella ja sinne johti vain yksi silta länsipuolelta. Silta voitiin nostaa yöksi ylös vinttureiden avulla. Linnan ympärillä virtasi voimakas virta, jonka syvyyttä ei tunnettu. Virran syvä pohja värjäsi virran veden mustaksi, ja siinä uivat kalatkin olivat mustia. Olaus Magnus kertoo myös onnettomuuksia ennustavasta vetehisestä. Jos äkkikuolema uhkasi linnan päällikköä, niin virrasta nousi harppua soittava vetehinen. Hän kertoo myös virran rannoilla liikkuvista peikoista ja muista kummajaisista.Olavinlinnan musta oinas eli pässi on myös kuuluisa. Linnassa oli tapana jo ammoisista ajoista lähtien pitää elättipässiä. Viimeisin linnan pässi hukkui virtaan vuonna 1728, ja tämä asia mainitaan erityisesti myös Säämingin kirkonkirjoissa. Nykyään pässistä muistuttaa Tallisaaressa sijaitseva kuvanveistäjä Anton Ravander-Rauaksen Linnanpässi-veistos. Linnanpässin kerrotaan ainakin kerran pelastaneen Olavinlinnan venäläisiltä piirittäjiltä. Hyökkääjien päästyä eräänä yönä pimeyden turvin kiipeämään tikapuita pitkin ylös kohti muurinharjaa, ilmestyi yht'äkkiä muurin harjalle hirveä kuvatus. Venäläiset säikähtivät pässiä luullen itse pirun tulleen linnaa puolustamaan, ja heidän kerrotaan paenneen henkensä kaupalla paikalta.