Tidigt insåg man platsens strategiska betydelse vid farleden in till Stockholm. I början av 1500-talet lät riksföreståndaren Svante Nilsson (Sture) därför uppföra ett blockhus på Vaxholmen. Vid Västerås riksdag 1544 genomdrev Gustav Vasa en landsomfattande försvarsplan. I denna ingick en permanent befästning på Vaxholmen, till skydd för inloppet till Stockholm och för att man skulle kunna undersöka och kräva tull av passerande fartyg. 1548 byggdes därför den första befästningen som bestod av ett enkelt blockhus i trä på en plats som kungen Gustav Vasa själv utsett. Under Johan III:s styre ersattes sedan blockhuset med ett runt stentorn. 1604 tillkom ytterligare förstärkningar och 1612, samma år som fästningen hejdade ett danskt anfall, förstärktes "Vaxholms hus" med vallar och en del andra försvarsverk runt tornet.
Den gamla skansen med tornet revs 1833 och en helt ny fästning anlades i dess ställe.
På det idag rivna stentornet ser man telegrafen, en omskriven telegraflinjelinje gick från fyrplatsen Söderarm i Stockholms yttre skärgård och till kungliga slottet i Stockholm med förlängning till Drottningholms Slott. En mellanstation låg lämpligt nog vid Vaxholms fästning. Huvuduppgiften var att varna för eventuellt fientligt angrepp över Bottenhavet. I Sverige uppfördes kort efter försöken mellan Stockholm och Drottningholm telegraflinjer 1794 till Karlbergs slott samt till Fredriksborgs och Vaxholms fästningar, 1796 till Grisslehamn och över Ålands hav till Eckerö. Därefter etablerades telegraflinjer mellan Göteborg och Marstrand, vid Helsingborg och mellan Karlskrona och dess kringliggande befästningar.