Après la guerre de Sécession, les avancées technologiques rendirent les fortifications et l'armement d'Alcatraz obsolètes. Les canons furent progressivement retirés. Des efforts de modernisation furent entrepris entre 1870 et 1876 mais demeurèrent inachevés. En 1867, une prison fut aménagée en briques et, l'année suivante, Alcatraz devint officiellement un lieu de détention pour les prisonniers militaires. Dans les années 1870, 19 Amérindiens Hopis qui s'étaient révoltés contre la politique américaine d'assimilation furent incarcérés à Alcatraz. Le nombre de prisonniers passa de 25 en 1899 à 441 en 1900. Après le séisme de 1906 à San Francisco et l'incendie qui s'ensuivit, des détenus civils furent transférés à Alcatraz.

L'île d'Alcatraz en 1895.
Alors que l'utilité purement défensive d'Alcatraz diminua avec le temps (jamais l'île n'eut à utiliser ses canons en bataille), son rôle de prison se confirma dans la première moitié du XXe siècle. En effet, l'isolement, les eaux froides et les courants violents du Golden Gate en faisaient un lieu dont les prisonniers ne devaient pas pouvoir facilement s'échapper. En 1909, l'armée américaine quitta la citadelle afin qu'Alcatraz devienne officiellement une prison militaire. La même année commença la construction par les prisonniers militaires d'un grand bloc en béton qui comprenait 600 cellules, une cuisine, un réfectoire, une infirmerie et des bureaux. Il fut achevé en 1912 et devint célèbre par la suite sous le surnom de « The Rock » (« le rocher »). Une centrale électrique fut également installée. Pendant la Première Guerre mondiale, il accueillit des objecteurs de conscience, parmi lesquels Philip Grosser, qui écrivit un pamphlet intitulé Uncle Sam's Devil's Island (L'Île du diable de l'Oncle Sam). En octobre 1933, le statut de la prison changea pour accueillir des prisonniers civils.

L'île d'Alcatraz en 1895.
Alors que l'utilité purement défensive d'Alcatraz diminua avec le temps (jamais l'île n'eut à utiliser ses canons en bataille), son rôle de prison se confirma dans la première moitié du XXe siècle. En effet, l'isolement, les eaux froides et les courants violents du Golden Gate en faisaient un lieu dont les prisonniers ne devaient pas pouvoir facilement s'échapper. En 1909, l'armée américaine quitta la citadelle afin qu'Alcatraz devienne officiellement une prison militaire. La même année commença la construction par les prisonniers militaires d'un grand bloc en béton qui comprenait 600 cellules, une cuisine, un réfectoire, une infirmerie et des bureaux. Il fut achevé en 1912 et devint célèbre par la suite sous le surnom de « The Rock » (« le rocher »). Une centrale électrique fut également installée. Pendant la Première Guerre mondiale, il accueillit des objecteurs de conscience, parmi lesquels Philip Grosser, qui écrivit un pamphlet intitulé Uncle Sam's Devil's Island (L'Île du diable de l'Oncle Sam). En octobre 1933, le statut de la prison changea pour accueillir des prisonniers civils.