En raison de sa situation stratégique, Saint-Goar revêtit dès le Moyen Âge une grande importance. Afin de garantir leur domination, les comtes de Katzenelnbogen auraient probablement entouré la ville d’une muraille en deuxième moitié du XIVe siècle. La fortification de la ville comprenait huit tours et était reliée à la forteresse de Rheinfels par une barrière de défense. Les deux tours situées à proximité, le Kanzleiturm et le Pulverturm, protégeaient la partie escarpée située au-dessus du marché. Leur position élevée permettait en même temps d’avoir une vue imprenable sur la vallée du Rhin.
Le bâtiment en forme de pentagone, composé de quatre étages, occupait une position centrale dans le mur de la ville. Dans ce bâtiment, le chancelier de Rheinfelden tenait sa place ; il conduisait pendant longtemps les affaires administratives du comte. Les étages inférieurs du bâtiment servaient de prison.
Le tour de poudre à canon de cinq étages présente un plan hexagonal au-dessus d’une base ronde dotée d’embouts. Il servait probablement à entreposer du poudre à canon. On pense notamment qu’on y retenait des sorcières ; c’est pourquoi il porte le nom de tour de poudre à canon à St. Goar.
Alors que le bâtiment du siège a largement survécu aux combats et aux tempêtes de l’époque, le bâtiment du pilon est presque entièrement détruit au fil des siècles ; il n’a été reconstruit qu’après 1960. Aujourd’hui, les deux tours sont habitées.