En el lugar donde hoy se encuentra el ferrocarril de St. Goar, había una vez el palacio, la ciudadela de los condes de Arnstein. Ya en el siglo X, los condes, nombrados virreyes por los obispos de Prüm, construyeron la fortaleza como residencia y para garantizar su dominio. Tras la extinción de la línea Arnsteiner, los condes de Katzenelnbogen heredaron el palacio y el dominio de St. Goar en 1190. La construcción del Zoll de St. Goar se realizó a principios del siglo XIII bajo la protección de la fortaleza. A partir de 1245, con la construcción de la torre de defensa Rheinfels, el palacio perdió su importancia. Cuando los condes de Katzenelnbogen rodearon la ciudad con un muro de ciudad en el siglo XIV, la fortaleza se integró en la fortificación.
En 1848 aún quedaban partes de la fortaleza. Estos restos fueron en su mayor parte derribados durante la construcción de la línea ferroviaria en 1856. La ampliación del ferrocarril en 1909 destruyó otros vestigios de la fortificación. Actualmente solo quedan en las murallas del almacén los últimos fragmentos del palacio, la fortaleza de San Goar de los condes de Arnstein.
En el lugar del edificio de recepción actual del ferrocarril de St. Goar se encontraba una vez el antiguo edificio parroquial reformado. Tras ser destruido por un incendio, en 1859, en el momento de la construcción de la línea ferroviaria, se construyó el primer ferrocarril con una atractiva fachada de entramado de madera. El 26 de octubre de 1859 un primer tren viajó por St. Goar, y el 12 de diciembre de 1859 la nueva línea ferroviaria fue oficialmente inaugurada.
