En el siglo XVI fue levantado el castillo de Castro de Rei, que le dio nombre, blasón y escudo a la villa.El castillo, que con el núcleo de población, estuvo rodeado de murallas, se conservó en pie hasta 1941, año en el que desapareció. El altonazo en el que se halla el núcleo primitivo de la villa fue un castro rodeado por los ríos Azúmara y Toreneiros, conserva restos de las antiguas defensas del castro y de la fortaleza. Con fecha 4 de Febrero de 1971 fue declarada conjunto histórico y paraje pintoresco.