Durante a batalha do Lago Regilo entre romanos e latinos no 496 a. C. o ditador, Aulo Postumio Albino fez voto de consagrar um templo a Cástor e Pólux. Na batalha tinha-se visto a dois jovens lutando de parte dos romanos. Aquela mesma tarde da vitória também se lhes viu abrevando seus cavalos na fonte Yuturna e anunciaram aos romanos a vitória atingida, desaparecendo depois; identificou-se-lhes com os Dioscuros. No lugar desse aparecimento construiu-se o templo oferecido por A. Postumio e dedicado por seu filho no 484 a. C.
Foi reconstruído e embelezado em várias ocasiões, no 117 a. C. pelo cónsul Lucio Cecilio Metello Diademato, elevando-se o podio no 73 a. C. por Gayo Verres, governador de Sicília e também em época de Augusto , depois de um incêndio no 14 a. C., finalizando-se no 6.
O templo era períptero (pórticos columnados no perímetro exterior da cella), octastilo (oito colunas na frente) e com onze colunas nos lados maiores em ordem corintio. O podio mede uns 50 metros de longo por 30 de largo e tinha uns 7 metros de altura, construído em mampostería e originalmente revestido com toba, que depois foi retirada e reutilizada em outras construções. Três das colunas têm sobrevivido até o presente. Discute-se se precedia-lhe uma escalinata, assim figura na Forma Urbis de época de Septimio Severo, mas não se acharam restos nas excavaciones. Segundo uma hipótese, deveram-se eliminar para emplazar uma das três tribunas de oradores que tinha no Foro Tria rostra.
Ainda que dedicado aos Dioscuros, era mais popularmente conhecido como Templo de Cástor. Foi em várias ocasiões lugar de reunião do senado.
Coordenadas: