Ce château fut édifié vers 316 par Constantin 1er. Au début du XIVe siècle, des démêlés entre l’église de Vienne et les Seigneurs d’Illins ont entraîné une lutte appelée « guerre d’Illins ».
Le château était appelé, à l’époque « caverne de brigands et voleurs » d’où le nom du quartier des Brigands (en direction du château).