Les origines du château remontent aux années 1550. Il a appartenu pendant plusieurs siècles aux Savins de la Forest, vieille famille noble dont les aînés embrassaient des carrières d'armes aux services du roi. Entre 1600 et 1789, on retrouve les Savins de la Forest officiers de cavalerie et chevaliers de Saint-Louis. Durant les guerres de religion, deux frères Savin s'enrôlent dans les troupes camisardes et l'un d'eux, Gabriel, devient un principal lieutenant de Roland Laporte. 

En 1703, sur ordre du Maréchal Montrevel, deux cents hommes pillent, brûlent et démolissent les maisons du sieur Savin de la Forest et Aubignac, que l'on accusait d'avoir reçu en sa demeure le chef rebelle Roland et sa troupe.
En 1709, les héritiers des Savins (Jean Jacques de Vignolles seigneur d'Aubignac, de Colognac et de Vabres) vendirent les terres et la seigneurie d'Aubignac à Jacob de Raynaud de Boulogne, seigneur de Lascours qui en 1720 revendit à Pierre du Puy seigneur de Nozières, descendant d'une vieille famille du Dauphiné, qui défendit ardemment les idées de l'église réformée. Un de ses descendants, Louis Du Puy-Montbrun d'Aubignac fut maire de St Jean du Gard de 1817 à 1830. Les descendants de son gendre, Guillaume de Girard de Miellet, baron Van Coëhorn restèrent propriétaires du château et des terres jusqu'en 1980.