
Le site date du XIIème siècle, durant lequel la famille De La Tournelle (grande famille de soldats), s'y est installée.
C'est en 1324 que le château de Précy est bâti en pierres, sous forme rectangulaire avant d'être remanié en 1568 par Balthazard de la Tournelle, en pleine guerre de religion, alors que Corbigny était occupé par les Huguenots.
Ce remaniement donnera au bâtiment sa forme actuelle avec une tour carrée de façade, deux tours rondes aux angles Nord et deux échauguettes rondes aux angles Sud, toutes ces nouvellles parties maçonnées en 1568 étant équipées de canonnières permettant à des arquebusiers de défendre le bâtiment.
En 1640, Jean de Blosset, petit-fils du commandant Huguenot ayant assiégé Corbigny en 1568 fait l'acquisition de la maison.
En 1685, la famille De Blosset fera l'objet d'une dragonnade, les dragons de Louis XIV les invitants à abjurer la religion protestante, ce qu'ils feront devant l'évêque de nevers.