D’après l’Annuaire de l’Oise (1843), « on croit que le premier château dans le onzième siècle fût bâti par un des chevaliers de la forteresse de Béthisy ».
Le Vicomte Henry le Sellier de Chézelles achète le domaine de Glaignes en 1869 aux Billard de Lorière, (inhumés dans notre cimetière).
Grand amateur de vénerie, il souhaite établir l’équipage « Picard Piqu’Hardi » à Glaignes. Pour ce faire, il entreprend de grands travaux qui débuteront en 1874 par la réalisation du parc par Varé, Architecte paysagiste à qui l’on doit le tracé du Bois de Boulogne.
Lors de premiers travaux, l’on mit à jour un squelette humain, probablement celui de l’un des plus anciens possesseurs de la terre de Glaignes. L’examen des ossements par d’éminents spécialistes a permis de conclure qu’on était là en présence d’un homme primitif, de race préhistorique (tibias aplatis, perforation des fosses olécrâniennes des humérus…). Des examens plus approfondis ont amené ces spécialistes à conclure qu’il s’agissait là d’une femme, de la peuplade des Mongoloïdes, tribu qui existait bien avant l’arrivée des Gaulois. L’architecte Samson aura en charge la construction du Château de la Garenne, d’un « grand modernisme » et correspondant aux goûts raffinés de l’époque permettant ainsi de recevoir aisément lors des chasses à court.
L’ancien château du XIIème siècle est démoli. On ne conservera que les fondations (2 voûtes) afin d’y construire les Communs pour loger gens de maison et écuries pour chevaux. Ces travaux prendront fin en 1882.
Le domaine restera dans les familles de Chézelles et de Bertier de Sauvigny jusqu’en 1972. Il fut alors vendu à la Manécanterie des Petits Chanteurs à la Croix de Bois, qu’il abrita alors, pendant plus de 30 ans.
Ce château est devenu propriété privée.
