Оставят ли дом, купленный на материнский капитал, если лишат родительских прав?

Здравствуйте, у меня 6 детей. Трое детей живут с бывшим мужем. Прав на детей не лишена. Сейчас покупаю дом под материнский капитал, в договоре сразу выделила всем детям доли. Но узнала что бывший муж хочет лишить меня прав на тех детей. Останется ли дом у нас? Или его отберут? Ведь со мной остается так же трое детей.