Может ли бывший супруг проживать с новой семьёй в квартире, купленной на материнский капитал от первого брака?

Здравствуйте, у меня трое детей от бывшего супруга. Когда мы жили в браке, купили квартиру за счёт средств материнского капитала. В дальнейшем я с детьми после развода переехали в другой поселок. От своих прав на дом мы не отказывались. Но была договоренность что бывший супруг покупает нам квартиру в поселке где проживаем мы с детьми. до сих пор мы живём по съёмным квартирам, а он заехал в наш дом со своей новой семьёй. Как мне поступить, чтоб закон был на моей стороне?