Может ли бывший муж забрать ребёнка, если он проживает с матерью?

Здравствуйте. Меня интересует, может ли бывший муж требовать с меня встреч с ребёнком, если он не платит аллименты. Официально мы разведены, на аллименты я не подовала, т. к. была договорённость, что он будет помогать в воспитании, но обещания не выполняет. При этом я проживаю вместе с ребёнком в другом городе и давать дитя ему боюсь, потому что есть подозрения, что он возмёт к себе дочь и потом не вернёт и подаст на аллименты. Подскажите пожалуйста, как мне быть? Препятствовать общению я не хочу, но и в тоже время опасаюсь.