Бывший муж грозит забрать сына

Здравствуйте! В браке второй раз. От первого брака сын 12 лет. Переехали из города в деревню. Бывший муж был против, так как считает, что ребенок должен учиться в городе (ребенок учиться хорошо). Сейчас стоит вопрос о переезде в город, мне и самой там больше нравится. Жилье придется снимать. А бывший живёт в служебной квартире и скоро получит свою. Сын прописан у него. Может ли съёмное жилье помешать нам жить с сыном вместе, если бывший муж подаст в суд? Спасибо!