Имею ли я право запрещать отцу ребенка забирать его к себе на какое- то время?

Добрый день! Я воспитываю 2- годовалого ребенка, с его отцом в браке не состояли, но какое- то время проживали вместе. Отцовство он признал. Сын записан на его фамилию. Не живем с ним с момента, когда сыну исполнилось 5 месяцев. Вскоре выяснилось, что отец моего ребенка серьезно болен, нуждается в стационарном лечении. Лечился он где- то в течение года, материально не помогал, сыном практически не интересовался. Затем у него появились периодические заработки, он стал переводить небольшие суммы на мой счет (отправлял по 4000-5000, раз в несколько месяцев; в среднем выходило 1000-1500 в месяц). Общая сумма, которую он выплатил за более, чем 2 года, составила 45000 рублей. Видится с сыном редко, так как мы проживаем в разных городах; приезжает 2 раза в год на 3 дня максимум. Сейчас он требует, чтобы я разрешала ему забирать сына "в гости", как он выражается. Живет он в Иркутской области, своего жилья у него нет, насколько мне известно. Я, конечно же, против, потому что не могу быть уверена в том, что он, забрав сына к себе, захочет мне его потом вернуть... Да и сын сам к нему не поедет, потому что он постоянно находится со мной, я его никогда ни с кем не оставляла более, чем на несколько часов, засыпает сыночек только со мной... А отец эти доводы не слушает, говорит, что я из принципа не даю ему сына, и грозит приехать с судебными приставами дабы забрать ребенка. Подскажите, пожалуйста, как мне действовать в данной ситуации? Какие права имеет отец моего ребенка? И могу ли я подать в суд на алименты?