Можно ли отказаться от продленной вахты

Меня начальник уговаривает остаться на вахте, но мы так не договаривались. У меня дома жена и маленький ребенок, они меня очень ждут. Скажите, пожалуйста, можно ли отказаться от продленной вахты, если в трудовом договоре она не была прописана. Т.е. я не только не соглашался на дополнительный труд, но этот вопрос даже не понимался. Как мне правильно сделать отказ от продленной вахты, чтобы не поругаться с начальником, остаться на рабочем месте, но и не перерабатывать. Помогите, пожалуйста, отстоять свои права и сохранить рабочее место, т.к. в семье сейчас я – единственный кормилец.