Ошибка в свидетельстве о рождении

Добрый день! Мой отец пошел менять паспорт и столкнулся с проблемой. В свидетельстве о рождении его фамилия написана через "Ё" , а в паспорте через "Е". У меня и моей матери тоже все через "Е". В паспортном столе ему сказали, что если он оставит "Е", то потом будут проблемы. Как быть в этой ситуации? Получается нам с моей матерью тоже менять все документы? Буду рада вашему ответу!