Соседу не нравится когда дым из трубы бани иногда попадает на его дом, как быть?

Добрый день! Построил баню из кирпича, есть разрешение, выдержаны расстояния до соседнего дома и его межы с запасом, поставил уже трубу вытяжную 8 метров, когда топишь баню дровами основной дым уходит в сторону, но иногда задувает на их дом.

В начале договорились что буду звонить когда затоплю, что б на всякий случай закрыли окна или не было белья на улице, но он опять не доволен , говорит что будет жаловаться. Баню топлю максимум раз в неделю для семьи по выходным, а летом вообще не топил, вот на прошлой неделе только затопил, а он уже устроил скандал. Кто прав, как мне быть, или если я не прав, чем мне это грозит? Договариваться он не желает.