Нельзя. Если это нарушает их права, они могут в судебном порядке обязать вас снести дом. Если соседи нарушили подобным образом ваши права - вы можете обратиться в суд.