Александр, говорить могут все что угодно. До тех пор пока в неофициальном порядке не установлен факт незаконной передачи в вашу собственность земельного участка, вы можете пользоваться, пользоваться и распоряжаться участком. Спасибо за обращение и всего Вам доброго.