Собственник квартиры вправе выселить вашего бывшего мужа, более того, не пускать в квартиру. Да, бабушка может оформить на вас доверенность, для ведения данного дела в любых гос учреждениях и структурах. Нотариуса можно взывать на дом. Обращайтесь к участковому с жалобой на действия бывшего мужа (попросите о помощи). Бывший супруг проживает без регистрации по данному адресу (штраф), нарушает ваш покой (штраф), дети его боятся (грозит лишение родительских прав), дебоширит (заявление или вызов полиции). Берите ситуацию в свои руки, пока не поздно. У бывшего супруга нет никаких прав на проживание и пользование квартирой бабушки.