Вообще вся эта жуть обусловлена политикой ЖЖ. Если ты каждый день проявляешь активность в журнале- заметим в журнале, а не только у себя в блоге, то соответственно и меняется выдача Robots.txt поисковикам для индексации - нужно каждый или почти каждый день проявлять активность - добавлять друзей, делать комментарии у них на блогах, тогда по поведению и меняется Robots.txt. Если ничего этого не делать, то тогда получаем в итоге:

---

User-Agent: *

---

Disallow: /

---

так что думаем - если есть время практически каждый день сидеть и заниматься этим или как вариант переходить в другие блоги.