не поверю, что современый робот не понимает что написано в заголовке хтмл файла.

Помню кучу форумов с php ссылками, которые отлично индексировались....
и меня сволочи заиндексировали... форума уже хз сколько нет, а его кеш выдавал не нужную для общего пользования информацию....