Direct de la Google:
Metaetichetele sunt o modalitate excelentă pentru webmasteri de a oferi motoarelor de căutare informații despre site-urile lor. Metaetichetele pot fi folosite pentru a furniza informații tuturor tipurilor de clienți și fiecare sistem procesează numai metaetichetele pe care le înțeleg și le ignoră pe restul.
Dacă doriți să blocați complet toate motoarele de căutare:
De ce?
Poate că este o adresă URL oarecum privată pe site-ul dvs., dar nu este protejată în așa fel încât un robot de căutare să nu o poată vedea. Ca și dacă o pagină necesită o autentificare pentru a o vedea, oricum este blocată de un bot de căutare. Dar dacă este doar un URL ofuscat, cine știe cum se desfășoară robotii de căutare, așa că s-ar putea să doriți să împiedicați indexarea.
Rezultatele căutării sunt un alt rezultat obișnuit. Poate că este ciudat să ai un rezultat al căutării. Temele WordPress tind să includă următoarele:
S-ar putea să modific asta puțin și să le spun roboților, hei, puteți urmări linkurile de aici pentru a continua indexarea site-ului, dar nu indexați această pagină în mod specific.
Alții
Motoarele de căutare tind să folosească eticheta de descriere pentru conținutul textului lângă :
Consultați pagina Google pentru alte pagini specifice Google, cum ar fi posibilitatea de a opri lucruri specifice interfeței de utilizare Google, cum ar fi „caseta de căutare a linkului site-ului”.