Fișierul robots.txt este un document text aflat la rădăcina site-ului, prin care proprietarul le spune roboților de căutare ce zone pot parcurge și ce zone să ocolească. El controlează accesul la pagini, nu prezența lor în rezultate. Confuzia dintre cele două este sursa celor mai multe greșeli, unele suficient de grave cât să scoată un site întreg din căutare.
Ce este fișierul robots.txt și unde se află?
Fișierul robots.txt este un fișier text simplu, disponibil întotdeauna la adresa domeniu.ro/robots.txt, pe care roboții care respectă protocolul îl citesc înainte de a parcurge site-ul. Fiecare subdomeniu are propriul fișier, iar un robots.txt pus într-un subfolder nu este luat în seamă.
Regulile sunt respectate voluntar. Motoarele de căutare cunoscute le urmează, dar roboții rău intenționați le ignoră, astfel că fișierul nu este o măsură de securitate.
Cum se scriu regulile din robots.txt?
Regulile se grupează pe roboți: linia User-agent numește robotul, iar sub ea liniile Disallow și Allow indică ce căi sunt interzise sau permise. Asteriscul din User-agent înseamnă orice robot. Fișierul poate indica și adresa hărții site-ului, prin linia Sitemap.
| Regulă | Efect |
|---|---|
| User-agent: * | Regulile de dedesubt se aplică tuturor roboților |
| Disallow: /cos/ | Folderul coșului de cumpărături nu este parcurs |
| Disallow: /*?sort= | Adresele cu parametru de sortare nu sunt parcurse |
| Allow: /cos/ajutor | Excepție permisă în interiorul unui folder blocat |
| Disallow: / | Întregul site este blocat |
| Disallow: (gol) | Nimic nu este blocat |
Căile țin cont de literele mari și mici. Când două reguli se suprapun, motoarele mari aplică regula mai specifică, adică pe cea cu calea mai lungă.
Blochează robots.txt apariția unei pagini în rezultate?
Nu: robots.txt oprește parcurgerea unei pagini, dar pagina poate apărea totuși în rezultate dacă alte site-uri trimit linkuri spre ea. În acest caz, rezultatul apare de obicei fără descriere, pentru că motorul de căutare nu a putut citi conținutul.
Pentru a scoate o pagină din index se folosește eticheta meta robots cu valoarea noindex sau antetul HTTP echivalent. Aici apare o capcană frecventă: dacă pagina este blocată și în robots.txt, robotul nu o mai poate citi, deci nu vede nici eticheta noindex. Pagina trebuie lăsată accesibilă până când este scoasă din index.
Ce zone ale unui site se blochează de obicei?
De obicei se blochează zonele care nu au valoare în căutare și care pot genera un număr foarte mare de adrese inutile:
- coșul de cumpărături, pașii de comandă și contul clientului;
- rezultatele căutării interne a site-ului;
- combinațiile de filtre și sortări care produc mii de variante ale aceleiași liste;
- zonele de administrare și mediile de test, protejate însă și prin parolă.
Fișierele CSS și JavaScript nu se blochează. Motorul de căutare are nevoie de ele pentru a vedea pagina așa cum o vede un vizitator, inclusiv pe telefon.
Ce greșeli din robots.txt pot scoate un site din căutare?
Cea mai gravă greșeală este linia Disallow: / rămasă din perioada de dezvoltare, care interzice parcurgerea întregului site după lansare. Alte erori frecvente sunt blocarea folderului cu fișierele de stil, blocarea paginilor care trebuiau scoase cu noindex și reguli scrise cu caractere greșite, care blochează mai mult decât s-a intenționat.
Contează și răspunsul serverului: dacă adresa robots.txt întoarce o eroare de server, unii roboți reduc sau opresc temporar parcurgerea site-ului, din prudență. Un fișier lipsă, care întoarce 404, este tratat în schimb ca absența oricărei restricții.
Cum se verifică fișierul robots.txt după o modificare?
Verificarea se face deschizând adresa fișierului în browser și testând câteva adrese reprezentative ale site-ului: pagina principală, o categorie, un articol și o pagină care ar trebui să fie blocată. Instrumentele pentru proprietarii de site puse la dispoziție de motoarele de căutare arată dacă o anumită adresă este permisă sau blocată.
După orice modificare, numărul de pagini indexate și traficul organic se urmăresc câteva săptămâni, după metoda descrisă în ghidul despre monitorizarea performanței SEO. Robots.txt este doar una dintre piesele tehnice ale unui site web bine optimizat, iar efectul lui se vede împreună cu celelalte măsuri prezentate în articolul despre optimizarea SEO pentru vizibilitate.
