robots.txt

Molto spesso questo file non è utilizzato e non viene preso in considerazione, un po' perchè non lo si conosce un po' per il suo dubbio funzionamento. A cosa serve infatti questo files?

Innanzitutto viene posizionato nella directory principale (" / ") del sito, dove c'è l'index.html e serve per dire al motore di ricerca quali pagine escludere dall'indicizzazione. Molti di voi diranno subito che è quindi inutile, dato che lo scopo è quello di indicizzare il maggior numero di pagine. Se però pensiamo a pagine private o pagine di accesso a zone riservate è consigliabile dire ai motori di stare alla larga da essi. Per far ciò si crea un file txt "robots.txt", attenzione che il nome sia giusto e si usa in questo modo:

User-Agent: *
Disallow: /password/pwd.html
Disallow: /dati-personali/

User-Agent: *
indica che il files vale per ogni motore di ricerca

Disallow: /password/pwd.html
indica che i motori non devono indicizzare il file pwd.html

Disallow: /dati personali/
indica che i motori non devono indicizzare nessun file presente nella directory dati-personali

E' possibile creare anche un robots.txt dicendo ai motori di indicizzare tutte le pagine del nostro sito, comportamento che comunque il motore esegue di norma, quindi è un po' inutile, utilizzando:

User-Agent: *
Disallow:

Oppure dire di non indicizzare nessuna pagina del sito con:

User-Agent: *
Disallow: /