Robots

La definizione del file Robots.txt informa i motori di ricerca su quali pagine non visitare. Di conseguenza toglie carico di lavoro agli stessi e per tale motivo è molto apprezzato dai motori di ricerca