دارندگان سایتها از فایل robots.txt استفاده می کنند برای دادن اطلاعاتی درباره سایت خود به روباتهای وب.