百度站长平台：robots.txt文件用法举例

Robots是站点与spider沟通的重要渠道，站点通过robots文件声明本网站中不想被搜索引擎抓取的部分或者指定搜索引擎只抓取特定的部分。robots文件往往放置于根目录下，目前支持48k的文件内容检测，请保证robots.txt文件不要过大，目录最长不超过250个字符。