robots.txt 是存放在站点根目录下的一个纯文本文件。什么是robots.txt文件?搜索引擎机器人通过链接抵达互联网上的每个网页，并抓取网页信息。搜索引擎机器人在访问一个网站时，会首先检...