载润札记 - robots.txt文件正确写法范本Z-Blog 的评论
type: channel
link: https://www.zairun.com/archives/537.html
description: robots.txt 是存放在站点根目录下的一个纯文本文件。什么是robots.txt文件?搜索引擎机器人通过链接抵达互联网上的每个网页，并抓取网页信息。搜索引擎机器人在访问一个网站时，会首先检...