什么是robots,robots文件介绍、作用及写法 Robots别称spider，主要作用是网站跟爬虫间的协议；搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信息。... www.ilechen.com SEO自学 2021-08-12 170
