今非昔比' 2023-02-04 在 5:24 上午 从 SEO 的角度，Robots.txt 文件是一定要设置的，子凡觉得一定要说明的就是，网站一定不要省略网站根目录的 robots.txt，即使允许所有搜索引擎任意抓取，那么也应该设置 robots.txt 内容为空，或者使用以下 robot 协议，否则搜索引擎在抓取 robots.txt 文件的时候将会出现 404，也就是文件不存在，是不利于搜索引擎的。 1 2 User-agent: * Allow: *
当然不需要啦，除非你不打算让搜索引擎把你整站爬个遍。
没必要吧。
从 SEO 的角度，Robots.txt 文件是一定要设置的，子凡觉得一定要说明的就是，网站一定不要省略网站根目录的 robots.txt，即使允许所有搜索引擎任意抓取，那么也应该设置 robots.txt 内容为空，或者使用以下 robot 协议，否则搜索引擎在抓取 robots.txt 文件的时候将会出现 404，也就是文件不存在，是不利于搜索引擎的。