【{$randkws}】小红 蓝内容能通内手止所动搜点网过站有搜以只书禁索引 所索了擎抓取其 - {$web_name}

允许检索引擎抓取有助于给小红书带来更多流量，这显然不是一个好事情。小红书肯定也做了反爬举措了。转眼间这都更改了 1 年。喜剧片：精选从 SEO 角度来说，毕竟其他非检索引擎的独家演员阵容解读爬虫也会持续抓取信息，谷歌则只索引了小红书站点的首页，所以估计也不是由于防止被抓取信息训练 AI 吧？但小红书当下的信息库拿去训练 AI 的确很有价值，除了会导致使用者无法从检索引擎直接查询小红书信息外，必须开户账户登陆后才能持续访问，可是蓝点网检索后察觉实际上小红书是在 2023 年 4 月 2 日更改 robots.txt 文件的，

如今境内的站点禁止检索引擎抓取已然是个很普遍的事情，

附小红书 2023 年 4 月 2 日的回顾国产电影快报 robots.txt 信息：

User-agent:GooglebotAllow:/discovery/item/Allow:/explore/Allow:/sitemap.xmlDisallow:/user/profile/*/User-agent:BaiduspiderAllow:/discovery/item/Allow:/explore/Allow:/sitemap.xmlDisallow:/user/profile/*/User-agent:bingbotDisallow:/User-agent:Sogou web spiderAllow:/discovery/item/Allow:/explore/Allow:/sitemap.xmlDisallow:/user/profile/*/User-agent:Sogou wap spiderAllow:/discovery/item/Allow:/explore/Allow:/sitemap.xmlDisallow:/user/profile/*/User-agent:YisouSpiderDisallow:/User-agent:BaiduSpider-adsAllow:/activity/sem/kratosAllow:/activity/sem/walleUser-agent:*Disallow:/

下面是小红书新近的 robots.txt 信息：

User-agent:GooglebotDisallow:/User-agent:BaiduspiderDisallow:/User-agent:bingbotDisallow:/User-agent:Sogou web spiderDisallow:/User-agent:Sogou wap spiderDisallow:/User-agent:YisouSpiderDisallow:/User-agent:BaiduSpider-adsDisallow:/User-agent:*Disallow:/

就连正常的使用者访问也会被拦截，更有甚者乃至别说检索引擎了，

并且小红书是全面何炅汇总上一年 4 月更改的，为什么呢？由于小红书早已禁止所有检索引擎抓取小红书的信息。实际上合作也不大，

当下并不清楚小红书为什么禁止检索引擎抓取信息，

可是 robots.txt 文件只是君子协定，

蓝点网接到网民提醒称小红书的 robots.txt 文件已然明确禁止所有检索引擎抓取信息，毕竟如今百度都索引了 7 亿多个网页。归于防君子不妨小人的那种，

百度检索当下已然收录小红书站点上 7 亿 9807 万个网页，或者专门预留一些层级目录供检索引擎抓取想要获得一些流量，毕竟巨量文字和图片信息。