早前知乎已经屏蔽除百度和搜狗以外的所有搜索引擎,即其他搜索引擎爬虫不得抓取知乎的内容;知乎通过反爬措施识别可能是爬虫类的 UA 标识,例如谷歌搜索的爬虫都会显示乱码内容。
相关内容:
- 知乎开始强制要求用户登录账号 否则不允许查看完整回答和专栏内容
- 知乎已经完全禁止谷歌和必应搜索抓取内容 看起来真怕内容被训练 AI?
- 谷歌/必应搜索的知乎专栏内容出现乱码 不知道是不是知乎故意这么做的
- 知乎故意使用乱码干扰必应/谷歌等爬虫 看起来确实是阻止内容被抓取训练 AI
不过知乎现在还在继续增强反爬措施,即用户通过搜索引擎打开知乎都可能全页显示乱码内容,这种情况显然也是知乎正在保护自己的数据避免被抓取拿去训练 AI。
目前大多数搜索引擎都已经无法索引知乎的内容,但已经索引的历史内容会在搜索引擎里显示网址概览,如果用户不小心点击了就能发现出现乱码。
蓝点网经过多次测试几乎可以确认这是知乎故意施加的限制,因为在乱码页面只需要刷新就可以正常显示内容,这说明知乎是有目的性的拦截搜索引擎或其他爬虫,这些爬虫使用的通常是无头浏览器,用户使用的浏览器则是正常版本,因此在刷新时可以通过知乎的反爬策略。
另一方面知乎现在已经强制用户必须登录才能查看完整内容,这同样也是反爬措施之一,正常用户不可能短时间内浏览大量内容,而爬虫即便有一个或多个账户,在短时间内抓爬大量内容也可能会被风控系统检测到,毕竟这不属于正常用户的操作逻辑。
当然对用户来说其实解决这个问题也很简单,直接屏蔽知乎的全部域名即可,你可以安装 uBlacklist 扩展程序将知乎从任何搜索引擎结果中拉黑,这样搜索结果就再也不会出现知乎的链接了。
文章来源:https://www.landiannews.com/archives/105521.html
最新评论
苹果如果不支持微信,那它就是要退出中国市场了!
自己花钱买的座位,凭什么不能换?
不得不说蓝心妍很漂亮,我喜欢!
人间胸器
去了美颜滤镜,估计就是大妈了!
期待,不过感觉自己可能用不上了!
天涯不是彻底关闭了吗?
感觉长想一般般!