Google让蜘蛛自动填表提交 以抓取更多网页

王朝站长·作者佚名  2011-12-16  
宽屏版  字体: 小 | 中 | 大 | 超大  

据国外媒体报道:美国搜索巨头谷歌公司最近开始在网页抓取蜘蛛中实施一项新技术:他们可以让蜘蛛自动填写某些网页中的表格,并且自动提交到服务器上,对反馈页面进行抓取,从而获取更多有关这个网站的详细信息。

北京时间4月12日消息,据国外媒体报道:美国搜索巨头谷歌公司最近开始在网页抓取蜘蛛中实施一项新技术:他们可以让蜘蛛自动填写某些网页中的表格,并且自动提交到服务器上,对反馈页面进行抓取,从而获取更多有关这个网站的详细信息。

媒体分析认为,这将对网站的信息安全构成威胁。

一般来说,表格(Form)是网站方面用来收集用户信息的一种方式。比如用户申请成为注册会员,需要提交相关的身份资料。表格将会把这些数据提交到服务器上,服务器上的网页将会给出下一步提示。

在过去,谷歌公司的蜘蛛机器人并不会填写表格,因为也无法知道下一步的提示网页内容。

最近,谷歌公司对抓取系统进行了升级。机器人将会根据表格中各个项目的名字,自动填写数据提交给服务器,这样,服务器的反馈页面也将被机器人所抓取,谷歌将会获得这个网站的更多信息。

谷歌公司在一个博客中表示,他们会对这个功能采取谨慎态度。比如最开始,一些十分有用的网站才会采用自动填表的手段。另外,网站管理员可以在robots.txt文件中,对于是否允许谷歌提交表格作出规定,谷歌不会违反网站管理员的意愿。

有搜索行业专家表示,谷歌公司的这一功能,将会对企业网站的信息安全构成威胁。

 
 
 
免责声明:本文为网络用户发布,其观点仅代表作者个人观点,与本站无关,本站仅提供信息存储服务。文中陈述内容未经本站证实,其真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
© 2005- 王朝网络 版权所有