网站更新频率高的,搜索引擎收录也就越快,爬虫来的也越频繁。比如我网站上百万个页面,根据页面的观看量进行排序的。可能页面每分钟都在发生变化 。那蜘蛛即使发modifitaion的请求,我这也会按有变化返回实际内容,而不是304,其实所谓的更新频率并不重要,你只需要关注你网站的展现量和前三十的点击量,就可以保障你网站的爬虫预算了。
还有你更新的再频繁,蜘蛛来的也有限额,搜索引擎会根据你网站的质量数量算一个抓取阈值,这个阈值会动态调整。
你网站内容更新多少文章,蜘蛛是可以进行跟踪分析出来的。比如你某个时间段发的内容比较多,每天发几篇 算法是完全可以分析出来规律,蜘蛛程序就可以选择最佳的时间段来抓取你的页面和内容。