网站更新频率高的，搜索引擎收录也就越快，爬虫来的也越频繁。比如我网站上百万个页面，根据页面的观看量进行排序的。可能页面每分钟都在发生变化 。那蜘蛛即使发modifitaion的请求，我这也会按有变化返回实际内容，而不是304，其实所谓的更新频率并不重要，你只需要关注你网站的展现量和前三十的点击量，就可以保障你网站的爬虫预算了。
还有你更新的再频繁，蜘蛛来的也有限额，搜索引擎会根据你网站的质量数量算一个抓取阈值，这个阈值会动态调整。
你网站内容更新多少文章，蜘蛛是可以进行跟踪分析出来的。比如你某个时间段发的内容比较多，每天发几篇 算法是完全可以分析出来规律，蜘蛛程序就可以选择最佳的时间段来抓取你的页面和内容。
