为了更好地避免出现多次重复爬行和获取网站地址，搜索引擎会创建一个地址库，记录查询早已被看到、但都还没获取的网页页面，和早已被获取的网页页面。搜索引擎蜘蛛在网页页面上看到链接后并不是立刻就去浏览，而是将URL存进地址库，随后统一安排获取。

　　淮南网站优化告诉大家地址库中的URL有几个主要来源：

　　1.人工录入的种子网站。

　　2.搜索引擎蜘蛛获取网页页面后，从HTML中剖析出新的链接URL，与地址库中的数据开展比照，如果是地址库中没有的网站地址，就存进待浏览地址库。

　　3.网站站长通过搜索引擎网页提交表格提交进来的网站地址。

　　4.网站站长通过XML网站sitemap地图、站长平台提交的网站地址。

　　搜索引擎蜘蛛按重要性从待浏览地址库中提取URL，浏览并获取网页页面，随后把这个URL从待浏览地址库中删除，放进已浏览地址库中。

　　绝大多数主流搜索引擎都提供一个表格，让网站站长提交网址。不过这些提交来的网站地址都只是存进地址库而已，能否收录还要看网页页面重要性如何。搜索引擎所收录的绝大部分网页页面是搜索引擎蜘蛛自己追踪链接得到的。淮南网站优化可以说提交网页页面作用几乎为零，搜索引擎更喜欢自己沿着链接看到新页面。