由于互聯(lián)網(wǎng)信息實(shí)在太多太雜，隨著時(shí)間的積累不可能將所有的信息都收集起來(lái)，所以要盡可能地收集重要的網(wǎng)頁(yè)。網(wǎng)頁(yè)信息的重要性是根據(jù)信息本身來(lái)決定的，從而收集的方式也采用不同的策略。

對(duì)網(wǎng)頁(yè)重要程度的判斷也有一些方法可循。整站頁(yè)面的質(zhì)量權(quán)重度，并非是網(wǎng)站首頁(yè)權(quán)重越高越好，需結(jié)合全局來(lái)分配權(quán)重。

判斷一個(gè)頁(yè)面的重要程度可從這四點(diǎn)來(lái)檢驗(yàn)，基本上能肯定下來(lái)這個(gè)頁(yè)面的重要度。目錄深度大的頁(yè)面也并非不重要。

（1）網(wǎng)頁(yè)目錄越小越好。利于用戶體驗(yàn)，節(jié)省蜘蛛爬行時(shí)間。

（2）高質(zhì)量相關(guān)鏈接導(dǎo)入。從外部導(dǎo)入和自身相關(guān)度大的鏈接，可以增加頁(yè)面權(quán)重。

（3）信息的新鮮度。一個(gè)有價(jià)值的網(wǎng)站每天都會(huì)有更新，用戶天天來(lái)看，蜘蛛也會(huì)天天來(lái)光顧。

（4）網(wǎng)頁(yè)內(nèi)容的原創(chuàng)性。原創(chuàng)性越好的網(wǎng)頁(yè)重要性越高。