面向網絡爬蟲的(of)企業網站優化策略及效果分析

網絡爬蟲作(do)爲(for)搜索引擎技術的(of)核心技術，是(yes)按一(one)定遍曆策略，以(by)網頁之間的(of)鏈接爲(for)路徑，抓取網頁必要(want)信息，并将其下載到(arrive)本地(land)存儲設備上(superior)，以(by)便進行信息預處理的(of)程序或腳本。随着互聯網的(of)普及與搜索引擎技術的(of)不(No)斷發展，網絡爬蟲技術作(do)爲(for)搜索引擎的(of)核心技術，已被越來(Come)越多的(of)企業重視。面向網絡爬蟲的(of)企業網站，優化策略研究成爲(for)企業網站優化推廣衆多手段中最節約成本且效果最好的(of)方法。

一(one)、面向網絡爬蟲的(of)企業網站優化策略

（一(one)）網站導航結構清晰的(of)網站導航爲(for)網絡爬蟲層層深入訪問網站提供了(Got it)很大(big)便利，是(yes)網絡爬蟲比較重視的(of)内容之一(one)。可從以(by)下幾方面對網站導航進行優化設置，以(by)便網絡爬蟲更好地(land)抓取收錄網站。

1.用(use)文字鏈接設置導航

基于(At)目前的(of)技術水平，網絡爬蟲能夠識别的(of)内容大(big)多是(yes)文字内容，而無法識别flash和(and)JS等，因此，用(use)文字鏈接設置導航對網絡爬蟲來(Come)說比較合适。

2.導航關鍵詞的(of)設置

導航關鍵詞一(one)般選用(use)目标關鍵詞的(of)長尾詞，避免和(and)首頁目标關鍵詞沖突。導航上(superior)的(of)錨文字也可看做是(yes)一(one)些很有價值的(of)關鍵詞，可按照從左至右，重要(want)性依次降低的(of)方法進行設置。此外，盡量避免使用(use)一(one)些沒有實際作(do)用(use)的(of)欄目。

3.網站地(land)圖的(of)設置

網站地(land)圖也可看做是(yes)一(one)種良好的(of)網站導航，其作(do)用(use)不(No)可小觑。無論是(yes)html還是(yes)xml，現在(exist)的(of)主流搜索引擎都支持。良好的(of)網站地(land)圖導航可在(exist)一(one)定程度上(superior)彌補網絡爬蟲無法識别圖片和(and)動态網頁造成頁面不(No)可見的(of)情況，當站點欄目或内容過多時(hour)，可借助網站地(land)圖導航方便用(use)戶訪問。同時(hour)，這(this)樣也更有利于(At)網絡爬蟲的(of)爬行和(and)抓取。

網站導航共有二級，層次較淺，并且采用(use)文本鏈接，這(this)種樹狀結構不(No)管是(yes)從深度優先還是(yes)廣度優先的(of)算法，都大(big)大(big)降低網絡爬蟲的(of)工作(do)難度，有利于(At)網絡爬蟲在(exist)短時(hour)間内更快、更準确地(land)對網站内容進行抓取和(and)收錄。

（二）關鍵詞

關鍵詞是(yes)搜索引擎優化的(of)核心，是(yes)網絡爬蟲用(use)來(Come)判斷網站主題及核心内容的(of)重要(want)指标。關鍵詞的(of)研究和(and)選擇是(yes)搜索引擎優化至關重要(want)的(of)一(one)步。

首先，在(exist)選擇關鍵詞時(hour)應該站在(exist)用(use)戶搜索的(of)角度，選擇與企業網站方向和(and)産品相關且比較具體的(of)、具有針對性的(of)詞語。其次，爲(for)避免同行之間的(of)激烈競争，盡量不(No)要(want)選擇熱門關鍵詞，在(exist)實際操作(do)過程中可通過查詢百度指數觀察關鍵詞的(of)搜索量，以(by)及某個(indivual)關鍵詞的(of)百度索引結果的(of)量。

再次，還可參考同類型網站，分析研究其關鍵詞的(of)選擇和(and)設定，并結合自身網站方向或産品特點，合理設置自己網站的(of)關鍵詞。最後，合理設置關鍵詞的(of)長度和(and)個(indivual)數，合理添加關鍵詞alt屬性，提升關鍵詞密度，增加網站權重，便于(At)網絡爬蟲檢索。

（三）網站内容

網站的(of)發展靠内容，網站内容也是(yes)網絡爬蟲比較重視的(of)。網絡爬蟲在(exist)爬行和(and)抓取文件時(hour)會進行一(one)定的(of)複制内容檢測，遇到(arrive)權重低的(of)網站上(superior)大(big)量的(of)轉載或抄襲内容時(hour)，很可能不(No)再繼續爬行。因此，網站内容最好是(yes)原創，且具有豐富内容，這(this)樣的(of)網頁被爬行的(of)深度較高，被收錄的(of)内頁也較多。當然，在(exist)保持文章意思不(No)變的(of)前提下，通過對文章标題及内容進行修改，達到(arrive)僞原創的(of)目的(of)也是(yes)很多SEO人(people)員常用(use)的(of)手法之一(one)。在(exist)實際操作(do)中，可根據自己的(of)情況進行适當的(of)僞原創。

（四）Alt屬性

由于(At)圖片或flash能帶來(Come)良好的(of)視覺效果，很多企業在(exist)進行網站設計時(hour)，往往傾向于(At)通過圖片或者Flash等形式展示企業形象。但由于(At)網絡爬蟲往往隻能識别網頁中的(of)文本信息而無法識别圖片或Flash信息，因此，用(use)戶無法通過網絡爬蟲發現含有圖片或Flash信息内容的(of)網站，alt屬性爲(for)解決這(this)一(one)問題提供了(Got it)方法。由于(At)alt屬性是(yes)用(use)來(Come)對網頁上(superior)的(of)圖片進行描述的(of)，是(yes)網絡爬蟲唯一(one)能識别的(of)圖片信息，因此，可在(exist)所有圖片的(of)Alt屬性中都添加文字描述，并将該頁面的(of)關鍵詞放在(exist)其中，如：<imgsrc=”/uploads/allimg/141217/1-14121H320193P.jpg"alt="圖片名稱"/>。

（五）合理的(of)鏈接

鏈接是(yes)網絡爬蟲爬行的(of)路徑，因此，在(exist)網站建設期間，要(want)保證在(exist)任何一(one)個(indivual)頁面上(superior)一(one)級欄目可互通，一(one)級欄目下的(of)二級欄目也可互通，站内文章最好帶上(superior)一(one)篇和(and)下一(one)篇，或是(yes)相關、類似文章，确保網站内的(of)頁面互相通達，避免死鏈，确保網絡爬蟲能夠通過站内鏈接，順利爬行網站。鏈接分析是(yes)搜索引擎排名算法中很重要(want)的(of)部分，一(one)個(indivual)網站如果能獲得大(big)量其他(he)網站給出(out)的(of)、能被網絡爬蟲識别的(of)大(big)量高質量的(of)鏈接，搜索引擎就認爲(for)該網站是(yes)受歡迎的(of)，這(this)樣的(of)網站一(one)般都會在(exist)搜索結果中獲得較好的(of)排名。因此，尋找和(and)自己網站内容相關的(of)、權重或pr值高的(of)網站進行鏈接，對提升自己網站在(exist)搜索引擎中的(of)排名有一(one)定作(do)用(use)。此外，由于(At)一(one)些大(big)型論壇、門戶網站空間博客更新速度快，網絡爬蟲的(of)爬蟲比較頻繁，在(exist)這(this)些站上(superior)留鏈接，也有利于(At)網絡爬蟲迅速抓取并收錄。

（六）頁面更新頻率

網頁更新頻繁會使網絡爬蟲更加頻繁地(land)進行訪問，頁面上(superior)出(out)現的(of)新鏈接，也會被網絡爬蟲更快地(land)抓取。因此，很多企業網站都會有行業動态、新聞動态這(this)一(one)闆塊。除用(use)于(At)發布相關消息外，其最主要(want)的(of)目的(of)是(yes)時(hour)常保持更新，吸引網絡爬蟲來(Come)訪。

二、企業網站搜索引擎優化效果分析

網站主要(want)通過關鍵詞密度檢測、關鍵詞排名、SEO綜合信息查詢等方面對搜索引擎優化效果進行檢測，通過優化前後數據對比，可見滄州星達網絡科技有限公司網站取得顯著效果。關鍵詞密度主要(want)用(use)來(Come)測量關鍵詞在(exist)網頁上(superior)出(out)現的(of)總次數與其他(he)文字的(of)比例，一(one)般用(use)百分比表示。關鍵詞密度越大(big)，說明其出(out)現頻率越高。通過SEO綜合查詢得知，經過近一(one)個(indivual)月的(of)優化，“滄州網絡公司”的(of)關鍵詞百度排名由優化前的(of)第八位上(superior)升到(arrive)第七位，站内鏈接由優化前的(of)85上(superior)升到(arrive)88，最近一(one)周收錄優化前爲(for)49，優化後爲(for)69(如圖2)。

圖1　SEO綜合查詢

三、結語

基于(At)網絡爬蟲的(of)檢索原理，并以(by)滄州星達網絡科技有限公司網站優化爲(for)例，通過對該企業網站的(of)網站導航、關鍵詞、網站内容、robots協議、ALT屬性、更新頻率、網站鏈接等關鍵要(want)素的(of)分析及優化設計，具體介紹并分析企業網站面向網絡爬蟲的(of)優化策略，并通過SEO綜合信息檢測關鍵詞密度、鏈接數、收錄情況等，通過搜索引擎效果檢測得知，該網站在(exist)進行優化後，取得了(Got it)一(one)定效果。