當前位置: 主頁 > 資訊中心 > SEO知識 >

學會分析網站日志了解蜘蛛對網站抓取情況

發表日期:2019-02-26 01:01作者來源:旭昇SEO優化公司瀏覽次數: 標簽:網站日志

作為SEO我們會經常分析網站日志,通過網站日志的分析,我們可以更加了解蜘蛛對網站抓取情況,所謂的網站日志就是記錄web服務器接收處理請求以及運行時錯誤等各種原始信息的以·log結尾的文件,網站日志最大的意義是記錄網站運營中比如空間的運營情況,被訪問請求的記錄。通過網站日志可以清楚的得知用戶在什么IP、什么時間、用什么操作系統、什么瀏覽器、什么分辨率顯示器的情況下訪問了你網站的哪個頁面,是否訪問成功。
網站日志
 
一、網站日志的作用
 
1、通過網站日志可以了解蜘蛛對網站的基本爬取情況,可以知道蜘蛛的爬取軌跡和爬取量,通過我們的網站日志,外鏈的多和少和網站蜘蛛的爬取量是有直接影響的,我們所說的鏈接誘餌就是如果你做了一個外鏈,蜘蛛在爬取這個外鏈頁面并把頁面放出來時,蜘蛛可以通過你留的這個鏈接來爬取你的網站,而網站日志正是會記錄下蜘蛛的這次爬取行動。
 
2、網站的更新頻率也和網站日志中蜘蛛抓取的頻率有關,一般來說更新頻率越高,蜘蛛的抓取頻率越高,而我們網站的更新不僅僅只是新內容的添加同時還有我們的微調操作。
 
3、我們可以根據網站日志的反應情況,對我們的空間的某些事情和問題提前進行預警,因為服務器如果出問題的話在網站日志中會第一時間反映出來,要知道服務器的穩定速度和打開速度兩者都會直接影響我們的網站。
 
4、通過網站日志我們可以知道網站的那些頁面是很受蜘蛛歡迎的,而哪些頁面是蜘蛛連碰都不去碰的,同時我們還能發現有一些蜘蛛由于是過度爬取對我們的服務器資源損耗是很大的,我們要進行屏蔽工作。
 
二、如何下載日志
在購買空間的時候需要問清楚是否支持網站日志下載,但現在基本虛擬主機都有這功能,網站日志是每天生成一次,我們只需要用FTP工具傳到本地就可以。
 
 
三、分析網站日志
 
LOGHAO日志分析

LOGHAO日志分析
 
1、日志的后綴名是log的我們用記事本打開,選擇格式里的自動換行這樣看起來方便,同時用搜索功能搜索BaiduSpider和Googlebot這兩個蜘蛛。
 
例如:
 
百度蜘蛛 2012-03-13 00:47:10 W3SVC177 116.255.169.37 GET / – 80 – 220.181.51.144 Baiduspider-favo+(+ baidu /search/spider ) 200 0 0 15256 197 265
 
谷歌機器人 2012-03-13 08:18:48 W3SVC177 116.255.169.37 GET /robots.txt – 80 – 222.186.24.26 Googlebot/2.1+(+ google /bot ) 200 0 0 985 200 31
 
我們分段來解釋
 
  2012-03-13 00:47:10 蜘蛛爬取的日期和時間點;W3SVC177 這個是機器碼這個是惟一的 我們不去管它;116.255.169.37 這個IP地址是服務器的IP地址;GET 代表事件,GET后面就是蜘蛛爬取的網站頁面,斜杠就代表首頁,80 是端口的意思,220.181.51.144 這個IP則是蜘蛛的IP,這里海瑤SEO快排發包技術小編告訴大家一個鑒別真假百度蜘蛛的方法,我們電腦點擊開始運行輸入cmd打開命令提示符,輸入nslookup空格加蜘蛛IP點擊回車,一般真百度蜘蛛都有自己的服務器IP而假蜘蛛則沒有。
 
  如果網站中出現了大量的假蜘蛛則說明有人冒充百度蜘蛛來采集你的內容,你就需要注意了,如果太猖獗那會很占用你的服務器資源,我們需要屏蔽他們的IP.
 
  200 0 0這里是狀態碼 狀態碼的意思可以在百度里搜索下;197 265最后兩個數字則代表著訪問和下載的數據字節數。
 
2、我們分析的時候先看看狀態碼 200代表下載成功,304代表頁面未修改,500代表服務器超時,這些是一般的其他代碼可以百度一下,對于不同的問題我們要處理。
 
3、我們要看蜘蛛經常爬取哪些頁面,我們要記錄下來,分析他們為什么會經常被蜘蛛爬取,從而分析出蜘蛛所喜歡內容。
 
4、有時候我們的路徑不統一出現帶斜杠和不帶斜杠的問題,蜘蛛會自動識別為301跳轉到帶斜杠的頁面,這里我們就發現了搜索引擎是可以判斷我們的目錄的,所以我們要對我們的目錄進行統一。
 
5、我們分析日志分析時間長了,我們能夠看出蜘蛛的抓取規律,同一目錄下面的單個文件的抓取頻率間隔和不同目錄的抓取頻率間隔都可以看出來,這些抓取頻率間隔時間是蜘蛛根據網站權重和網站更新頻率來自動確定的。
 
6、蜘蛛對于我們的頁面的抓取是分等級的,是根據權重依次遞減的,一般順序為首頁、目錄頁、內頁。
 
7、不同IP的蜘蛛他們的抓取頻率也是不相同的
 
四、查看網站日志的意義
 
1、查看訪問網站的用戶IP、訪問頁面、停留時間、訪問日期等等
 
2、查看搜索引擎蜘蛛都訪問網站那些頁面,返回碼是什么
 
3、找出404頁面,找出出問題的其他頁面,包括死連鏈接
 
4、發覺百度蜘蛛每天固定時間來訪問網站,那么就可以在固定時間更新網站。
 
5、訪問的頁面,有參數(代表動態頁面,或者中文URL),三個以上參數的路徑不利于優化,那么就有必要寫進robots.txt。
 
6、返回碼是不正常的,就有必要處理,讓頁面恢復正常訪問,不能恢復正常訪問的死鏈接,建立txt文檔,向百度站長平臺提交。
 
7、404頁面可以被百度收錄,那么就盡量去恢復網站訪問
 
五、網站日志的分析工具
 
愛站日志分析工具
愛站日志分析工具
 
這里給大家介紹一款非常好用的網站日志分析工具,就是拉格好分析工具http://www.loghao.com/,可以選擇導入日志后進行分析,或者使用愛站等各類SEO工具,都可以直接分析網站日志。
如沒特殊注明,文章均為旭昇SEO優化公司原創,轉載請注明來自http://www.5804724.live/news/98.html
相關新聞

廣州SEO談網站降權出現的情況

[今天我們來談 網站降權 后會出現那些問題,是由于那些問題導致網站被降權?....

日期:2019-03-21 17:06:34 瀏覽次數:178

網站設計需要注意哪些

[在網站的設計的時候需要注意哪些事情.我們在這里為你說說.讓你的設計的風格....

日期:2015-12-22 16:25:22 瀏覽次數:140

seo發布內容的標準是什么?

[基礎版 四處一詞 標題 關鍵詞標簽(因為URL出現關鍵詞) 內容里面多次出現想....

日期:2018-11-22 22:53:15 瀏覽次數:150

企業網站如何做好內容優化工

[網站建設公司非常多,而網站的價格也是參差不齊,從1千到百萬不等,但對于....

日期:2018-06-27 15:12:15 瀏覽次數:159

建站中需要用到的優化措施

[對于現在 網站建設 變得越來越簡單,但是某些建站技術的人沒有相應的優化知....

日期:2015-11-09 16:53:30 瀏覽次數:191

深度分析百度綠蘿算法的見解

[綠蘿算法是指針對買賣鏈接作弊的網站,對于買賣鏈接會干擾搜索引擎算法,在....

日期:2019-03-11 16:09:01 瀏覽次數:100

品牌化網站視覺設計之“淺藍

[淺藍色給人一種很寧靜安靜的心理感受。淺藍色系有淡雅、清新、浪漫、高級的....

日期:2018-05-23 00:29:57 瀏覽次數:173

外貿營銷網站建設特點

[目前外貿B2B與B2C竟爭激烈,企業要自己建立B2B和B2C外貿銷售平臺,由于缺乏網絡....

日期:2016-04-07 17:24:39 瀏覽次數:194

網站更換域名有什么損失呢?

[網站更換域名會對網站帶來比較大的影響,大一點的改動就相當于重新做了一個....

日期:2014-12-05 21:12:04 瀏覽次數:164

網站設計中五個錯誤將毀掉你

[網站設計發控他們的創造力,但還是需要按規矩制作,如果網站設計上出現這些....

日期:2016-03-23 16:54:51 瀏覽次數:117

企業營銷型網站怎么做

[企業做了營銷型網站沒有流量怎么辦?用戶來了就跑怎么辦?其實很多時候不是....

日期:2014-10-09 00:00:07 瀏覽次數:131

企業網站建設要重視網站兼容

[企業網站在設計制作的時候,要考慮到兼容性方面的東西,比如要兼容用戶的瀏....

日期:2016-08-09 14:02:54 瀏覽次數:119

相關標簽
網站日志
熱門地區
成都 江西 長春 吉林 重慶 四川 成都 北京 濟南 山東 天津 河北 石家莊 廊坊 山西 太原 包頭 遼寧 沈陽 大連 黑龍江 哈爾濱 上海 江蘇 南京 浙江 杭州 合肥 福建 福州 河南 鄭州 湖北 武漢 湖南 長沙 西安 蘭州
?
QQ在線咨詢
咨詢熱線
020-82035113
QQ咨詢
2053034165
今天山西十一选五