莱万特玛莎拉蒂报价
當前位置:廈門SEO > SEO優化 > 正文

蜘蛛日志分析的作用與重要性解讀!

龍騰SEO 2019-06-11 175 0

作為一個SEO從業人員,學會蜘蛛日志分析是一項必備技能,我們可以通過網站日志中的數據記錄,了解各個搜索引擎蜘蛛經常爬行哪些頁面,有些目錄可以屏蔽不被爬行,分析網站是否處在健康的狀態。所以利用好蜘蛛日志分析工具也不可忽視,調整好網站正確引導搜索引擎蜘蛛的抓取。
蜘蛛日志分析的作用
一、網站日志怎么獲取

網站日志是記錄服務器請求與運行錯誤等信息以log后綴結尾的文件,不同的云服務器和云虛機存放的log文件位置會有不同,但一般獲取的方法是比較簡單,現在很多站長在服務器上安裝寶塔面板,那么網站日志文件會存放在wwwlogs文件夾中,只需找到對應網站的log文件然后ftp下載。

二、網站日志分析工具

現在seo常用工具有很多比較好用的,比如在線日志分析工具拉格好,我自己常用的光年網站日志分析工具。這些工具其實大同小異,學會如何分析這些網站數據比較重要。

三、如何分析網站日志

123.125.71.84– – [20/May/2019:12:30:32 +0800] “GET /content/108.html HTTP/1.1” 200 7942 “-” “Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http ://www.baidu.com/search/spider.html)

以上是日志文件里的一段代碼,現在跟大家一起來分析這段代碼意思:

123.125.71.84:蜘蛛IP

[20/May/2019:12:30:32 +0800]:蜘蛛訪問時間

GET /content/108.html HTTP/1.1:表示蜘蛛抓取的網頁地址(GET表示服務器動作)

200:表示正常訪問

7942:表示7942字節

后面的代碼表示移動端系統,我們主要了解蜘蛛來抓取哪些頁面與多久時間就要以,Baiduspider這個是百度蜘蛛的全名。

四、狀態碼返回分析解讀

1、200:代表服務器返回頁面成功;
2、404:代表頁面無法訪問;
3、301:代表頁面301轉向(重定向);
4、304:代表客戶端已經執行了GET,但文件未變化;
5、500:狀態碼表示服務器遇到錯誤,無法完成請求;
6、403:狀態碼表示服務器拒絕請求。

通過網站蜘蛛日志分析,我們可以很好的診斷網站是否出現問題,比如大量蜘蛛訪問造成打開速度緩慢,了解蜘蛛抓取頻次、是否被關進沙盒、是否有異常抓取等。另外通過抓取量還可以進一步了解各個引擎蜘蛛的喜好,起到一定的輔助作用。

轉載請注明來自廈門SEO,本文標題:蜘蛛日志分析的作用與重要性解讀!
本文地址:http://www.frjo.net/content/278.html

標簽:

本文暫時沒有評論,來添加一個吧(●'?'●)

歡迎 發表評論:

關于我

歡迎加我的微信號交流

文章代更新
熱門文章
隨機tag
博客優化wordpress搬家搜索引擎404 not found百度負面活動專題頁百度蜘蛛wap推廣百度惡意點擊企業SEO長尾關鍵詞ftp站點網站優化外包關鍵詞優化HTTPS網站優化網絡營銷方法百度網站收錄營銷方案網站診斷搭建云服務器DEDECMS搬家網站權重更換服務器
莱万特玛莎拉蒂报价 7码滚雪球套路 欧洲秒速时时 四川时时注册网址 快乐赛车彩票合法吗 安徽时时平台注册码是什么 天津时时结果空 足彩开奖及奖金是多少 极速时时大小 海南七星彩够力奖图 浙江11选5走势体彩 安徽省体彩中心电话 北京赛计划员