一個網(wǎng)站的內(nèi)部鏈接是否正確，是影響網(wǎng)站SEO的重要因素之一�！靶≌究客怄�，大站靠內(nèi)鏈”，只有在做好內(nèi)鏈的前提下，有規(guī)模的網(wǎng)站才能夠事半功倍的將排名優(yōu)化上去。
對于鏈接爬行工具來說，可能大家第一印象想起的就是Xenu。Xenu可以說是比較早期的一批SEO工具，而Xenu的功能也是較為普通。
那么今天就為大家介紹一款和Xenu同樣功能的軟件，由Screaming Frog公司所出的SEO Spider。
可能有些朋友對于Screaming Frog不太了解，我做一下簡單的介紹吧，Screaming Frog是英國的一家網(wǎng)絡(luò)公司，而Screaming Frog SEO Spider則是他們的一個產(chǎn)品。在Moz所發(fā)布的2014 行業(yè)報告里關(guān)于Top 10 SEO工具一項排名，Screaming Frog 是排到了第5的位置。
好了，牛逼吹完了。我們也應(yīng)該開始說說Screaming Frog SEO Spider（下面簡稱為Spider）的事情了。
Spider分為試用版與收費(fèi)版，試用版的權(quán)限較為雞肋，只能爬行抓取到500個URL而已。而收費(fèi)版的話呢，是99英鎊/年。建議大家可以下載一個試用版玩玩看，如果覺得真的不錯，Adrian建議你還是買一個正版。
Screaming Frog SEO Spider
Screaming Frog SEO Spider的界面
Spider的抓取方式可以分為Spider與URL，簡單點(diǎn)理解就是一個你可以放一個頁面或域名開始抓取，另外一個則是放一個URL文件進(jìn)去抓取。
你在輸入好url或選擇好url文件后則會開始抓取內(nèi)容，那么問題來了，Spider可以為我們抓取頁面的什么內(nèi)容呢？
頁面鏈接
文件類型與編碼
HTTP狀態(tài)碼和狀態(tài)
Title與長度
Description與長度
Keywords與長度
H1標(biāo)簽文本與長度
H2標(biāo)簽文本與長度
Canonical URL
其他（文件大小，字?jǐn)?shù)，層數(shù)，內(nèi)鏈數(shù)量，站外鏈接數(shù)量等）
對于鏈接抓取的限制上，Spider也做了許多功能。首先是下面的特殊限制：
檢查圖片
檢查CSS文件
檢查JS文件
檢查SWF文件，也就是Flash之類的
檢查外部鏈接
檢查目錄以外的鏈接
跟蹤標(biāo)識Nofollow的站內(nèi)鏈接
跟蹤表示Nofollow的外部鏈接
忽略robots.txt
總共抓取數(shù)量
總共抓取層數(shù)
這里大家可能還是看不太懂，那Adrian為大家簡單舉例解釋一下。
案例一：D姐想要抓UC所有頁面，其中不包括CSS，JS，SWF（因為這些浪費(fèi)時間和資源）。那么就可以取消勾選四個選項了；
案例二：民工想要像蜘蛛一樣爬取UC的頁面，那么就可以只勾選Ignore robots.txt這一項了；
案例三：何元想要只抓dx的首頁所有鏈接，全部勾選上，除了不要勾Ignore與Limit search toal就可以了，當(dāng)然記得勾上Limit Search Depth 并設(shè)置層級為1；
如果還看不懂，那我也無能為力了，只能是找D姐給你好好培訓(xùn)一下SEO了。
其實Spider的功能有許多，我就不一一提及了。說幾個我常用的功能吧！
第一個，正則爬行頁面。
在configuration中的include和exclude里都有可以寫正則的地方，在那里你可以設(shè)置你想要特定抓取爬行的鏈接。至于怎么使壞，需要你自己想象了。
第二個，速度限制。
在configuration中的Speed中有關(guān)于速度的限制，這里需要提一下的是速度上的限制不僅僅指的是線程，還有限制抓取URL速度，例如你想要1 URL/S，又或者是2 URL/S。這個功能可以躲避部分有防重復(fù)爬行限制的網(wǎng)站。
第三個，User Agent設(shè)置。
在configuration中有一個User Agent里可以設(shè)置你的身份，你可以設(shè)置為某搜索引擎的蜘蛛或瀏覽器都可以。
第四個，自定義字段檢查功能。
同樣是在configuration中的custom，這個功能可以說是比較好用的功能，主要是可以讓Spider在爬行抓取的同時可以根據(jù)你所設(shè)置的自定義字段進(jìn)行篩選。例如：我在Custom設(shè)置了包含DVD這個字眼，那么所有出現(xiàn)DVD字眼的頁面都會特別篩選出來。
還有其他的功能，如：代理抓取，制作sitemap，導(dǎo)出url等功能，都是比較實用的。這里我就不做介紹了。
- PC官方版
- 安卓官方手機(jī)版
- IOS官方手機(jī)版
VMware External DNS自動化工具0.16.1+vmware.2 中文版
Drift Detector for Tanzu Kubernetes Grid Management Cluster 檢測工具0.1.0 中文版
vSphere Software Asset Management Tool最新版1.5 中文版
VMware Cloud Gateway for VMC HLM M24鏡像包8.0.2 中文版
VMware VCDA ALL鏡像包4.7.x 中文版
tgz VMware On Demand Services SDK鏡像包0.42.6 中文版
NSX Manager 6.4.14鏡像包6.4.14 中文版
Workstation 17.6.4 中文免激活安裝包17.6.3 中文版
鮮牛網(wǎng)游加速器4.6.6.2 電腦版
cFosSpeed破解版12.50.2525 中文免費(fèi)版
奇游電競加速器6.4.3 官方最新版
網(wǎng)易UU網(wǎng)游加速器(可免費(fèi)加速steam)4.45.0 官方最新版
besttrace電腦版3.9.1.0 官方版
谷歌訪問助手(Google Helper插件)2.6.2 官方版
speedtest網(wǎng)絡(luò)測速軟件1.8.156.1 單文件版
systemview通信系統(tǒng)仿真軟件5.0 免費(fèi)版
Windows U-Finder2.1.4 廠商免費(fèi)版
水星MWU300T WPS安裝程序1.0 官方安裝版
綠聯(lián)HDMI矩陣 RS232上位機(jī)軟件1.10.01 綠色官方版
綠聯(lián)云智能云存儲pc版2.4.0.1915 一鍵安裝版
cFosSpeed網(wǎng)絡(luò)流量優(yōu)化軟件12.00.2512 免序列號去試用限制版
騰訊微云pc版5.2.1282 官方最新版
愛站工具包(愛站seo工具包)1.11.25.0 最新破解版
電信寬帶上網(wǎng)助手9.5.2101.1318 官方版
獵豹免費(fèi)wifi電腦版5.1 校園版
聯(lián)想滑塊驗證助手1.1 單文件免費(fèi)版
指定硬件廠商MAC地址生成工具1.0 中文免費(fèi)版
ER系列路由器ISP數(shù)據(jù)庫文件1.6版本
TP-LINK Web網(wǎng)管交換機(jī)客戶端應(yīng)用程序1.0.3 官網(wǎng)免費(fèi)版
華為配置加解密工具1.0 簡體中文版
全新 NETGEAR 網(wǎng)件精靈2.4.62 官方中文版
360隨身wifi軟件pc端
快牙電腦版2.8.0.0 官方最新版
愛微幫媒體版客戶端2.16 官方最新版
蒲公英WiFi電腦端2.0.3官方版
WiFi共享大師3.0.0.6 官方最新版
青青草原WiFi電腦版5.2 免費(fèi)版
VMware Workstation P-ro最新版25H2 中文版
華夏網(wǎng)銀批量匯款脫機(jī)編輯工具
ic卡信息讀取工具3.0 綠色版
雙路負(fù)載平衡的軟路由器寬帶合并工具(FNET 
網(wǎng)亞局域網(wǎng)監(jiān)控軟件10.0.35 最新免費(fèi)版
TP-LINK R483高速路由器升級軟件3.0.140612
迅游激活碼搶號工具1.0 綠色最新版 【迅游3
Free WiFi Hotspot(免費(fèi)wifi熱點(diǎn)掃描工具)3
科發(fā)JqueryEasyUi代碼生成器3.5 破解版
雙網(wǎng)卡帶寬疊加程序含圖文教程