WebMagic是java上面經常的需要的一款爬蟲類型的工具了，現(xiàn)在就可以試試最新的0.7.3版本，功能以及使用上面都是完全的免費的，歡迎大家試試！
WebMagic中文版功能
WebMagic是一個簡單靈活的Java爬蟲框架�；赪ebMagic，你可以快速開發(fā)出一個高效、易維護的爬蟲。webmagic采用完全模塊化的設計，功能覆蓋整個爬蟲的生命周期(鏈接提取、頁面下載、內容抽取、持久化)，支持多線程抓取，分布式抓取，并支持自動重試、自定義UA/cookie等功能。
WebMagic常見問題
（1）由于我這個爬蟲的抓取有分頁，而且它的分頁通過js跳轉的，抽取出來感覺有點麻煩，我想直接得到所有的信息，發(fā)現(xiàn)可以通過輸入url地址請求得到所有的信息（這是網站的一個小問題，它沒有設置每頁數(shù)據記錄條數(shù)的范圍），但是需要登錄才可以進行url地址的訪問，就要使用cookie模擬登錄。
（2）下面分析有關登錄信息的cookie，我使用的是chrome，點擊如圖位置，會看到此網站的cookie，（如果已經訪問了一段時間了，可以清除所有cookie然后重新登錄再訪問，否則可能會有很多的cookie，分析起來不方便），由于只有5個cookie，直接加上就可以訪問了
WebMagic 0.7.3更新內容
本次更新增加了Downloader模塊的一些功能。
#609 修復HttpRequestBody沒有默認構造函數(shù)導致無法反序列化的bug。
#631 HttpRequestBody的靜態(tài)構造函數(shù)不再拋出UnsupportedEncodingException受檢異常。
#571 Page對象增加bytes屬性，用于獲取二進制數(shù)據。下載純二進制頁面時，請設置request.setBinarayContent(true)，這樣對于二進制內容不會嘗試轉換為String，減小開銷。
#629 在HttpUriRequestConverter中會自動對一些導致URI異常的字符進行轉移或過濾。
#610 自動識別編碼時，可以識別Content-Type中charset為大寫的情況。
#627 支持為Request單獨設置頁面編碼，兼容同一站點多種編碼方式的情況。
#613 Page對象增加charset屬性，其值為request/site中設置的charset，或者為自動檢測的charset(未定義時)。
#606 升級jsonpath到2.4.0
#608 升級jsoup到1.10.3
- PC官方版
- 安卓官方手機版
- IOS官方手機版
下載 
下載 
下載 
下載 
下載 
下載 
Apifox(Api調試管理工具)2.1.29.1 綠色版
小烏龜代碼管理工具(TortoiseGit)2.13.0.1 中文免費版
SoapUI破解版5.7.0 最新版
小皮面板(phpstudy)8.1.1.3 官方最新版
Ruby3.0(ruby運行環(huán)境)3.0.2 官方版
gcc編譯器( MinGW-w64 9.0.0綠色版)免費下載
寶玉編輯助手0.0.05新版
火花編程軟件2.7.2 官方pc版
猿編程少兒班客戶端3.1.1 官方版
Restorator 2009中文版單文件漢化版
十六進制閱讀小工具
IT碼農工具軟件1.0 中文免費版
Postman Canary(網頁調試軟件)官方版7.32.0綠色免費版
大耳猴少兒編程客戶端1.1.2 官方免費版
excel批量sql語句(通過excel構建sql工具)1.0 免費版
軟件添加彈窗和網址工具1.0 中文免費版
天霸編程助手2.1 單文件中文版
ida pro 中文破解版(反編譯工具)7.0 永樂漢化版64位
VBA代碼助手3.3.3.1官方版
JDK 12 linux版for 64位
Samba(完全支持Python 3)4.10 官方最新版
猿編程電腦端3.9.1.347 官方PC版
蒲公英 Android SDKV4.1.11 官方最新版
蒲公英iOS SDK2.8.9.1 官方最新版
WxPython中文可視化編輯器1.2 簡體中文免費版
Python代碼生成器1.0 中文免費版
C語言代碼實例助手1.0 免費版
notepad++7.8.2 中文免費版
wpe pro Alpha 0.9a 中文綠色版
系統(tǒng)自帶的命令行幫助文件(ntcmds.chm)chm格
Excel轉換XML工具1.0 免費版
實體類SQL生成工具1.0 綠色免費版
XML字符串解析工具2.0.3 免費版
VC++Spelly(代碼拼寫檢查)3.0.1 官方最新版
易語言vc6迷你連接器【dos命令形式運行】綠
Elastix 20163.0 免費版
sql語法分析器(sql語法分析工具)3.1.0 綠色
dev c++下載(DEV-C++)5.9.2 多語安裝免費版