方維站長(zhǎng)工具能查詢網(wǎng)站各大搜索引擎收錄數(shù)量和百度權(quán)重、百度相關(guān)域、百度快照、百度近日收錄、網(wǎng)站歷史查詢、網(wǎng)站升級(jí)查詢等。但是在抓取谷歌網(wǎng)頁(yè)結(jié)果的時(shí)候，返回403錯(cuò)誤問(wèn)題，同樣的地址，用瀏覽器打開(kāi)時(shí)顯示正常的搜索結(jié)果頁(yè)面，但用程序抓取就出現(xiàn)403錯(cuò)誤頁(yè)面，里面講的是判斷訪問(wèn)對(duì)象是機(jī)器，可見(jiàn)谷歌對(duì)程序或軟件抓取結(jié)果已經(jīng)做了相關(guān)的措施，因?yàn)楣雀?1算法已經(jīng)生效，防止機(jī)器抓取可以防止機(jī)器點(diǎn)擊。所以，方維站長(zhǎng)工具一直因?yàn)檫@個(gè)原因無(wú)法抓取谷歌收錄、谷歌排名數(shù)據(jù)。

    一直以來(lái)，我都在網(wǎng)上尋找問(wèn)題的答案，因?yàn)槲铱从行┱鹃L(zhǎng)工具能夠抓取，所以問(wèn)題一定有解決的方法，我開(kāi)始懷疑是路徑不對(duì)，不過(guò)我發(fā)覺(jué)也只有這個(gè)路徑，于是我把目標(biāo)指向了抓取網(wǎng)頁(yè)的程序，采用其他方法，沒(méi)想到，讓我驚奇的結(jié)果出來(lái)了。用Microsoft.XMLHTTP對(duì)象獲取就可以抓取到正常結(jié)果，我以前是用MSXML2.SERVERXMLHTTP.3.0對(duì)象來(lái)抓取的。代碼如下。

Function getHTTPPage(url,charcode)
    dim objXML
    'set objXML=createobject("MSXML2.SERVERXMLHTTP.3.0")  '調(diào)用XMLHTTP組件，測(cè)試空間是否支持XMLHTTP
    set objXML=createobject("Microsoft.XMLHTTP")
 objXML.open "GET",url,false 'false表示以同步的方式獲取網(wǎng)頁(yè)代碼，了解什么是同步？什么是異步？
    objXML.send() '發(fā)送
    getHTTPPage=bBytesToBstr(objXML.responseBody,charcode)'返回信息，同時(shí)用函數(shù)定義編碼
    set objXML=nothing'關(guān)閉
End Function

Function bBytesToBstr(body,charcode)
    dim objstream
    set objstream = CreateObject("adodb.stream") '//調(diào)用adodb.stream組件
    objstream.Type = 1
    objstream.Mode =3
    objstream.Open
    objstream.Write body
    objstream.Position = 0
    objstream.Type = 2
    objstream.Charset = charcode '轉(zhuǎn)換原來(lái)默認(rèn)的UTF-8編碼轉(zhuǎn)換成GB2312編碼，否則直接用XMLHTTP調(diào)用有中文字符的網(wǎng)頁(yè)得到的將是亂碼
    bBytesToBstr = objstream.ReadText
    objstream.Close
    set objstream = nothing
end Function

通過(guò)使用這個(gè)抓取函數(shù)，谷歌的收錄數(shù)據(jù)、排名數(shù)據(jù)都可以正常獲取了，從而解決了這個(gè)BUG。

方維站長(zhǎng)工具正在一步步完善，而且源代碼全部開(kāi)源，只希望保留版權(quán)信息。