網(wǎng)站內(nèi)容被采集是很多站點(diǎn)的困擾,對(duì)于網(wǎng)站的有效效果影響非常之大,但是又無(wú)法完成的避免,我們能做的就是盡可能的去保護(hù)原創(chuàng),畢竟只要內(nèi)容可以被公開(kāi)訪問(wèn)。
那么必然無(wú)法99.9%的防止內(nèi)容被采集,之前也已經(jīng)普及了很多防止被采集的技術(shù)手段,但是今天分享一個(gè)能加簡(jiǎn)單巧妙的防止網(wǎng)站內(nèi)容被采集的手段。
被采集的影響
網(wǎng)站內(nèi)容被采集對(duì)于站點(diǎn)影響,主要在于內(nèi)容的原創(chuàng)度上的影響,短期影響內(nèi)容的收錄排名,長(zhǎng)期會(huì)影響站點(diǎn)的評(píng)價(jià)值。
對(duì)于搜索引擎站點(diǎn)輸出高質(zhì)量稀缺性的原創(chuàng)內(nèi)容是寧波網(wǎng)絡(luò)推廣營(yíng)銷優(yōu)化的關(guān)鍵點(diǎn),但是對(duì)于搜索引擎判斷內(nèi)容的原創(chuàng)只能通過(guò)內(nèi)容的抓取先后順序來(lái)確定。
然而站點(diǎn)的抓取速度收錄時(shí)間與站點(diǎn)的質(zhì)量密切相關(guān),就會(huì)出現(xiàn)網(wǎng)絡(luò)營(yíng)銷推廣站點(diǎn)的原創(chuàng)內(nèi)容被其他站點(diǎn)采集之后,反而憑借站點(diǎn)的優(yōu)勢(shì)優(yōu)先獲得收錄。
如何防止被采集
之前分享過(guò)如何通過(guò)識(shí)別屏蔽惡意抓取行為,這種方法雖然還是比較不錯(cuò)的,但是如果技術(shù)能力強(qiáng)一點(diǎn)的采集行為,只要通過(guò)大量代理ip分時(shí)段采集還是很難被識(shí)別的。所以建議大家結(jié)合今天的防采集方法,兩者結(jié)合可以獲得更好的效果。
要更徹底的防止采集,那么好的方法就是讓內(nèi)容消失,增加訪問(wèn)難度,沒(méi)有訪問(wèn)入口自然很難被采集到。
內(nèi)容防止采集方案
今天分享內(nèi)容防采集方案,是通過(guò)隱藏內(nèi)容的入口的來(lái)實(shí)現(xiàn)的,失去了采集的入口地址,那么再?gòu)?qiáng)的技術(shù)通過(guò)蜘蛛爬取基本上就很難實(shí)現(xiàn)的。
1.內(nèi)容部分可見(jiàn)
蜘蛛可以爬取到整個(gè)網(wǎng)站的內(nèi)容,首先可以確認(rèn)的是站點(diǎn)的結(jié)構(gòu)非常的科學(xué),搜索引擎可以不依靠連接提交,從頁(yè)面的導(dǎo)航、內(nèi)鏈等形成全面的抓取環(huán),實(shí)現(xiàn)整個(gè)站點(diǎn)內(nèi)容的抓取。而惡意采集與搜索引擎的蜘蛛的抓取原理是一致的,自然也可以采集到整個(gè)站點(diǎn)的內(nèi)容。
多站點(diǎn)的各個(gè)欄目主要不斷的加載就可以獲取到整個(gè)站點(diǎn)的內(nèi)容。
另外在詳情頁(yè)很多網(wǎng)頁(yè)都喜歡顯示上下篇內(nèi)容,這個(gè)也是需要去掉的,首先上下篇內(nèi)容與本文不一定有內(nèi)容關(guān)聯(lián)性,反而通過(guò)頁(yè)面輪詢可以抓取到所有的內(nèi)容。
2.內(nèi)容防預(yù)測(cè)
假如你的站點(diǎn)做到了上面一點(diǎn),只能說(shuō)出具了放抓取的條件,但是很多站點(diǎn)的內(nèi)容的url的布局就是‘域名/欄目/id’,比如文章的地址‘seodd.cn/seo/222’,這就存在嚴(yán)重的問(wèn)題。
首先一個(gè)站點(diǎn)的欄目是有限的很容易獲得,即使把網(wǎng)站內(nèi)容入口隱藏,但是頁(yè)面url位置的部分知識(shí)id部分,可以通過(guò)暴力枚舉去抓取,依然可以快速的抓取到內(nèi)容的入口。而且基本上沒(méi)有任何的技術(shù)難度。
要解決這個(gè)問(wèn)題也是非常的簡(jiǎn)單,可以在id后面添加一個(gè)隨機(jī)數(shù),或者創(chuàng)建內(nèi)容的時(shí)候,可以手動(dòng)自定義一些內(nèi)容,比如把關(guān)鍵詞的拼音的縮寫(xiě)添加進(jìn)去,在利于外貿(mào)網(wǎng)絡(luò)推廣的同時(shí)又起到了頁(yè)面加密的效果,有了隨機(jī)內(nèi)容的小尾巴,暴力輪詢抓取基本上沒(méi)戲。
屏蔽入口seo的影響
看到這里問(wèn)題來(lái)了,防住了惡意蜘蛛的抓取,同樣的也防住了搜索引擎蜘蛛的內(nèi)容抓取,但是對(duì)于大多數(shù)搜索引擎都支持sitemap方式提交連接,所以問(wèn)題不大。
站點(diǎn)首先把sitemap的路徑要做的足夠的復(fù)雜,同時(shí)不要對(duì)外公開(kāi),及時(shí)通過(guò)sitemap網(wǎng)站地圖的方式提交就可以幫助搜索引擎對(duì)全站內(nèi)容進(jìn)行抓取。
對(duì)用戶體驗(yàn)的影響
首先用戶基本是通過(guò)搜索引擎搜索進(jìn)入到站點(diǎn)的,而只要網(wǎng)站的內(nèi)容抓取收錄正常,對(duì)用戶不會(huì)有任何的影響。對(duì)于直接訪問(wèn)站點(diǎn)的用戶,正常人不會(huì)一篇篇文章看過(guò)去,基本就是看下新的內(nèi)容,然后通過(guò)站點(diǎn)搜索來(lái)獲取需要的內(nèi)容。