從品牌網(wǎng)站建設(shè)到網(wǎng)絡(luò)營(yíng)銷策劃,從策略到執(zhí)行的一站式服務(wù)
來(lái)源:東莞seo優(yōu)化 | 2018-7-12 瀏覽:2739
robot是搜索引擎在爬取整個(gè)網(wǎng)站的時(shí)候第一個(gè)訪問(wèn)的文件,當(dāng)蜘蛛在抓取網(wǎng)站時(shí),會(huì)先看網(wǎng)站是否有robot文件,如果該站點(diǎn)存在robot,那么蜘蛛會(huì)根據(jù)robot的書寫來(lái)訪問(wèn)網(wǎng)站的內(nèi)容,如果沒(méi)有robot,那么蜘蛛將會(huì)訪問(wèn)網(wǎng)站上所有的頁(yè)面,那么robot如何來(lái)進(jìn)行書寫呢?下面介紹幾個(gè)常用的robot書寫方法
允許搜索引擎抓取所有網(wǎng)站robot為空
禁止所有搜索引擎抓取:
User-agent: *
Disallow: /
禁止百度蜘蛛抓取:
User-agent: baiduspider
Disallow: /
允許百度抓取,禁止谷歌抓取:
User-agent: *
Allow: /
User-agent: baiduspider
Allow: /
User-agent: Googlebot
Disallow: /