鄭州SEO公司提供一站式鄭州SEO服務,幫助企業網站關鍵詞排名快速上首頁!鄭州SEO學習交流群1:664611314<<每天前兩名進群,免費幫助分析診斷網站>>

南粤36选7胆拖中奖规则:什么是robots協議?robots.txt文件怎么寫?

SEO基礎知識 1146℃ 0評論

南粤36选736期 www.fqlmk.icu 作為一個SEO人員,你知道什么是robots協議?robots.txt文件怎么寫嗎?下面南粤36选736期就來告訴大家什么是robots協議以及robots.txt文件的寫法!

什么是robots協議?robots.txt文件怎么寫?

一、什么是Robots協議?

Robots協議(也稱為爬蟲協議、機器人協議等)的全稱是“網絡爬蟲排除標準”,robots.txt是搜索引擎訪問網站時第一個查看的文件,當我們網站有部分內容不希望收搜索引擎抓取時,就可以通過Robots協議來告訴搜索引擎哪些頁面是不能抓取的,大多用來?;ね鏡囊?,以及一些死鏈、重復頁面等等。

二、、Robots.txt文件怎么寫?

基本語法

User-agent:指定對哪些爬蟲生效!*號代表全部搜索引擎,百度(Baiduspide)、谷歌(Googlebot)、360(360Spider)

Disallow:不允許抓取

Allow:允許抓取

#:注釋

 全站屏蔽所有蜘蛛

新站上線前或網站改版之前,為了避免蜘蛛抓取錯誤或臨時的鏈接,可以采用全站屏蔽蜘蛛的操作,在根目錄建立robots.txt,添加如下內容:

User-agent:*

Disallow:/

屏蔽某個目錄、文件

屏蔽所有蜘蛛抓取根目錄下的seo文件夾及里面的所有內容,根目錄下的seo1目錄下的1.html文件,robots.txt文件添加如下內容:

User-agent:*

Disallow:/seo/

Disallow:/seo1/1.html

 屏蔽某個目錄,但抓取目錄下的文件或文件夾

屏蔽所有蜘蛛抓取網站根目錄下的seo文件夾,但抓取里面后綴名為html的文件

User-agent:*

Disallow:/seo/

Allow:/seo/*.html

注意:上面的寫法,seo帶“/”代表根目錄下的seo目錄下的內容。并不會禁止比如根目錄下seotest的文件夾及文件夾所有內容。

禁止抓取根目錄下所有前面帶“seo”字符的文件夾及文件

User-agent:*

Disallow:/seo

禁止了如:/seo/,/seo/12.html,/seotest/,/seoabc.html

 屏蔽動態URL

網站有些動態頁面可能會和靜態頁面相同,造成重復收錄,用robots屏蔽動態URL

User-agent:*

Disallow:/*?*

僅允許訪問“.html”為后綴的URL

User-agent:*

Allow:.html$

Disallow:/

 屏蔽死鏈接

網站改版、刪除文章后,原來的URL如果已經被搜索引擎索引,出現404錯誤。一般的做法如下:

①查看網站日志,找出這些死鏈,用百度提交死鏈工具提交,慢慢的會刪除這些死鏈;

②如果這個鏈接已經更換,也可以用301跳轉到新的鏈接,301跳轉后原頁面和新頁面處理辦法;

③robots禁止蜘蛛抓取死鏈,寫法同上,最好帶完整路徑

User-agent:*

Disallow://www.fqlmk.icu/1.html

屏蔽不參與排名的頁面鏈接

比如會員中心、登陸界面、聯系我們等。這些雖然有實際用途,蜘蛛一樣會爬取這些頁面鏈接,這些頁面也會分權,因此為了集中權重,一些完全不參與排名的頁面應該用robots屏蔽。也可以在該頁面的</head>之前添加<meta>聲明,指向該頁面的鏈接加上nofollow標簽。

<meta name=”robots” content=”noindex,nofollow”/>

<a rel=”nofollow” href=”/member/login”>登陸</a>

sitemap索引在robots.txt的位置

sitamap索引的位置最好放在robots.txt的最下面,蜘蛛先遵循前面的原則,再按照網站地圖爬取。

Sitemap: //www.fqlmk.icu/sitemap.xml

Sitemap: //www.fqlmk.icu/sitemap

 

本博客原創文章轉載請注明出處://www.fqlmk.icu/579.html

喜歡 (2)or分享 (0)
發表我的評論
取消評論
表情

Hi,您需要填寫昵稱和郵箱!

  • 昵稱 (必填)
  • 郵箱 (必填)
  • 網址
(1)個小伙伴在吐槽
  1. robots.txt是一個協議文件。搜索引擎訪問網站的時候,會首先訪問robots.txt,了解哪些能抓取,哪些不能抓取。robots.txt可以告訴搜索引擎,哪些內容可以抓取,哪些不能抓取。當我們有信息不想讓搜索引擎抓取到的時候,我們就可以用robots.txt禁止。
    鄭州seo2018-05-20 17:51 回復