Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄
Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄
Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
Disallow: /*?* 禁止訪問網(wǎng)站中所有的動態(tài)頁面
Disallow: .jpg$ 禁止抓取網(wǎng)頁所有的.jpg格式的圖片
Disallow:/ab/adc.html 禁止爬去ab文件夾下面的adc.html所有文件
User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符
Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄
Allow: /tmp 這里定義是允許爬尋tmp的整個目錄
Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。
Allow: .gif$ 允許抓取網(wǎng)頁和gif格式圖片robots.txt文件用法舉例
猜你喜歡
聯(lián)絡(luò)方式：
電話：15038330582
郵箱：278477169@qq.com
-
制造業(yè)網(wǎng)站和APP軟件功能開發(fā)
制造業(yè)互聯(lián)網(wǎng)APP軟件的開發(fā)結(jié)合了互聯(lián)網(wǎng)的特點，提升傳統(tǒng)的運營模式，利用手機的優(yōu)勢將制造業(yè)應(yīng)用到互聯(lián)網(wǎng)上，由于攜帶方便，傳播性強。在制造產(chǎn)業(yè)中顯得尤其的突出，讓智能制造...
-
通訊呼叫APP功能軟件開發(fā)
開發(fā)即時通訊APP能夠帶來什么 1、隨時聯(lián)系客戶：隨時可以與客戶進行聯(lián)系，電子商務(wù)的時代，客服咨詢是重要的環(huán)節(jié)，電子商務(wù)IM工具app開發(fā)幫助客服人員提供在線即時聊天，為客...
-
船舶公司綜合管理平臺APP功能軟件開發(fā)
業(yè)務(wù)簡介 1、維修保養(yǎng) 根據(jù)設(shè)備的實際維修情況，制定設(shè)備維修標準，自動生成維修保養(yǎng)計劃。船員根據(jù)維修計劃具體實施維修保養(yǎng)，對維修保養(yǎng)進行審核，監(jiān)督等指導。 ...
-
醫(yī)療行業(yè)APP軟件開發(fā)-鄭州
很多企業(yè)都在往互聯(lián)網(wǎng)上轉(zhuǎn)型升級，經(jīng)過漫長的實驗，基本上很多的企業(yè)都有了自己的線上推廣方式，醫(yī)療行業(yè)也不例外。由于近幾年收到疫情的影響，國家也認識到了改善醫(yī)療服務(wù)的重...
-
工業(yè)物聯(lián)網(wǎng)app開發(fā)
工業(yè)物聯(lián)網(wǎng)是具有一定的感知能力，監(jiān)控能力等各種的采集，控制傳感器，控制器，移動通信，智能分析技術(shù)。把這些技術(shù)融入到工業(yè)生產(chǎn)中的各個環(huán)節(jié)，實現(xiàn)大幅度的制造效率，改善產(chǎn)品質(zhì)量...
