robots.txt

网络机器人协议；文件；下面是一些著名站点的

网络释义

1.	机器人协议机器人协议(robots.txt)不过是一个txt文本文件，存在于你域名根目录之下，作用是将网站的目录结构信息告诉爬虫和蜘蛛，并限 … www.ilikeseo.cn\|基于364个网页
2.	文件 ...来到要抓取的网站，都会先访问这个网站根目录下的一个文件（robots.txt），如果不存在该文件，则搜索引擎机器人默认这 … zhidao.baidu.com\|基于74个网页
3.	下面是一些著名站点的搜索引擎优化魔法书 -... ... 四、 Robots.txt 下面是一些著名站点的 robots.txt：正确的应该是： User-agent:GoogleBot ... tech.alltosun.com\|基于62个网页

4.	限制搜索 Discuz!二次开发 ... register.php 注册 robots.txt 限制搜索 rss.php rss 信息发布 ... bbs.php100.com\|基于16个网页
5.	相关搜索引擎配置文件一狮网络-站长巨人的肩膀上 ... Print.aspx 文章打印文件 robots.txt 相关搜索引擎配置文件 Search.aspx 搜索文件 ... onelions.com\|基于9个网页
6.	拦截网站内部搜索引擎优化检查-seomoz... ... Cloaking( 伪装)？（应该没有） robots.txt – 拦截？ Meta Keywords – 关键字？（应 … www.0755seoer.com\|基于3个网页
7.	模板制作 DEDECMS教程 qq群讲座 - 站长网 admin5.com ... index.php 搜索控制文件 robots.txt 模板制作 /templets 模板目录 ... www.admin5.com\|基于2个网页
8.	搜索引擎收录的方法禁止搜索引擎收录的方法（robots.txt）一、什么是robots.txt文件?搜索引擎通过一种程序robot（又称spider），自动访问互联网 … hi.baidu.com\|基于 1 个网页

更多释义

收起释义

例句

释义:

全部全部,机器人协议机器人协议,文件文件,下面是一些著名站点的下面是一些著名站点的

类别:全部全部,口语口语,书面语书面语,标题标题,技术技术

来源:全部全部,字典字典,网络网络

难度:全部全部,简单简单,中等中等,难难

更多例句筛选

收起例句筛选

1.

If you do not want all the resources on your Web site to be indexed by automatic tools , say so in a robots. txt file.

如果不想让 Web 站点上的所有资源都能被自动工具编入索引，就请在 robots.txt 文件内加以说明。

2.

The easy solution is to use the robots. txt file to let know about this and have it not index the duplicate pages.

最简单的办法是使用 robots.txt 文件，让谷歌知道这一点，并有不重复的索引页。

results.amazing-network-marketing.com

3.

Literally half a year ago , Jonty was looking at this file called robots. txt, which is kind of funny to start with.

从表面上看，半年前 Jonty 正在研究这个名为 robots.txt 的文件，这是开始变得很有趣。

article.yeeyan.org

4.

Once you chose your permalink structure , stick to it! Set up the Robots. txt file.

一旦选择了您的永久链接结构，就要坚持使用它。

5.

Making mistakes in the robots. txt file accidentally disallow spiders from crawling through the entire site , resulting in no indexed pages.

txt 文件中的偶然失误会禁止 “蜘蛛（spider ）”爬过整个站点，最后导致没有建立页面的索引。

6.

When spidering or scraping, always obey the robots. txt file available on the server and incorporate it into your politeness policy .

在进行这种操作时，一定要遵循服务器上提供的 robots.txt 文件的指示，并将其结合到您的礼貌原则当中。

7.

This acts as an "inclusion list" to complement the "exclusion list" of robots. txt.

这有点像一个 “包含列表 ”，充当了 robots.txt 的 “排除列表 ”的补集。

8.

But all the major and legitimate Web crawling engines obey the requests in robots. txt.

不过，所有主要的合法 Web爬虫引擎都会遵从 robots.txt 内的要求。

9.

Googlebot recognizes an extension to the robots. Txt standard called Allow .

Googlebot 可识别称为 “Allow ”的 robots.txt 标准扩展名。

10.

We were really just correcting an oversight in the spec for robots. txt files.

我们真的只是在 robots.txt 文件规范性方面纠正了一个疏忽。

article.yeeyan.org

1
2