欢迎光临 - 我的站长站，本站所有资源仅供学习与参考,禁止用于商业用途或从事违法行为！
网站公告 网站标签 网站专题 网站地图 侵权投诉 广告赞助
模板
源码
教程
插件
运营
工具
  • 帝国cms模板
  • 织梦cms模板
  • discuz模板
  • ecshop模板
  • phpcms模板
  • wordpress模板
  • 苹果cms模板
  • 海洋cms模板
  • 飞飞cms模板
  • emlog模板
  • zblog模板
  • PbootCMS模板
  • Typecho模板
  • 小程序模板
  • psd模板
  • html模板
选择子栏目精准搜索 [点击关闭]
导航 | 导航 | 抖音 | enewsshopdd | 抖音

服务器配置

您现在的位置：首页 > 运营运维 > 服务器配置

Nginx禁止国外搜索引擎蜘蛛爬取方法

服务器配置 我的站长站 2023-03-04 共117人阅读

国外搜索引擎蜘蛛并不会带来多少流量，但是某些蜘蛛每天的爬取还非常大，浪费服务器资源。

这时候我们就可以禁止不常见的搜索引擎制作爬取，本次我的站长站分享一篇Nginx禁止国外搜索引擎蜘蛛爬取方法。

直接上代码：

if ($http_user_agent ~* (SemrushBot|python|MJ12bot|AhrefsBot|AhrefsBot|hubspot|opensiteexplorer|leiki|webmeup)) 
 { 
 return 444;
 }

复制到Nginx的配置里面，多个用“|”隔开。

相关专题
nginx
nginx
2022-11-28 19

Nginx是一个高性能的HTTP和反向代理web服务器,也是站长常见的网站环境之一.nginx凭借高性能低消耗近几年越来越多站长使用,学习好nginx也成为站长必备知识点.我的...

标签 nginx教程搜索引擎Nginx禁止
上一篇：Nginx禁止任意格式文件执行权限方法分享
下一篇：Linux配置永久IP地址脚本
相关推荐
  • nginx教程
  • 搜索引擎
  • Nginx禁止
  • nginx限制并发数和限制下载速度方法

    分享一篇最近我的站长站刚学的nginx限制并发数和限制下载速度方法，可以限制一个IP同一时间只允许发起一个连接，如果发起多个链接，会提示503。另外还支持限制的下载速度，用户在开始的下载500m之前，下载速度可以飙到最大，但是一旦下载的文件大小超过了500m，下...

    服务器配置 109 2年前
  • nginx新手入门-认识location匹配规则

    我们在配置nginx时，会看到默认的nginx配置规则内有很多的location，这些location每一段就代表一个规则，location的编写方法需要会一点正则，不会的可以继续看我的站长站为大家带来的location新手入门教程。完整nginx配置规则如下：server{listen 80;server_n...

    服务器配置 28 2年前
  • Nginx与Apache有什么区别？

    Apache & NginxApache，指的应该是 Apache 软件基金会下的一个项目——Apache HTTP Server Project；Nginx 同样也是一款开源的 HTTP 服务器软件（当然它也可以作为邮件代理服务器、通用的TCP 代理服务器）。HTTP 服务器本质上也是一种应用程序——它通常运...

    服务器配置 144 4年前
  • 宝塔Nginx防火墙插件使用教程
    宝塔Nginx防火墙插件使用教程

    宝塔面板的防火墙非常好用，之前一直是免费的，就是因为太好用了，现在改成收费的了，下面教教大家如何配置宝塔面板的防火墙插件。首先需要你购买安装宝塔Nginx防火墙插件，界面上有全局设置和站点设置，更...

    宝塔面板 501 4年前
  • nginx宝塔面板如何设置404错误页面

    新版的宝塔面板更新了，最新可以在后台窗口直接自定义手动设置404错误页面了，再也不用默认的404模板。我们直接打开宝塔面板，打开站点设置，找到“配置文件”，看到如下图的代码地方。#ERROR-PAGE-START 错误页配置，可以注释、删除或修改error_page 404 /Sty...

    宝塔面板 186 2年前
  • 移动搜索引擎的未来

    随着移动端的崛起，我们也不得不提高移动端的重视。稍微大型点的站点都有自己的移动端：APP、wap网站等，但很多人都并未对移动端搜索引擎重视。下面我们来谈谈移动端搜索引擎优化是有多么重要吧。下面我就结合百度搜索主人架构师的一些讲话，结合百度站长平...

    网站优化 623 7年前
  • 即今日头条之后 微信也推出自家搜索引擎“微信搜一搜”

    我们都知道国内搜索引擎市场自从谷歌退出后，一直都是百度搜索一家独大。期间也有SOSO、360搜索、神马搜索等等一些兴起搜索引擎要挑战百度搜索，但大部分都没什么效果。从目前搜索引擎使用统计来看，百度搜索引擎还是占有80%份额，剩下的20%才是其他搜索引...

    网络新闻 504 4年前
  • 搜索引擎汇总，总有一款适合你
    搜索引擎汇总，总有一款适合你

    虽然目前百度在中国大陆是占有74%左右的占有率，但是放大到世界范围内，只不过区区1.1%，因为它搜索的答案并不是我们想要的答案，随着越来越多的搜索引擎加入，百度的市场份额还会被压缩，我们拭目以待。搜...

    在线工具 875 4年前
  • .net站内搜索引擎源码
    .net站内搜索引擎源码

    站内搜索引擎源码介绍搜易站内搜索引擎5.9，高性能，高质量的站内搜索解决方案，面向已有站点，希望提升站内搜索质量和搜索速度的站长。也可以用于多异构系统或多站点实现站群统一搜索。同时我们基于搜...

    .net源码 144 4年前
  • 分享两款自用的蓝奏云搜索引擎工具
    分享两款自用的蓝奏云搜索引擎工具

    蓝奏云非常好用，不限速，但是搜索蓝奏云上面的内容就不容易，蓝奏云官网没有搜索功能，这时候就需要第三方搜索工具了。我的站长站分享过几款软件版的蓝奏云搜索工具，很是麻烦，我自己都懒得用了。去网上找...

    在线工具 21352 3年前
  • Nginx禁止指定格式文件下载和指定目录执行权限

    禁止指定目录执行权限禁止Dir目录下的php文件执行可以用location /Dir{location ~ .*\.(php)?$ {return 404;}}禁止某个目录执行脚本#uploads|templets|data 这些目录禁止执行 PHPlocation ~* ^/(uploads|templets|data)/.*.(php|php5)$ { return...

    服务器配置 114 10个月前
  • nginx禁止直接访问目录或文件配置方法

    nginx禁止直接访问目录或文件，禁止后可以避免服务器文件直接暴露，用户无法通过链接访问下载某些目录文件。禁止访问某些后缀文件ini、conf后缀可以自行添加，通常为一些配置文件。location ~ \.(ini|conf|txt)$ {deny all;}禁止访问目录location ^~ /te...

    服务器配置 128 1年前
  • Nginx禁止任意格式文件执行权限方法分享

    禁止指定目录下的任意后缀文件location /Dir{ location ~ .*\.(php)?$ { return 404; } }禁止任意后缀文件location ~ \.(zip|rar|sql|bak|gz|7z)$ { return 444;}以上两种方法就能满足大部分实际使用，目录和后缀都可以自行修改。...

    服务器配置 98 1年前
  • Nginx禁止国外搜索引擎蜘蛛爬取方法

    国外搜索引擎蜘蛛并不会带来多少流量，但是某些蜘蛛每天的爬取还非常大，浪费服务器资源。这时候我们就可以禁止不常见的搜索引擎制作爬取，本次我的站长站分享一篇Nginx禁止国外搜索引擎蜘蛛爬取方法。直接上代码：if ($http_user_agent ~* (SemrushBot|pyt...

    服务器配置 117 1年前
  • Nginx禁止指定目录执行PHP

    在PHP开发中，某些目录的PHP文件不需要用户执行访问，为了安全我们是可以直接禁止访问的。这里我的站长站就分享了一篇Nginx禁止指定目录执行PHP ，可以轻松禁止某个目录执行脚本。location ~* ^/(uploads|templets|data)/.*.(php|php5)$ { return 444; ...

    php教程 104 1年前
栏目分类

经验分享

网站优化

网络新闻

服务器配置

主机域名

宝塔面板

最新更新
热门推荐
服务器配置标签
服务器硬盘 管理面板 防火墙 CloudFlare优选IP Nginx禁止 Nginx配置 防盗链 Linux环境 反向代理 cloudflare关闭 Nginx防火墙 新云BBR 宝塔面板开心版 BBR脚本 Cloudflare自选IP BuyVM挂载 Cloudflare报错 BBR加速 nginx下载 nginx限速