防盗链资料整理

背景

防盗链,其本质就是用户对于自己的资源设置的访问控制,控制“谁”可以在“什么时间”访问到“什么资源”。不做防盗链,用户的许多资源都为其他人做了嫁衣,也会给自己的服务器增加不必要的访问压力和带宽消耗。

不同的用户,由于网站的性质不同(游戏/新闻/游戏),需求也是不尽相同的,所以需要在我们的portal系统中添加访问控制的功能,满足用户的需要。

业务功能

防盗链生效配置

表示在什么情况下需要进行防盗链逻辑。比如我们需要对 xxx.com/image/ 下面的URL进行防盗链处理,而对 xxx.com/js/ 则不需要防盗链。

是否进行防盗链,一般通过2种方式进行匹配:

  • URL匹配
  • 类型匹配

URL匹配是指,符合某些前缀或者正则表达式的URL进行防盗链,见上例; 类型匹配,就是对某些特定类型的资源进行防盗链,例如jpg、mp3。

防盗链规则配置

IP黑白名单

只允许或者阻止某些IP访问资源,一般都是IP黑名单的形式。

用户可以在界面中输入单个IP、IP区间、或者IP通配符,例如:

1.2.3.4
192.168.199.1 ~ 192.168.199.100
192.168.1.*

个人理解是我们通过分析以往的访问日志,得出某些IP的访问可能有异常,之后将其加入黑名单。IP黑名单的限制范围既可以是全局范围(我们CDN服务提供商配置),也可以是域名范围(CDN服务使用方配置)。


Referer黑白名单

最常用的防盗链手段,通过对HTTP请求中的referer header进行判断,以决定用户是否可以访问该资源。一般都是referer白名单的形式。

需要支持单个域名以及泛域名的形式,例如:

ent.cankaoxiaoxi.com
*.cankaoxiaoxi.com
禁止空Referer
禁止空referer,即不允许用户直接访问该资源,因为直接在浏览器的地址栏中输入一个资源的URL地址,请求是不会包含Referer字段的。

个人认为使用场景并不多。

UA白名单

HTTP请求header中的User Agent字段,是一段浏览器或者设备标识自己的字符串。对于网站主来说,有时需要让一些资源只能在某些浏览器或者设备上才能访问。

UA 防盗链通常用在手机 APP 或者一些可自定义 User Agent 的应用,比如播放器。设置UA白名单,也和其他情况类似,支持字符串通配符。

Token加密串
Token加密串,是通过资源URL、密钥、以及过期时间生成的一个加密字符串,然后外链必须要带上这个 Token 才能在规定的时间内访问到该资源。

token一般会在请求参数或者cookie中,没有带 token 的外链,或者超过了有效期的token链接都会返回403,达到防盗链的目的。

Token 加密串这种方案,一般用于文件下载的场景比较多,静态图片的场景则较少。

盗链提示
当盗链发生时,一般会在页面显示出一个固定的文本或者图片,用于提示用户该资源为盗链。

在系统中,用户需要有界面能够上传自定义的盗链提示图,甚至是不同的HTTP返回码可以设置不同的盗链提示图。

 

相关技术

nginx conf

nginx本身已经提供了丰富的功能,通过获取HTTP请求中的各个字段,判断请求是否合法,可以实现以上提到的URL匹配、类型匹配、IP黑白名单等功能。

比如,可以获取client ip,来决定是否请求upstream,以此达到IP黑白名单的目的,样例:

## If IP is 1.2.3.4 send backend to apachereadwrite ##
if ( $remote_addr ~* 1.2.3.4 ) {
    proxy_pass http://cdn_backend;
}

也可以判断server_name,来达到域名黑白名单的效果,样例:

# conf/nginx.conf

server {
    listen       80;
    include      /home/uaq/local/static_dynamic_proxy/nginx/conf/static_server_names.conf;

    #charset koi8-r;

    #access_log  logs/host.access.log  main;

    location ~ {
        proxy_pass              http://static_accelerate;
    }

    # redirect server error pages to the static page /50x.html
    #
    error_page   500 502 503 504  /50x.html;
    location = /50x.html {
        root   html;
    }
}
# conf/static_server_names.conf;

server_name
    a.com
    b.com
    ;

nginx module

ngx_http_referer_module,可以专门用于判断referer是否合法、或者是否是空的referer,样例:

location ~* \.(gif|jpg|png|bmp)$ {
    valid_referers none blocked *.mmtrix.com server_names ~\.google\. ~\.baidu\.;
    if ($invalid_referer) {
        return 403;
    }
}

ngx_http_secure_link_module,用于检测访问资源者的授权,以及资源的有效时间,可以用于Token加密串的防盗链,样例:

server {

    listen       80;
    server_name  cdn.aaa.com;
    access_log  /data/logs/nginx/access.log  main;

    index index.html index.php index.html;

    location / {
        secure_link $arg_st,$arg_e;
        secure_link_md5 some_private_key$uri$arg_e;

        if ($secure_link = "") {
            return 403;
        }

        if ($secure_link = "0") {
            return 403;
        }
    }
}

nginx + lua

虽然nginx的功能已经比较强大,但是不够灵活,而且在conf中有过多的配置,也会占用较多内存、影响nginx处理请求的时间。我们既然作为CDN服务提供商,除了全局的配置,还需要为每个用户的每个域名进行自定义的配置,因为将所有条件写入nginx conf是不现实的。另外,lua还提供更多强大功能,例如请求时访问redis、memcached,和其他实例共享状态等等功能。因此,nginx + lua可能是一个不错的解决方案。

网上的cookie token加密串的样例:

-- Some variable declarations.
local cookie = ngx.var.cookie_MyToken
local hmac = ""
local timestamp = ""

-- Check that the cookie exists.
if cookie ~= nil and cookie:find(":") ~= nil then
    -- If there's a cookie, split off the HMAC signature
    -- and timestamp.
    local divider = cookie:find(":")
    hmac = cookie:sub(divider+1)
    timestamp = cookie:sub(0, divider-1)

    -- Verify that the signature is valid.
    if hmac_sha1("some very secret string", timestamp) == hmac and tonumber(timestamp) >= os.time() then
        return
    end
end

-- Internally rewrite the URL so that we serve
-- /auth/ if there's no valid token.
ngx.exec("/auth/")

网上查找到的各种与nginx+lua相关的方案,基本上都还是单机版本的解决方案。考虑到我们分布式环境,以及业务复杂的情况,还需要用到分布式存储、缓存、任务分发等技术。

posted on 2019-04-29 07:30 wpjamer 阅读(...) 评论(...) 编辑 收藏

导航

统计