玩转 Nginx 之:使用 Lua 扩展 Nginx 功能

1、Nginx 简介

Nginx 作为一款面向性能设计的HTTP服务器,相较于Apache、lighttpd具有占有内存少,稳定性高等优势。其流行度越来越高,应用也越来越广泛,常见的应用有:网页服务器、反向代理服务器以及电子邮件(IMAP/POP3)代理服务器,高并发大流量站点常用来做接入层的负载均衡,还有非常常见的用法是作为日志采集服务器等。

Nginx 整体采用模块化设计,有丰富的模块库和第三方模块库,配置灵活。其中模块化设计是nginx的一大卖点,甚至http服务器核心功能也是一个模块。要注意的是:nginx的模块是静态的,添加和删除模块都要对nginx进行重新编译,这一点与Apache的动态模块完全不同。不过后来淘宝做了二次开发开源的 tengine 是支持 官方所有的 HTTP 模块动态加载而不必重新编译 Nginx,除非是第三方模块才需要重新编译。因此,在生产环境中,推荐用淘宝开源的 tengine,本文也以 tengine 作为示例。

虽然 Nginx 有如此强大的性能以及众多的三方模块支持,但每次重新编译以及寻找三方模块对生产环境来说还是不可接受的,幸运的是,Nginx 它是支持客户自己 Lua 脚本编程扩展相应的功能的,而且可以热加载,这就给生产环境带来了无限可能。比如我现在想要直接用Nginx + redis 做反爬虫和频率限制,Nginx + Kafka 做日志的实时流处理等等。

注:lvs 和 nginx 的负载均衡区别:

LVS:Linux Virtual Server,基于IP的负载均衡和反向代理技术,所以它几乎可以对所有应用做负载均衡,包括http、数据库、在线聊天室等等,LVS工作在4层,在Linux内核中作四层交换,只花128个字节记录一个连接信息,不涉及到文件句柄操作,故没有65535最大文件句柄数的限制。LVS性能很高,可以支持100~400万条并发连接。抗负载能力强、是工作在网络4层之上仅作分发之用,没有流量的产生,这个特点也决定了它在负载均衡软件里的性能最强的,对内存和cpu、IO资源消耗比较低。 

Nginx:基于HTTP的负载均衡和反向代理服务器,Nginx工作在网络的7层,所以它可以针对http应用本身来做分流策略,比如针对域名、URL、目录结构等,相比之下LVS并不具备这样的功能,能够很好地支持虚拟主机,可配置性很强,大约能支持3~5万条并发连接。

阅读剩余部分 -

正则表达式中 .* 与 .*? 的区别

简单说是贪婪匹配非贪婪匹配的区别。

比如说匹配输入串A:  101000000000100

  1. 使用  1.*1  将会匹配到 1010000000001 , 匹配方法: 先匹配至输入串A的最后, 然后向前匹配, 直到可以匹配到1, 称之为贪婪匹配。

  2. 使用  1.*?1  将会匹配到101, 匹配方法: *匹配下一个1之前的所有字符, 称之为非贪婪匹配。

所有带有量词的都是非贪婪匹配:  .*? .+? .{2,6}?  甚至  .??

注: 翻译自StackOverflow回答

阅读剩余部分 -

如何查看linux版本、内核版本、系统位数(32位OR64位)

一、查看内核

1、cat /proc/version
[root@localhost ~]# cat /proc/version
Linux version 2.6.18-308.el5 (mockbuild@x86-010.build.bos.redhat.com) (gcc version 4.1.2 20080704 (Red Hat 4.1.2-50)) #1 SMP Fri Jan 27 17:21:15 EST 2012
2、uname -a
[root@localhost ~]# uname -a
Linux localhost.localdomain 2.6.18-308.el5 #1 SMP Fri Jan 27 17:21:15 EST 2012 i686 i686 i386 GNU/Linux
3、uname -r
[root@localhost ~]# uname -r
2.6.18-308.el5
二、查看linux版本
1、lsb_release -a
[root@localhost ~]# lsb_release -a
LSB Version:    :core-4.0-ia32:core-4.0-noarch:graphics-4.0-ia32:graphics-4.0-noarch:printing-4.0-ia32:printing-4.0-noarch
Distributor ID: RedHatEnterpriseServer
Description:    Red Hat Enterprise Linux Server release 5.8 (Tikanga)
Release:        5.8
Codename:       Tikanga
2、cat /etc/issue
[root@localhost ~]# cat /etc/issue
Red Hat Enterprise Linux Server release 5.8 (Tikanga)
Kernel \r on an \m
3、cat /etc/redhat-release
[root@localhost ~]# cat /etc/redhat-release
Red Hat Enterprise Linux Server release 5.8 (Tikanga)
三、查看系统位数
1、file /bin/ls
 
2、lsb_release -a

阅读剩余部分 -

nginx添加模块(非覆盖安装)


nginx添加模块(非覆盖安装)



原已经安装好的nginx,现在需要添加一个未被编译安装的模块:

查看原来编译时都带了哪些参数
# /usr/local/nginx/sbin/nginx -V

nginx version: nginx/1.8.1
built by gcc 4.4.7 20120313 (Red Hat 4.4.7-16) (GCC) 
configure arguments: --prefix=/usr/local/nginx --with-http_realip_module --with-http_sub_module --with-http_gzip_static_module --with-http_stub_status_module --with-pcre




进入nginx源码目录
#cd nginx-1.3.2

添加的参数 (添加之前已经过的编译模块,不然最后只有新编译模块)
#./configure --prefix=/usr/local/nginx --with-http_realip_module --with-http_sub_module --with-http_gzip_static_module --with-http_stub_status_module --with-pcre --with-http_ssl_module

阅读剩余部分 -

NGINX 加载动态模块(NGINX 1.9.11开始增加加载动态模块支持)

NGINX 1.9.11开始增加加载动态模块支持,从此不再需要替换nginx文件即可增加第三方扩展。目前官方只有几个模块支持动态加载,第三方模块需要升级支持才可编译成模块。

 
tinywan@tinywan:~/nginx-1.12.0$ ./configure --help | grep dynamic
  --with-http_xslt_module=dynamic    enable dynamic ngx_http_xslt_module
  --with-http_image_filter_module=dynamic
                                     enable dynamic ngx_http_image_filter_module
  --with-http_geoip_module=dynamic   enable dynamic ngx_http_geoip_module
  --with-http_perl_module=dynamic    enable dynamic ngx_http_perl_module
  --with-mail=dynamic                enable dynamic POP3/IMAP4/SMTP proxy module
  --with-stream=dynamic              enable dynamic TCP/UDP proxy module
  --with-stream_geoip_module=dynamic enable dynamic ngx_stream_geoip_module
  --add-dynamic-module=PATH          enable dynamic external module
  --with-compat                      dynamic modules compatibility

如上可看出官方支持9个动态模块编译,需要增加第三方模块,使用参数--add-dynamic-module=即可。

NGINX动态模块语法:

load_module

Default: —

配置段: main

说明:版本必须>=1.9.11

实例:load_module modules/ngx_mail_module.so;

阅读剩余部分 -

Nginx总算支持动态模块了

编者按:

Nginx作者Igor一直是很固执的不用动态模块,没想到最终还是妥协了,不过现在Nginx已经是公司了,可能考虑的比较全面、比较商业,Tengine我记得很早就支持了,还是易用性比较重要一些。

 

 

最近发布的Nginx 1.9.11版本带来一个重要的新功能:动态模块,给我们以后如何使用Nginx带来了巨大的影响。通过动态模块,你可以在运行时有有选择性的加载第三方或Nginx官方模块。新的实现方式通过API模块保持尽可能的向后兼容。

 

下一个版本的Nginx Plus(Nginx Plus R9)将基于动态模块新特性进行构建。我们计划创建一个模块仓库,收集那些已经在Nginx Plus上通过测试和认证的第三方模块,使添加常用的扩展更加方便更加放心。如果你希望将你的开源模块或者商业模块在我们的模块仓库中,请通过链接与我们的销售联系。

 

在此之前,如果要给Nginx增加一个模块,需要将模块与源代码一起编译进Nginx二进制文件,而且不管你是否愿意,每次打开Nginx都会加载此模块。如此以来就很难在操作系统发行版的包中为每个用户创建自定义的Nginx二进制文件。

 

传统方式

blob.png

 

阅读剩余部分 -

NGINX增加加载动态模块 1.9.11

NGINX 1.9.11开始增加加载动态模块支持,从此不再需要替换nginx文件即可增加第三方扩展。目前官方只有几个模块支持动态加载,第三方模块需要升级支持才可编译成模块。

 
1
2
3
4
5
6
7
8
# ./configure --help | grep dynamic
  --with-http_xslt_module=dynamic    enable dynamic ngx_http_xslt_module
  --with-http_image_filter_module=dynamic
                                     enable dynamic ngx_http_image_filter_module
  --with-http_geoip_module=dynamic   enable dynamic ngx_http_geoip_module
  --with-mail=dynamic                enable dynamic POP3/IMAP4/SMTP proxy module
  --with-stream=dynamic              enable dynamic TCP proxy module
  --add-dynamic-module=PATH          enable dynamic external module

如上可看出官方支持5个动态模块编译,需要增加第三方模块,使用参数--add-dynamic-module=即可。

NGINX动态模块语法

load_module

Default: —

配置段: main

说明:版本必须>=1.9.11

阅读剩余部分 -

openresty replace_fiter 模块

git clone https://github.com/openresty/sregex

cd sregex

make && make install

cd ../

 

git clone https://github.com/openresty/replace-filter-nginx-module

git clone https://github.com/alibaba/nginx-http-concat

 

wget    http://openresty.org/download/ngx_openresty-1.7.4.1.tar.gz

tar zvxf ngx_openresty-1.7.4.1.tar.gz

cd ngx_openresty-1.7.4.1

 

./configure --prefix=/usr/local/webserver  --with-luajit --with-http_drizzle_module --with-http_iconv_module  --add-module=../replace-filter-nginx-module --add-module=../nginx-http-concat 

 

make && make install

阅读剩余部分 -

meiyoutongji