http服务配置和apache

CentOS 6 httpd 程序环境

记录了httpd的主进程编号:

 

 主程序文件:

/usr/sbin/httpd

/usr/sbin/httpd.worker

/usr/sbin/httpd.event

 主进程 文件 :

/etc/httpd/run/httpd.pid

 日志文件目录:

/var/log/httpd

access_log: 访问日志

error_log :错误日志

 

 帮助文档包:

httpd-manual

Httpd 2.2 常见配置

 httpd 配置文件的组成:

 # grep "Section" /etc/httpd/conf/httpd.conf

 

### Section 1: Global Environment 全局环境

### Section 2: 'Main' server configuration 主服务器的配置(建立一个网站)

### Section 3: Virtual Hosts 虚拟主机的配置

 配置格式:directive value

directive: 不区分字符大小写

value: 为路径时,是否区分大小写,取决于文件系统

55

Httpd 2.2 常见配置

 1 、显示服务器版本信息

ServerTokens Major|Minor|Min[imal]|Prod[uctOnly]|OS|Full

ServerTokens Prod[uctOnly] :Server: Apache

ServerTokens Major: Server: Apache/2

ServerTokens Minor: Server: Apache/2.0

ServerTokens Min[imal]: Server: Apache/2.0.41

ServerTokens OS: Server: Apache/2.0.41 (Unix)

ServerTokens Full (or not specified): Server: Apache/2.0.41

(Unix) PHP/4.2.2 MyMod/1.2

This setting applies to the entire server and cannot be

enabled or disabled on a virtualhost-by-virtualhost basis.

After version 2.0.44, this directive also controls the

information presented by the ServerSignature directive.

建议使用:ServerTokens Prod

 

Httpd 2.2 常见配置

 2 、修改监听的IP 和Port

Listen [IP:]PORT

(1) 省略IP 表示 为本机所有IP

(2) Listen 指令至少一个,可 重复出现 多次

Listen 80

Listen 8080

示例:

Listen 192.168.1.100:8080

Lsten 80

 

Httpd 2.2 常见配置

 3、 、 持久连接

Persistent Connection :连接建立,每个资源获取完成后不会

断开连接,而是继续等待其它的请求 完成,默认关闭持久连接

断开条件:数量 限制:100

时间 限制, :以秒为单位, httpd-2.4 支持毫秒级

副作用:对并发访问量较大的服务器,持久连接功能会使用有

些请求得不到响应

折衷:使用较短的持久连接 时间

: 设置: KeepAlive On|Off

 

KeepAliveTimeout 15

MaxKeepAliveRequests 100

测试: : telnet WEB_SERVER_IP PORT

GET /URL HTTP/1.1

Host: WEB_SERVER_IP

 

Httpd 2.2 常见配置

 4 、MPM( ( Multi-Processing Module )多路处理模块

prefork, worker, event (试验阶段)

 

httpd-2.2 不支持同时编译多个模块,所以只能编译时选

定一个;rpm 安装的包提供三个二进制程序文件,分别用于实现

对不同MPM 机制的支持

确认方法:

ps aux | grep httpd

默认为/usr/sbin/httpd, 即prefork 模式

 

Httpd 2.2 常见配置

 查看模块列表

 查看静态编译的模块

httpd -l

 查看静态编译及动态装载的模块

httpd –M

 

 动态模块加载:不需重启即生效

 动态 模块路径

/usr/lib64/httpd/modules/

 

Httpd 2.2 常见配置

更换使用的httpd 程序:

 /etc/sysconfig/httpd

 

HTTPD=/usr/sbin/httpd.worker

将本来注释掉的HTTPD WORKER模式 将注释去掉,重启服务生效

 

pstree -p|grep httpd 查看进程和线程

查看静态模块:

 

 Httpd 2.4 与之不同

以动态模块方式提供

配置文件:/etc/httpd/conf.modules.d/00-mpm.conf

httpd –M |grep mpm

重启服务 生效

 

pstree -p|grep httpd 查看进程和线程

 

Httpd 2.2 常见配置

 prefork 的默认配置:

<IfModule prefork.c>

StartServers 8

MinSpareServers 5

MaxSpareServers 20

ServerLimit 256 最多进程数, 最大20000

MaxClients 256 最大并发

MaxRequestsPerChild 4000 子进程最多能处理的请求

数量。在处理MaxRequestsPerChild 个请求之后, 子进程将

会被父进程终止,这时候子进程占用的内存就会释放( 为0时 时

永远不释放)

</IfModule>

 

 

Httpd 2.2 常见配置

 worker 的默认配置:

<IfModule worker.c>

StartServers 4

MaxClients 300

MinSpareThreads 25

MaxSpareThreads 75

ThreadsPerChild 25

MaxRequestsPerChild 0 无限制

</IfModule>

测试worker性能:其他模型也可以测试

 

bHttpd 2.2 常见配置

 5 、DSO: : Dynamic Shared Object

 加载 动态模块配置

/etc/httpd/conf/httpd.conf

配置指定实现模块加载格式:

LoadModule <mod _name> <mod_path>

模块文件路径可使用相对路径:

相对于ServerRoot (默认/etc/httpd) )

示例:

LoadModule auth_basic_module

modules/mod_auth_basic.so

 

Httpd 2.2 常见配置

 6 、定义'Main' server 的文档页面路径

DocumentRoot "/path"

 

 

文档路径映射:

DocumentRoot 指向的路径为URL 路径的起始位置

示例:

DocumentRoot "/app/data"

http://HOST:PORT/test/index.html

--> /app/data/test/index.html

注意:SELinux 和iptables 的状态

 7、 、 定义站点主页面

DirectoryIndex index.html index.html.var

 

Httpd 2.2 常见配置

 8 、站点访问控制常见机制

可基于两种机制指明对哪些资源进行何种访问控制

访问控制机制有两种:客户端来源地址,用户账号

 文件系统路径:

<Directory "/path">

...

</Directory>

<File "/path/file">

...

</File>

<FileMatch "PATTERN">

...

</FileMatch>

 

Httpd 2.2 常见配置

 URL 路径:

\后边的都是URL路径

 

<Location "">

...

</Location>

<LocationMatch "">

...

</LocationMatch>

 示例:

march后边跟正则表达式

files后边跟通配符

<FilesMatch "\.(gif|jpe?g|png)$">

<Files "?at.*"> 通配符

<Location /status>

<LocationMatch "/(extra|special)/data">

<Files "?at.*">

 

Httpd 2.2 常见配置

 9 、<Directory> 中"基于源地址"实现访问控制

 (1) Options :后跟1 个或多个以空白字符分隔的选项列表

在选项前的+ ,- 表示增加或删除指定选项

常见选项:

Indexes :指明的URL 路径下不存在与定义的主页面资源

相符的资源文件时,返回索引列表给用户

 

FollowSymLinks :允许访问符号链接文件所指向的源文件

 

允许访问软连接:

将软连接功能去掉:

None :全部禁用

全部支持:(索引,软连接。。。。。)

 

 

All: : 全部允许

目录继承父目录的权限设置,如果想子目录单独设置如下图,

在父目录下设置

Httpd 2.2 常见配置

 示例:

 <Directory /web/docs>

Options Indexes FollowSymLinks

</Directory>

<Directory /web/docs/spec>

Options FollowSymLinks

</Directory>

 <Directory /web/docs>

Options Indexes FollowSymLinks

</Directory>

<Directory /web/docs/spec>

Options +Includes -Indexes

</Directory>

 

Httpd 2.2 常见配置

(2) AllowOverride

与访问控制相关的哪些指令可以 放在指定目录下的

.htaccess (由AccessFileName 指定)文件中,覆盖之前的

配置指令

只对<directory> 语句有效

AllowOverride All: 所有指令都有效

AllowOverride None :.htaccess 文件无效

AllowOverride AuthConfig Indexes 除了AuthConfig

和 和Indexes 的其它指令都无法覆盖

Httpd 2.2 常见配置

 (3) order 和allow 、deny

放在directory, .htaccess中

order :定义生效次序;写在后面的表示默认法则(冲突的情况下,后面的优先;不冲突的情况下,都 生效)

Order allow,deny

Order deny,allow

Allow from, Deny from

 

 

 

权限拒绝

curl 192.168.37.106/test.html curl+ip地址 :测试该网段的服务

 

来源地址:

IP

网络: 172.16

172.16.0.0

172.16.0.0/16

172.16.0.0/255.255.0.0

 

Httpd 2.2 常见配置

 示例:

<files "*.txt">

order deny,allow

deny from 172.16. 100.100

allow from 172.16

</files>

<files "*.txt">

order allow,deny

deny from 172.16.100.100

allow from 172.16

</files>

 

Httpd 2.2 常见配置

 10 、日志设定

日志类型:

访问日志

错误日志

错误日志:

ErrorLog logs/error_log

LogLevel warn

loglevel 可选值:

debug, info, notice, warn,error

crit, alert, emerg

 

Httpd 2.2 常见配置

 访问日志:

 定义 日志格式:LogFormat format strings

LogFormat "%h %l %u %t \"%r\" %>s %b

\"%{Referer}i\" \"%{User-Agent}i\"" combined

 使用 日志格式:

CustomLog logs/access_log combined

参考帮助:

http://httpd.apache.org/docs/2.2/mod/mod_log_config

.html#formats

 %h 客户端IP 地址

 %l 远程用户, 启用mod_ident 才有效,通常为减号"-" "

 %u 验证(basic ,digest )远程用户, 非登录访问时,为

一个减号"-" "

74

Httpd 2.2 常见配置

• %t 服务器收到请求时的时间

• %r First line of request ,即表示请求报文的首行;记录了

此次请求的"方法","URL" 以及协议版本

• %>s 响应状态码

• %b 响应报文的大小,单位是字节;不包括响应报文http 首部

• %{Referer}i 请求报文中首部"referer" 的值;即从哪个页

面中的超链接跳转至当前页面的

• %{User-Agent}i 请求报文中首部"User-Agent" 的值;即

发出请求的应用程序

 

Httpd 2.2 常见配置

、设定默认字符集

AddDefaultCharset UTF-8

中文字符集:GBK, GB2312, GB18030

 

 

 

定义路径别名

主站点路径:

 

: 格式: Alias /URL/ "/PATH/"

DocumentRoot "/www/htdocs"

http://www.magedu.com/download/bash.rpm

==>/www/htdocs/download/bash.rpm

Alias /download/ "/rpms/pub/"

http://www.magedu.com/download/bash.rpm

==>/rpms/pub/bash.rpm

http://www.magedu.com/images/logo.png

==>/www/htdocs/images/logo.png

 

Httpd 2.2 常见配置

基于用户的访问控制

 认证质询:WWW-Authenticate :响应码为401 ,拒绝客户端

请求,并说明要求客户端提供账号和密码

 认证:Authorization :客户端用户填入账号和密码后再次发送

请求报文;认证通过时,则服务器发送响应的资源

 认证方式两种:

basic :明文

digest :消息摘要认证, 兼容性差

 安全域:需要用户认证后方能访问的路径;应该通过名称对其进

行标识,以便于告知用户认证的原因

 用户的账号和密码

虚拟账号:仅用于访问某服务时用到的认证标识

存储:文本文件,SQL 数据库,ldap 目录存储,nis等 等

 

Httpd 2.2 常见配置

 basic 认证配置示例:

(1) 定义安全域

<Directory "/path">(文件夹名称)

Options None

AllowOverride None

AuthType Basic(用什么认证方法)

AuthName "String"(描述用户密码干嘛用的)

AuthUserFile "/PATH/HTTPD_USER_PASSWD_FILE"(路径)

Require user username1 username2 ...

</Directory>

 

 

允许账号文件中的所有用户登录访问:

Require valid-user

重新加载后:

 

Httpd 2.2 常见配置

 (2) 提供账号和密码存储(文本文件)

使用专用命令完成此类文件的创建及用户管理

htpasswd [options] /PATH/HTTPD_PASSWD_FILE username

-c :自动创建文件,仅应该在文件不存在时使用

-m :md5 格式加密,默认方式

-s: sha 格式加密

-D :删除指定用户

Httpd 2.2 常见配置

 基于组账号进行认证

 

 (1) 定义安全域

<Directory "/path">

AuthType Basic

AuthName "String"

AuthUserFile "/PATH/HTTPD_USER_PASSWD_FILE"

AuthGroupFile "/PATH/HTTPD_GROUP_FILE"

Require group grpname1 grpname2 ...

</Directory>

 

重新加载后,httpgroup2加载不了

 (2) 创建用户账号和组账号文件;

组文件:每一行定义一个组

GRP_NAME: username1 username2 ...

Httpd 2.2 常见配置

 示例:

<Directory "/www/htdocs/admin">

Options None

AllowOverride None

AuthType Basic

AuthName "Administator private"

AuthUserFile "/etc/httpd/conf.d/.htpasswd"

AuthGroupFile "/etc/httpd/conf.d/.htgroup"

Require group webadmins

</Directory>

vim /etc/httpd/conf.d/.htgroup

webadmins:wang mage

 

Httpd 2.2 常见配置

 远程客户端和用户验证的控制

 Satisfy ALL|Any

ALL 客户机IP 和用户验证都需要通过才可以

Any 客户机IP 和用户验证, 有一个满足即可

 

 示例:

Require valid-user

Order allow,deny

Allow from 192.168.1

Satisfy Any

82

Httpd 2.2 常见配置

 14 、虚拟主机

 : 站点标识: socket

IP 相同,但端口不同

IP 不同,但端口均为默认端口

FQDN 不同:

请求报文中首部

Host: www.magedu.com

 有三种实现方案:

基于ip :为每个虚拟主机准备至少一个ip 地址

基于port :为每个虚拟主机使用至少一个独立的port

 

基于FQDN :为每个虚拟主机使用至少一个FQDN

 

 注意:一般虚拟机不要与main 主机混用;因此,要使用虚拟主机,

一般先禁用main 主机

禁用方法:注释中心主机的DocumentRoot 指令即可

 

 

主配置文件 里面的最下边有虚拟主机配置文件的例子

虚拟主机配置文件的例子(*:所有ip)

建立站点:

 

 

 

 

 

 

 

83

Httpd 2.2 常见配置

 虚拟主机的配置方法:

<VirtualHost IP:PORT>

Se rverName FQDN

DocumentRoot "/path"

</VirtualHost>

建议:上述配置存放在独立的配置文件中

 其它可用指令:

ServerAlias :虚拟主机的别名;可多次使用

ErrorLog: : 错误日志

CustomLog :访问日志

<Directory "/path">

</Directory>

Alias

 

84

Httpd 2.2 常见配置

 基于IP 的虚拟主机示例:

<VirtualHost 172.16.100.6:80>

ServerName www.a.com

DocumentRoot "/www/a.com/htdocs"

</VirtualHost>

<VirtualHost 172.16.100.7:80>

ServerName www.b.net

DocumentRoot "/www/b.net/htdocs"

</VirtualHost>

<VirtualHost 172.16.100.8:80>

ServerName www.c.org

DocumentRoot "/www/c.org/htdocs"

</VirtualHost>

85

Httpd 2.2 常见配置

 基于端口的虚拟主机:可和基于IP 的虚拟主机混和使用

listen 808

listen 8080

<VirtualHost 172.16.100.6:80>

ServerName www.a.com

DocumentRoot "/www/a.com/htdocs"

</VirtualHost>

<VirtualHost 172.16.100.6:808>

ServerName www.b.net

DocumentRoot "/www/b.net/htdocs"

</VirtualHost>

<VirtualHost 172.16.100.6:8080>

ServerName www.c.org

DocumentRoot "/www/c.org/htdocs"

</VirtualHost>

86

Httpd 2.2 常见配置

 基于FQDN 的虚拟主机:

 

NameVirtualHost *:80 httpd2.4 不需要此指令

<VirtualHost *:80>

ServerName www.a.com

DocumentRoot "/www/a.com/htdocs"

</VirtualHost>

<VirtualHost *:80>

ServerName www.b.net

DocumentRoot "/www/b.net/htdocs"

</VirtualHost>

<VirtualHost *:80>

ServerName www.c.org

DocumentRoot "/www/c.o rg/htdocs"

</VirtualHost>

 

Httpd 2.2 常见配置

 15 、status 页面

LoadModule status_module modules/mod_status.so

<Location /server-status>

SetHandler server-status

Order allow,deny

Allow from 172.16

</Location>

ExtendedStatus On 显示扩展信息

 

 练习:实现特定用户身份验证访问

 

http 协议

 http 协议

http/0.9, http/1.0, http/1.1, http/2.0

 http 协议:stateless 无状态

服务器无法持续追踪访问者来源

 解决http 协议无状态方法

cookie 客户端存放

session 服务端存放

 http 事务:一次访问的过程

请求:request

响应:response

 

 

http 协议

 报文语法格式:

响应,请求报文首部:

 

 request 报文

<method> <request-URL> <version>

<headers>

<entity-body>

 response 报文

响应报文的首部:

 

<version> <status> <reason-phrase>

<headers>

<entity-body>

 method: 请求方法,标明客户端希望服务器对资源执行的动作

GET 、HEAD 、POST 等

92

http 协议

 version:

HTTP/<major>.<minor>

 status:

三位数字,如200 ,301, 302, 404, 502; 标记请求处

理过程中发生的情况

 reason-phrase: :

状态码所标记的状态的简要描述

 headers: :

每个请求或响应报文可包含任意个首部;每个首部都有首

部名称,后面跟一个冒号,而后跟一个可选空格,接着是一个值

 entity-body :请求时附加的数据或响应时附加的数据

93

http 协议

 Method 方法:

GET :从服务器获取一个资源

HEAD :只从服务器获取文档的响应首部

POST :向服务器输入数据,通常会再由网关程序继续处理

PUT :将请求的主体部分存储在服务器中,如上传文件

DELETE :请求删除服务器上指定的文档

TRACE :追踪请求到达服务器中间经过的代理服务器

OPTIONS :请求服务器返回对指定资源支持使用的请求方法

 协议查看或分析的工具:

tcpdump, wireshark,tshark

94

http 协议状态码分类

95

http 协议状态码分类

 status( 状态码): :

 1xx :100-101 信息提示

 2xx :200-206 成功

 3xx :300-305 重定向

 4xx :400-415 错误类信息,客户端错误

 5xx :500-505 错误类信息,服务器端错误

96

http 协议常用的状态码(面试常问问题)

200: : 成功,请求数据通过响应报文的entity-body 部分发送;OK

 301: : (永久的重定向) 请求的URL 指向的资源已经被删除;但在响应报文中通过首部

Location 指明了资源现在所处的新位置;Moved Permanently

 302: : (暂时的重定向 ) 响应报文Location置 指明资源临时新位置 Moved Temporarily

 304: :(服务器端没变化,客户端利用缓存就行) 客户端发出了条件式请求,但服务器上的资源未曾发生改变

,则通过响应此响应状态码通知客户端;Not Modified

 401: : 需要输入账号和密码认证方能访问资源;Unauthorized

 403: : (权限拒绝)请求被禁止;Forbidden

 404: :(访问的资源不存在) 服务器无法找到客户端请求的资源;Not Found

 500: : 服务器内部错误;Internal Server Error

 502: : 代理服务器从后端服务器收到了一条伪响应,如无法连接到

网关;Bad Gateway

 503 – 服务器不可用,临时服务器维护或过载,服务器无法处理请求

 504 – 网关超时

 

http 协议

 headers: :

 格式:

 Name: Value

Request URL:http://www.magedu.com/

Request Method:GET

Status Code:200 OK

Remote Address:101.200.188.230:80

Response Headers

view source

Connection:keep-alive

Content-Encoding:gzip

Content-Type:text/html; charset=UTF-8

Date:Sun, 29 Jan 2017 14:32:30 GMT

Server:Tengine

Transfer-Encoding:chunked

Vary:Accept-Encoding

X-Pingback:http://www.magedu.com/xmlrpc.php

98

http 协议

Request Headers

view source

Accept:text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0

.8

Accept-Encoding:gzip, deflate, sdch

Accept-Language:zh-CN,zh;q=0.8

Cache-Control:max-age=0

Connection:keep-alive

Cookie:53gid2=10104634518015; 53gid0=10104634518015;

53gid1=10104634518015; 53revisit=1485699843851; 53uvid=1;

onliner_zdfq72145423=0; CNZZDATA1260642320=1664910013-1485697454-

%7C1485697454; visitor_type=old; 53kf_72145423_keyword=;

kf_72145423_keyword_ok=1;

Hm_lvt_4a78dc1643884da1c990c4c878832e70=1485699844;

Hm_lpvt_4a78dc1643884da1c990c4c878832e70=1485700088

Host:www.magedu.com

Upgrade-Insecure-Requests:1

User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36

(KHTML, like Gecko) Chrome/56.0.2924.76 Safari/537.36

99

http 协议首部

 首部的分类:

 通用首部

 请求首部

 响应首部

 实体首部

 扩展首部

 通用首部:

Date: 报文的创建时间

Connection :连接状态,如keep-alive, close

Via :显示报文经过的中间节点(代理,网关)

Cache-Control :控制缓存,如缓存时长

MIME-Version: 发送端使用的MIME 版本

 

http 协议

 请求首部:

Accept :通知服务器自己可接受的媒体类型

Accept-Charset: : 客户端可接受的字符集

Accept-Encoding :客户端可接受编码格式,如gzip

Accept-Language: : 客户端可 接受的语言

Client-IP: 请求的客户端IP

Host: 请求的服务器名称和端口号

Referer :跳转至当前URI 的前一个URL

User-Agent :客户端代理,浏览器版本

 

http 协议

 条件式请求首部:

Expect :允许客户端列出某请求所要求的服务器行为

If-Modified-Since :自从指定的时间之后,请求的资源是否

发生过修改

If-Unmodified-Since :与上面相反

If-None-Match :本地缓存中存储的文档的ETag 标签是否与

服务器文档的Etag 不匹配

If-Match :与上面相反

 安全请求首部:

Authorization :向服务器发送认证信息,如账号和密码

Cookie: 客户端向服务器发送cookie

Cookie2 :用于说明请求端支持的cookie 版本

 代理请求首部:

Proxy-Authorization: 向代理服务器认证

 

http 协议

 响应首部:

 信息性:

Age :从最初创建开始,响应持续时长

Server :服务器程序软件名称和版本

 协商首部:某资源有多种表示方法时使用

Accept-Ranges :服务器可接受的请求范围类型

Vary :服务器查看的其它首部列表

 安全响应首部:

Set-Cookie :向客户端设置cookie

Set-Cookie2: 以上面相似

WWW-Authenticate :来自服务器对客户端的质询列表

103

http 协议

 实体首部:

Allow: 列出对此资源实体可使用的请求方法

Location :告诉客户端真正的实体位于何处

Content-Encoding: 对主体执行的编码

Content-Language: 理解主体时最适合的语言

Content-Length: 主体的长度

Content-Location: 实体真正所处位置

Content-Type :主体的对象类型,如text

缓存相关:

ETag :实体的扩展标签

Expires :实体的过期时间

Last-Modified :最后一次修改的时间

104

curl 工具

 curl 工具

curl 是基于URL 语法在命令行方式下工作的文件传输工具,它

支持FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET,

DICT, FILE 及LDAP 等协议。curl 支持HTTPS 认证,并且支持

HTTP 的POST 、PUT, 等方法, FTP, 上传, kerberos 认证,

HTTP 上传,代理服务器,cookies ,用户名/, 密码认证, 下载文

件断点续传,上载文件断点续传, http( 代理服务器管道( proxy

tunneling ),还支持IPv6 ,socks5 代理服务器,通过http 代理

服务器上传文件到FTP 服务器等,功能十分强大

 curl [options] [URL...]

-A/--user-agent <string> 设置用户代理发送给服务器

-e/--referer <URL> 来源网址

--cacert <file> CA书 证书 (SSL)

-k/--insecure 行 允许忽略证书进行 SSL 连接

105

curl 工具常用选项

--compressed 要求返回是压缩的格式

 

-H/--header <line> 自定义首部信息传递给服务器

-i 显示页面内容,包括报文首部信息

 

-I/--head 只显示响应报文首部信息

-D/--dump-header <file> 将url 的header 信息存放在指定文件中

 

--limit-rate <rate> 设置传输速度

 

--basic 使用HTTP 基本认证

-u/--user <user[:password]> 设置服务器的用户和密码

 

-L 如果有3xx 响应码,重新发请求到新位置(跳转)

 

 

-o <file> 将网络文件保存为指定的文件中

-O 使用URL 中默认的文件名保存文件到本地

-0/--http1.0 使用HTTP 1.0

 

 

curl 工具常用选项

-C - 选项可对文件使用断点续传功能

-c/--cookie-jar <file name> 将url 中cookie 存放在指定文件中

 

-x/--proxy <proxyhost[:port]> 指定代理服务器地址

-X/--request <command> 向服务器发送指定请求方法

-U/--proxy-user <user:password> 代理服务器用户和密码

-T 选项可将指定的本地文件上传到FTP 服务器上

--data/-d 方式指定使用POST 方式传递数据

-b name=data 从服务器响应set-cookie 得到值,返回给服务器

 elinks 工具:

elinks [OPTION]... [URL]...

-dump: 非交互式模式,将URL 的内容输出至标准输出

-source: 打印源码

107

mod_deflate 模块

 使用mod_deflate 模块压缩页面优化传输速度

 适用场景:

(1) 节约带宽,额外消耗CPU ;同时,可能有些较老浏览器不支持

(2) 压缩适于压缩的资源,例如文本文件

LoadModule deflate_module modules/mod_deflate.so

SetOutputFilter DEFLATE

# Restrict compression to these MIME types

AddOutputFilterByType DEFLATE text/plain

AddOutputFilterByType DEFLATE text/html

AddOutputFilterByType DEFLATE application/xhtml+xml

AddOutputFilterByType DEFLATE text/xml

AddOutputFilterByType DEFLATE application/xml

AddOutputFilterByType DEFLATE application/x-javascript

AddOutputFilterByType DEFLATE text/javascript

AddOutputFilterByType DEFLATE text/css

108

mod_deflate 模块

 Level of compression (Highest 9 - Lowest 1)

 DeflateCompressionLevel 9

 排除特定旧版本的浏览器,不支持压缩

Netscape 4.x 只压缩text/html

BrowserMatch ^Mozilla/4 gzip-only-text/html

Netscape 4.06-08本 三个版本 不压缩

BrowserMatch ^Mozilla/4\.0[678] no-gzip

Internet Explorer 标识本身为"Mozilla / 4 ",但实际上是

能够处理请求的压缩。 如果 用户代理 首部匹配 字符串

" "MSIE "("B" " 为单词 边界") ,就 关闭之前定义的限制

BrowserMatch \bMSI[E] !no-gzip !gzip-only-

text/html

https

 https :http over ssl

 SSL 会话的简化过程 (aparch不支持压缩)

( 1) 客户端发送可供选择的加密方式,并向服务器请求证书

(2) 服务器端发送证书以及选定的加密方式给客户端

(3) 客户端取得证书并进行证书验证

如果信任给其发证书的CA

(a) 验证证书来源的合法性;用CA 的公钥解密证书上数字签名

(b) 验证证书的内容的合法性:完整性验证

(c) 检查证书的有效期限

(d) 检查证书是否被吊销

(e) 证书中拥有者的名字,与访问的目标主机要一致

(4) 客户端生成临时会话密钥(对称密钥),并使用服务器端的公钥加密

此数据发送给 服务器,完成密钥交换

(5) 服务用此密钥加密用户请求的资源,响应给客户端

 注意:SSL 是基于IP 地址实现, 单IP 的主机仅可以使用一个https 虚拟主机

110

https 实现

 

 (1) 为服务器申请数字证书

测试:通过私建CA 发证书

(a) 创建私有CA

(b) 在服务器创建证书签署请求

(c) CA 签证

 (2) 配置httpd 支持使用ssl ,及使用的证书

yum -y install mod_ssl

配置文件:/etc/httpd/conf.d/ssl.conf

DocumentRoot

ServerName

SSLCertificateFile

SSLCertificateKeyFile

 (3) 测试基于https 访问相应的主机

openssl s_client [-connect host:port] [-cert filename] [-

CApath directory] [-CAfile filename]

111

http 重定向https

 将 将http 请求转发至https 的URL

 重定向

Redirect [status] URL-path URL

 status 状态:

 Permanent:Returns a permanent redirect status

(301) indicating that the resource has moved

permanently

 Temp:Returns a temporary redirect status (302).

This is the default

 示例:

Redirect temp / https://www.magedu.com/

112

HSTS

 HSTS:HTTP Strict Transport Security

服务器端配置支持HSTS 后,会在给浏览器返回的HTTP 首部中携带

HSTS 字段。浏览器获取到该信息后,会将所有HTTP 访问请求在内部

做 做307 跳转到HTTPS 。而无需任何网络过程

 HSTS preload list

是 是Chrome 浏览器中的HSTS 预载入列表,在该列表中的网站,使用

Chrome 浏览器访问时,会自动转换成HTTPS 。Firefox 、Safari、 、

Edge 浏览器也会采用这个 列表

 实现HSTS 示例:

vim /etc/httpd/conf/httpd.conf

Header always set Strict-Transport-Security "max-

age=15768000"

RewriteEngine on

RewriteRule ^(/.*)$ https://%{HTTP_HOST}$1 [redirect=301]

113

httpd 自带的工具程序

 httpd 自带的工具程序

htpasswd :basic 认证基于文件实现时,用到的账号密码文件

生成工具

apachectl :httpd 自带的服务控制脚本,支持start 和stop

apxs :httpd-devel 包提供,扩展httpd 使用第三方模块工具

rotatelogs :日志滚动工具

access.log -->

access.log, access.1.log -->

access.log, acccess.1.log, access.2.log

suexec :访问某些有特殊权限配置的资源时,临时切换至指

定用户身份运行

114

httpd 的压力测试工具

 httpd 的压力测试工具

 ab, webbench, http_load, seige

 Jmeter 开源

 Loadrunner 商业,有相关认证

 tcpcopy :网易,复制生产环境中的真实请求,并将之保存

 ab [OPTIONS] URL

来自httpd-tools包 包

-n :总请求数

-c :模拟的并行数

-k :以持久连接模式测试

 

ulimit –n # 调整能打开的文件数

 

练习

 1 、建立httpd 服务器,要求提供两个基于名称的虚拟主机:

(1)www.X.com ,页面文件目录为/web/vhosts/x; ; 错误日志为

/var/log/httpd/x.err ,访问日志为/var/log/httpd/x.access

(2)www.Y.com ,页面文件目录为/web/vhosts/y ;错误日志为

/var/log/httpd/www2.err ,访问日志为/var/log/httpd/y.access

(3) 为两个虚拟主机建立各自的主页文件index.html ,内容分别为其对应的主

机名

(4) 通过www.X.com/server-status 输出httpd 工作状态相关信息

2 、为上面的第2 个虚拟主机提供https 服务,使得用户可以通过https 安全的

访问此web 站点

(1) 要求使用证书认证,证书中要求使用的国家(CN) 、州(Beijing) 、城市

(Beijing) 和组织(MageEdu)

(2) 设置部门为Ops ,主机名为www.Y.com ,邮件为admin@Y.com

116

httpd-2.4

 新特性

 MPM 支持运行为DSO 机制;以模块形式按需加载

 event MPM 生产环境可用

 异步读写机制

 支持每模块及每目录的单独日志级别定义

 每请求相关的专用配置

 增强版的表达式分析式

 毫秒级持久连接时长定义

 基于FQDN 的虚拟主机不需要NameVirutalHost 指令

 新指令,AllowOverrideList

 支持用户自定义变量

 更低的内存消耗

117

httpd-2.4

 修改了一些配置机制

不再支持使用Order, Deny, Allow 来做基于IP 的访问控制

 新模块

 (1) mod_proxy_fcgi

FastCGI Protocol backend for mod_proxy

 (2) mod_remoteip

Replaces the apparent client remote IP address

and hostname for the request with the IP address list

presented by a proxies or a load balancer via the

request headers.

 (3) mod_ratelimit

Provides Bandwidth Rate Limiting for Clients

118

CentOS 7 httpd 程序环境

 CentOS 7 :httpd-2.4

 安装方法:rpm ,编译安装

 Rpm 安装程序环境:

 配置文件:

/etc/httpd/conf/httpd.conf

/etc/httpd/conf.d/*.conf

 模块相关的配置文件:

/etc/httpd/conf.modules.d/*.conf

 systemd unit file: :

/usr/lib/systemd/system/httpd.service

 主程序文件:

/usr/sbin/httpd

httpd-2.4 支持MPM 的动态切换

119

CentOS 7 httpd 程序环境

 日志文件:

/var/log/httpd

access_log :访问日志

error_log :错误日志

 站点文档:

/var/www/html

 模块文件路径:

/usr/lib64/httpd/modules

 服务控制:

systemctl enable|disable httpd.service

systemctl {start|stop|restart|status} httpd.service

120

httpd-2.4 配置

 配置 应用 :

 (1) 切换使用的MPM

 Centos 7:/etc/httpd/conf.modules.d/00-mpm.conf

启用 要启用的MPM 相关的LoadModule 指令即 可

 centos6 编译安装:

vim /etc/httpd24/httpd.conf

Include /etc/httpd24/extra/httpd-mpm.conf

LoadModule mpm_event_module

modules/mod_mpm_event.so

 (2) 主目录:

DocumentRoot /path

121

httpd-2.4 配置

 (3) 基于IP 的访问控制:

无明确授权的目录,默认拒绝

允许所有主机访问:Require all granted

拒绝所有主机访问:Require all denied

控制特定的IP 访问:

Require ip IPADDR :授权指定来源的IP 访问

Require not ip IPADDR :拒绝特定的IP 访问

控制特定的主机访问:

Require host HOSTNAME :授权特定主机访问

Require not host HOSTNAME :拒绝

HOSTNAME: :

FQDN :特定主机

domin.tld :指定域名下的所有主机

122

httpd-2.4 配置

 不能有失败,至少有一个成功 匹配才成功,即失败优先

<RequireAll>

Require all granted

Require not ip 172.16.1.1 拒绝特定IP

</RequireAll>

 多个语句有一个成功, 则 成功,即成功优先

<RequireAny>

Require all denied

require ip 172.16.1.1 允许特定IP

</RequireAny>

123

httpd-2.4 配置

 (4) 虚拟主机

基于FQDN 的虚拟主机不再需要NameVirutalHost 指令

<VirtualHost *:80>

ServerName www.b.net

DocumentRoot "/apps/b.net/htdocs"

<Directory "/apps/b.net/htdocs">

Options None

AllowOverride None

Require all granted

</Directory>

</VirtualHost>

注意:任意目录下的页面只有显式授权才能被访问

124

httpd-2.4 配置

 (4) ssl: 安装mod_ssl ,和httpd-2.2 相同配置

 (5) KeepAlive on

KeepAliveTimeout #ms

MaxKeepAliveRequests 100

毫秒级持久连接时长定义

125

Sendfile 机制

 用 不用 sendfile 的传统网络传输过程:

 read(file, tmp_buf, len)

 write(socket, tmp_buf, len)

 盘 硬盘 >> kernel buffer >> user buffer >> kernel socket buffer >> 协议栈

 到 一般网络应用通过读硬盘数据,写数据到 socket 来完成网络传输, 底层执行过程:

 1 用 系统调用 read() 从 产生一个上下文切换:从 user mode 到 切换到 kernel mode, ,

后 然后 DMA 个 执行拷贝,把文件数据从硬盘读到一个 kernel buffer 里。

 2 从 数据从 kernel buffer 到 拷贝到 user buffer用 ,然后系统调用 read() 返回,这时

又产生一个上下文切换:从kernel mode 到 切换到 user mode

 3 用 系统调用 write() 从 产生一个上下文切换:从 user mode 到 切换到 kernel mode, ,

然后把步骤2到 读到 user buffer 到 的数据拷贝到 kernel buffer (数据第2 次拷贝到

kernel buffer的 ),不过这次是个不同的 kernel buffer个 ,这个 buffer和 和 socket

相关联。

 4 用 系统调用 write() 从 返回,产生一个上下文切换:从 kernel mode 到 切换到 user

mode( 第4 次切换), 然后DMA从 从 kernel buffer 拷贝数据到协议栈(第4 次拷贝)

 上面4 个步骤有4 次上下文切换,有4 次拷贝,如果能减少切换次数和拷贝次数将会

有效提升性能

126

Sendfile 机制

 在 在kernel 2.0+ 用 版本中,系统调用 sendfile() 就是用来简化上面步

骤提升性能的。sendfile() 不但能减少切换次数而且还能减少拷贝

次数

 用 用 sendfile() 来进行网络传输的过程:

 sendfile(socket, file, len);

 盘 硬盘 >> kernel buffer ( 快速拷贝到kernel socket buffer)

>> 协议栈

 1 用 系统调用 sendfile() 过 通过 DMA 到 把硬盘数据拷贝到 kernel

buffer被 ,然后数据被 kernel 与 直接拷贝到另外一个与 socket 相关

的 的 kernel buffer有 。这里没有 user mode 和 和 kernel mode 之间的

在 切换,在 kernel 个 中直接完成了从一个 buffer 个 到另一个 buffer

的拷贝。

 2 DMA 从 把数据从 kernel buffer 直接拷贝给协议栈,没有切换,

从 也不需要数据从 user mode 到 拷贝到 kernel mode ,因为数据就在

kernel 里 里

127

反向代理功能

 启用反向代理

ProxyPass "/" "http://www.example.com/"

ProxyPassReverse "/" "http://www.example.com/"

 特定URL 反向代理

ProxyPass "/images" "http://www.example.com/"

ProxyPassReverse "/images" http://www.example.com/

 示例:

<VirtualHost *>

ServerName www.magedu.com

ProxyPass / http://localhost:8080/

ProxyPassReverse / http://localhost:8080/

</VirtualHost>

128

APR

 APR(Apache portable Run-time libraries ,Apache 可移植

运行库) 主要为上层的应用程序提供一个可以跨越多操作系统

平台使用的底层支持接口库。在早期的Apache 版本中,应用

程序本身必须能够处理各种具体操作系统平台的细节,并针

对不同的平台调用不同的处理函数

 随着Apache 的进一步开发,Apache 组织决定将这些通用的函

数独立出来并发展成为一个新的项目。这样,APR 的开发就从

Apache 中独立出来,Apache用 仅仅是使用 APR 而已。目前

APR 主要还是由Apache 使用,由于APR 的较好的移植性,因

此一些需要进行移植的C 程序也开始使用APR ,开源项目比如

用于服务器压力测试的 的Flood loader tester, , 该项目不仅仅

适用于Apache ,http://httpd.apache.org/test/flood

129

在 在centos6 编译安装httpd-2.4

 安装httpd-2.4

 依赖于apr-1.4+, apr-util-1.4+, [apr-iconv]

 apr: : apache portable runtime ,解决跨平台实现

 CentOS 6 :默认:apr-1.3.9, apr-util-1.3.9

 安装前准备开发包:

 开发环境包组:

Development Tools,Server

相关包:pcre-devel ,openssl-devel expat-devel

 下载源代码并解压缩:

httpd-2.4.27.tar.bz2

apr-1.6.2.tar.bz2

apr-util-1.6.0.tar.bz2

130

centos6 编译安装httpd-2.4 方法一

 安装apr-1.4+

cd apr-1.6.2

./configure --prefix=/app/apr

make && make install

 安装apr-util-1.4+

cd ../apr-util-1.6.0

./configure --prefix=/app/apr-util --with-

apr=/app/apr/

make -j 2 && make install

131

centos6 编译安装httpd-2.4 方法一

 编译安装httpd-2.4

cd ../httpd-2.4.27

./configure --prefix=/app/httpd24 --enable-so --

enable-ssl --enable-cgi --enable-rewrite --with-zlib

--with-pcre --with-apr=/app/apr/ --with-apr-

util=/app/apr-util/ --enable-modules=most --enable-

mpms-shared=all --with-mpm=prefork

make -j 4 && make install

132

centos6 编译安装httpd-2.4 方法二

 cp -av apr-util-1.6.0 httpd-2.4.27/srclib/apr-util

 cp -av apr-1.6.2 httpd-2.4.27/srclib/apr

 cd httpd-2.4.27/

./configure --prefix=/usr/local/httpd24 --enable-

so --enable-ssl --enable-cgi --enable-rewrite --

with-zlib --with-pcre --with-included-apr --

enable-modules=most --enable-mpms-shared=all --

with-mpm=prefork

make && make install

 Httpd 编译过程:/usr/local/apache24/build/config.nice

 自带的服务控制脚本:/usr/local/httpd24/bin/apachectl

133

在 在centos6 编译安装httpd-2.4

 vim /etc/profile.d/httpd24.sh

export PATH=/app/http24/bin:$PATH

 vim /etc/man.config

MANPATH /usr/local/apache24/man

 自 定义启动脚本( 参考httpd-2.2 的服务脚本)

cp /etc/rc.d/init.d/httpd /etc/rc.d/init.d/httpd24

vim /etc/rc.d/init.d/httpd24

apachectl=/usr/local/httpd24/bin/apachectl

httpd=${HTTPD-/usr/local/httpd24/bin/httpd}

pidfile=${PIDFILE-/usr/local/httpd24/logs/httpd.pid}

lockfile=${LOCKFILE-/var/lock/subsys/httpd24}

chkconfig –add httpd24 ;chkconfig –list httpd24

 

 

 

 

 

 

 

 

实验:实现基于basic验证的目录访问

 

cat .htaccess

authname "Secret DIR"

authtype basic

authuserfile /etc/httpd/conf.d/.httpusers

authgroupfile /etc/httpd/conf.d/.htgroups

require group httpgroup2

 

 

 

实验:实现基于FQDN虚拟主机

实验之前要先看看防火墙,selinux策略是否关了么,如果没关,就关掉

关闭selinux防火墙的方法:

iptable -F:关闭防火墙

setenforce 0:关闭selinux策略

getenforce:查看selinux策略

在atttp服务子配置文件

vim /etc/httpd/conf.d/test.conf

NameVirtualHost *:80

<virtualhost *:80>

documentroot /app/site1

servername www.a.com

errorlog logs/a.com.errlog

customlog logs/a.com.accesslog combined

</virtualhost>

<virtualhost *:80>

documentroot /app/site2

servername www.b.com

errorlog logs/b.com.errlog

customlog logs/b.com.accesslog combined

</virtualhost>

 

 

<virtualhost *:80>

documentroot /app/site3

servername www.c.com

errorlog logs/c.com.errlog

customlog logs/c.com.accesslog combined

</virtualhost>

 

实验:启用压缩

SetOutputFilter DEFLATE

DeflateCompressionLevel 9

AddOutputFilterByType DEFLATE text/plain

AddOutputFilterByType DEFLATE text/html

 

实验:实现HTTPS

 

1 yum install mod_ssl

2 vim /etc/httpd/conf.d/ssl.conf

SSLCertificateFile /etc/httpd/conf.d/ssl/httpd.crt

SSLCertificateKeyFile /etc/httpd/conf.d/ssl/httpd.key

SSLCACertificateFile /etc/httpd/conf.d/ssl/cacert.pem

 

 

实验:在centos6.9编译httpd2.4.28 方法1

 

实验:在centos6.9编译httpd2.4.28 方法2

 

 

 

 

 

 

@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@

 

http中web服务的请求处理步骤

1:建立连接:用户客户端和web服务先建立连接,既三次握手,三次握手建立后;客户端就可以向服务器发起请求了,

2:接收请求:发起请求后,web服务器收到请求,这个请求有请求报文的格式,请求报文要封装请求报文的头部,(客户端发起请求三次握手后,将自己的请求封装在请求报文中发出去,);

3:处理请求:HTTP服务器软件进程处理请求:假设客户端发起一个get获取页面请求,web服务看到是一个get请求,页面通常是放在本机服务器的磁盘上的,所以web服务器就会去本机磁盘上去获取这个资源,

4:获取资源:获取资源并不是http自己有能力获取资源,因为http服务只是应用层的用户空间的服务,用户空间的程序是没有权限访问磁盘的;所以http服务将这个请求发送给内核空间处理,这个发送过程走的是系统调用,http通过系统调用将请求发送给内核,内核发现请求需要去磁盘上读取数据,所以内核将请求发送给磁盘,把磁盘里的文件读出来,读出来后到达内核的缓冲器,中的内存空间,再从内存空间将数据复制到http,

5:构建响应: http收到资源后暂时放在自己的缓冲区,拿到数据后开始构建响应报文,封装http报文头的首部,

6:发送响应: 封装报文后将数据发送出去

7:记录事务处理过程: 数据发送出去后,将整个过程记录在日志中,比如访问的哪个页面,等

 

 

提高HTTP连接性能

1:并行连接:通过多条TCP连接发起并发的HTTP请求

2:持久连接:keep-alive,长连接,重用TCP连接,以消除连接和关闭的时延,以事务个数和时间决定是否关闭连接

3:管道化连接:通过共享TCP连接发起并发的HTTP请求

4:复用的连接:交替传送请求和响应报文(实验阶段)

一次完整的http请求处理过程

1:建立连接:接收或拒绝请求

2:接收请求:接收客户端请求报文中对资源的一次请求过程

web访问响应模型(web I/O)

单进程I/O模型:启动一个进程处理用户请求,而且一次只处理一个,多个请求被串行响应

(来一个处理一个,处理完就没事了,就算多个进程一下子来需要处理,也是要一个个来,先来后到,适合访问量少的服务)

多进程I/O模型:并行启动多个进程,每个进程响应一个连接请求

 

复用I/O结构:启动一个进程,同时响应N个连接请求

实现方法:多线程模型和事件驱动

多线程模型:一个进程生成N个线程,每个线程响应一个连接请求

事件驱动:一个进程处理N个请求

复用的多进程I/O模型:启动M个进程,每个进程响应N个连接请求,同时接收M*N个请求

处理请求:服务器对请求报文进行解析,并获取请求的资源及请求方法等相关信息,根据方法,资源,首部和可选的主体部分对请求进行处理

元数据:请求报文首部

posted @ 2017-12-11 20:23  梦梦萌  阅读(4987)  评论(0编辑  收藏  举报