Fastdfs文件系统介绍
概念
这里所说的文件系统，不是磁盘文件系统NTFS、fat那些，而是管理文件的软件，比如管理上传文件、图片等。
fastdfs主要由tracker(跟踪器)和storage(存储器)组成，tracker和storage都可以做集群，其中storage做集群时每个节点是一个组，节点间是横向扩容关系，而每个组里的多台服务器之间是主备关系。
源码地址：https://github.com/happyfish100/
下载地址：http://sourceforge.net/projects/fastdfs/files/
官方论坛：http://bbs.chinaunix.net/forum-240-1.html
安装
这里用2台服务器安装：
192.168.128.130安装tracker，192.168.128.131安装storage
都用root账号
一、跟踪器服务器tracker和存储服务器storage都安装的
1、安装依赖包
yum -y install make cmake gcc gcc-c++
2、安装libfastcommon
libfastcommon-master.zip分别到2台服务器的/usr/local/src目录
解压：
cd /usr/local/src/
unzip libfastcommon-master.zip
安装：
cd libfastcommon-master
./make.sh
./make.sh install
(安装到了/usr/lib64/libfastcommon.so和/usr/lib64/libfdfsclient.so)
创建软连接
ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so
ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so
ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so
因为 FastDFS 主程序设置的 lib 目录是/usr/local/lib，所以需要创建软链接
3、安装 FastDFS
FastDFS_v5.05.tar.gz放到/usr/local/src
解压：
cd /usr/local/src/
tar -zxvf FastDFS_v5.05.tar.gz
cd FastDFS
./make.sh
./make.sh install
修改配置：
vim /etc/init.d/fdfs_trackerd
使用查找替换命令进统一修改
:%s+/usr/local/bin+/usr/bin
vim /etc/init.d/fdfs_storaged
使用查找替换命令进统一修改:%s+/usr/local/bin+/usr/bin
:%s+/usr/local/bin+/usr/bin
二、配置 FastDFS 跟踪器（192.168.128.130）
1、编辑跟踪器配置文件
cd /etc/fdfs/
cp tracker.conf.sample tracker.conf
vim /etc/fdfs/tracker.conf
修改的内容如下：
disabled=false
port=22122
base_path=/fastdfs/tracker
2、创建基础数据目录（参考基础目录 base_path 配置）:
mkdir -p /fastdfs/tracker
3、 防火墙中打开跟踪器端口（默认为 22122）:
vim /etc/sysconfig/iptables
添加如下端口行：
-A INPUT -m state --state NEW -m tcp -p tcp --dport 22122 -j ACCEPT
重启防火墙：
service iptables restart
4、启动：
/etc/init.d/fdfs_trackerd start
初次成功启动，会在/fastdfs/tracker 目录下创建 data、logs 两个目录
查看 FastDFS Tracker 是否已成功启动：
ps -ef | grep fdfs
5、设置 FastDFS 跟踪器开机启动：
vim /etc/rc.d/rc.local
添加以下内容：
## FastDFS Tracker
/etc/init.d/fdfs_trackerd start
三、配置 FastDFS 存储(192.168.128.131)
1、复制 FastDFS 存储器样例配置文件,并重命名，编辑存储器样例配置文件
cd /etc/fdfs/
cp storage.conf.sample storage.conf
vim /etc/fdfs/storage.conf
修改的内容如下:
disabled=false
port=23000
base_path=/fastdfs/storage
store_path0=/fastdfs/storage
tracker_server=192.168.128.130:22122
http.server_port=8888
（其它参数保留默认配置，具体配置解释请参考官方文档说明：)
2、创建基础数据目录（参考基础目录 base_path 配置）:
mkdir -p /fastdfs/storage
3、防火墙中打开存储器端口（默认为 23000）:
# vi /etc/sysconfig/iptables
添加如下端口行：
-A INPUT -m state --state NEW -m tcp -p tcp --dport 23000 -j ACCEPT
重启防火墙：
# service iptables restart
4、启动
/etc/init.d/fdfs_storaged start
初次成功启动，会在/fastdfs/storage 目录下创建 data、logs 两个目录
5、设置 FastDFS 存储器开机启动：
# vi /etc/rc.d/rc.local
添加：
## FastDFS Storage
/etc/init.d/fdfs_storaged start
四、文件上传测试(192.168.128.130)
1、修改 Tracker 服务器中的客户端配置文件：
cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf
vim /etc/fdfs/client.conf
base_path=/fastdfs/tracker
tracker_server=192.168.128.130:22122
2、执行如下文件上传命令：
/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/src/FastDFS_v5.05.tar.gz
返回 ID 号：
（能返回以上文件 ID，说明文件上传成功）
上传以后在storage上可以看到有文件
五、存储节点上安装nginx
引用：
FastDFS 通过 Tracker 服务器,将文件放在 Storage 服务器存储，但是同组存储服务器之间需要进入文件复制，有同步延迟的问题。假设 Tracker 服务器将文件上传到了 192.168.128.131，上传成功后文件 ID 已经返回给客户端。此时 FastDFS 存储集群机制会将这个文件同步到同组存储 192.168.128.132，在文件还没有复制完成的情况下，客户端如果用这个文件 ID 在 192.168.128.132 上取文件,就会出现文件无法访问的 错误。而 fastdfs-nginx-module 可以重定向文件连接到源服务器取文件,避免客户端由于复制延迟导致的文件无法访问错误。（解压后的 fastdfs-nginx-module 在 nginx 安装时使用）
1、解压fastdfs-nginx-module_v1.16.tar.gz，修改config配置
fastdfs-nginx-module_v1.16.tar.gz 放到/usr/local/src
cd /usr/local/src/
tar -zxvf fastdfs-nginx-module_v1.16.tar.gz
cd fastdfs-nginx-module/src
vim config
CORE_INCS="$CORE_INCS /usr/local/include/fastdfs /usr/local/include/fastcommon/"
修改为：
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"
（注意：这个路径修改是很重要的，不然在 nginx 编译的时候会报错的）
2、安装编译 Nginx 所需的依赖包
yum -y install gcc gcc-c++ make automake autoconf libtool pcre* zlib openssl openssl-devel
3、编译安装 Nginx（添加 fastdfs-nginx-module 模块）
nginx-1.6.2.tar.gz放到/usr/local/src
cd /usr/local/src/
tar -zxvf nginx-1.6.2.tar.gz
cd nginx-1.6.2
./configure --add-module=/usr/local/src/fastdfs-nginx-module/src
make && make install
4、修改fastdfs-nginx-module配置文件
复制 fastdfs-nginx-module 源码中的配置文件到/etc/fdfs 目录，并修改
cp /usr/local/src/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/
vim /etc/fdfs/mod_fastdfs.conf
修改以下配置：
connect_timeout=10
base_path=/tmp
tracker_server=192.168.128.130:22122
storage_server_port=23000
group_name=group1
url_have_group_name = true
store_path0=/fastdfs/storage
5、复制 FastDFS 的部分配置文件到/etc/fdfs 目录
cd /usr/local/src/FastDFS/conf
cp http.conf mime.types /etc/fdfs/
6、在/fastdfs/storage 文件存储目录下创建软连接,将其链接到实际存放数据的目录
ln -s /fastdfs/storage/data/ /fastdfs/storage/data/M00
7、修改nginx配置
vim /usr/local/nginx/conf/nginx.conf
user root;
worker_processes 1;
events {
worker_connections 1024;
}
http {
include mime.types;
default_type application/octet-stream;
sendfile on;
keepalive_timeout 65;
server {
listen 8888;
server_name localhost;
location ~/group([0-9])/M00 {
alias /fastdfs/storage/data;
ngx_fastdfs_module;
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
}
8、防火墙中打开 Nginx 的 8888 端口
vim /etc/sysconfig/iptables
添加：
-A INPUT -m state --state NEW -m tcp -p tcp --dport 8888 -j ACCEPT
service iptables restart
9、启动 Nginx
/usr/local/nginx/sbin/nginx
（重启 Nginx 的命令为：/usr/local/nginx/sbin/nginx -s reload）
10、浏览器访问(将文件名替换为上传时返回的)
http://192.168.128.131:8888/group1/M00/00/00/wKiAg1hG4cqAAE1yAAVFOL7FJU4.tar.gz
即可下载文件
六、注意
1、启动要先启跟踪器，再启存储，否则存储启不来。
2、配置详解：http://bbs.chinaunix.net/thread-1941456-1-1.html
3、采用默认安装FastDFS的方式安装,安装后的相应文件与目录：
A、服务脚本在：
/etc/init.d/fdfs_storaged
/etc/init.d/fdfs_tracker
B、配置文件在（样例配置文件）:
/etc/fdfs/client.conf.sample
/etc/fdfs/storage.conf.sample
/etc/fdfs/tracker.conf.sample
C、命令工具在/usr/bin/目录下的：
fdfs_appender_test
fdfs_appender_test1
fdfs_append_file
fdfs_crc32
fdfs_delete_file
fdfs_download_file
fdfs_file_info
fdfs_monitor
fdfs_storaged
fdfs_test
fdfs_test1
fdfs_trackerd
fdfs_upload_appender
fdfs_upload_file
stop.sh
restart.sh
4、FastDFS的跟踪器和存储的安装都是一样的，只是配置有差别。
5、千万不要使用 kill -9 命令强杀 FastDFS 进程，否则可能会导致 binlog 数据丢失
七、java客户端操作
官方的客户端在：
https://sourceforge.net/projects/fastdfs/
具体使用见fdfs-java-client-demo，maven引入，然后修改fdfs_client.conf的跟踪服务器地址配置。
执行FastDFSTest的main即可上传、下载、删除文件。
服务器做集群首先需要解决session共享和文件共享的问题，fastdfs就是解决文件共享的。
集群
最下层的storage上安装nginx是为了解决资源同步延迟的问题
tracker上的nginx是为了实现storage节点的负载均衡，请求到tracker节点，然后根据请求路径中的group名字找到组，再根据一个组中所有storage的负载情况选择目标服务器。
最上层VIP是Keepalived+Nginx的虚拟IP，目的是对外提供一个统一的访问路径。
服务器规划：
这里用
192.168.128.130、192.168.128.131做tracker，
192.168.128.132、192.168.128.133、192.168.128.134、192.168.128.135做storage
其中132、133在group1,
134、135在group2
136、137做keepalived代理服务器
storage节点的集群配置
安装
6台服务器安装依赖包、libfastcommon等，同第一个步骤一样
tracker配置
2台跟踪器配置同第二个步骤一样。
storage配置
4台存储器配置类似第三个步骤，
配置文件：
vim /etc/fdfs/storage.conf
修改的内容如下:
disabled=false #启用配置文件
group_name=group1 #组名（第一组为 group1，第二组为 group2）
port=23000 #storage 的端口号,同一个组的 storage 端口号必须相同
base_path=/fastdfs/storage #设置 storage 的日志目录
store_path0=/fastdfs/storage #存储路径
store_path_count=1 #存储路径个数，需要和 store_path 个数匹配
tracker_server=192.168.128.130:22122 #tracker 服务器的 IP 地址和端口
tracker_server=192.168.128.131:22122 #多个 tracker 直接添加多条配置
http.server_port=8888 #设置 http 端口号
区别只是多配了一个tracker_server
启动
启动方式完全一样，先启动tracker，后启动storage
启动完成后在任一storage节点上执行
/usr/bin/fdfs_monitor /etc/fdfs/storage.conf
可查看存储集群节点状态，ACTIVE表示启用的。
上传文件测试
同上面第四步，只是配置两个tracker
vim /etc/fdfs/client.conf
base_path=/fastdfs/tracker
tracker_server=192.168.128.130:22122
tracker_server=192.168.128.131:22122
执行
/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/src/FastDFS_v5.05.tar.gz
即可上传文件，得到返回文件路径
group2/M00/00/00/wKiAh1hZ9tuAcC5iAAVFOL7FJU4.tar.gz
存储节点上安装nginx
同上面第五步骤，只是5.4配置有差异：
cp /usr/local/src/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/
vim /etc/fdfs/mod_fastdfs.conf
connect_timeout=10
base_path=/tmp
tracker_server=192.168.128.130:22122
tracker_server=192.168.128.131:22122
storage_server_port=23000
group_name=group1 #第二组配group2
url_have_group_name = true
store_path0=/fastdfs/storage
group_count = 2
[group1]
group_name=group1
storage_server_port=23000
store_path_count=1
store_path0=/fastdfs/storage
[group2]
group_name=group2
storage_server_port=23000
store_path_count=1
store_path0=/fastdfs/storage
group1和group2的storage服务器配置只有group_name不一样
nginx配置：
vim /usr/local/nginx/conf/nginx.conf
user root;
worker_processes 1;
events {
worker_connections 1024;
}
http {
include mime.types;
default_type application/octet-stream;
sendfile on;
keepalive_timeout 65;
server {
listen 8888;
server_name localhost;
location ~/group([0-9])/M00 {
#alias /fastdfs/storage/data;
ngx_fastdfs_module;
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
}
注意、说明：
A、8888 端口值是要与/etc/fdfs/storage.conf 中的 http.server_port=8888 相对应，
因为 http.server_port 默认为 8888,如果想改成 80，则要对应修改过来。
B、Storage 对应有多个 group 的情况下，访问路径带 group 名，如/group1/M00/00/00/xxx，
对应的 Nginx 配置为：
location ~/group([0-9])/M00 {
ngx_fastdfs_module;
}
C、如查下载时如发现老报 404，将 nginx.conf 第一行 user nobody 修改为 user root 后重新启动。
浏览器访问(将文件名替换为上传时返回的)
http://192.168.128.134:8888/group2/M00/00/00/wKiAh1hZ9tuAcC5iAAVFOL7FJU4.tar.gz
或者
http://192.168.128.135:8888/group2/M00/00/00/wKiAh1hZ9tuAcC5iAAVFOL7FJU4.tar.gz
tracker节点的集群配置
1、2台跟踪节点安装nginx
yum -y install gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl openssl-devel
2、ngx_cache_purge-2.3.tar.gz放到/usr/local/src，解压
cd /usr/local/src/
tar -zxvf ngx_cache_purge-2.3.tar.gz
3、nginx-1.6.2.tar.gz放到/usr/local/src，编译安装
cd /usr/local/src/
tar -zxvf nginx-1.6.2.tar.gz
cd nginx-1.6.2
./configure --prefix=/usr/local/nginx --add-module=/usr/local/src/ngx_cache_purge-2.3
make && make install
4、配置nginx
vim /usr/local/nginx/conf/nginx.conf
user root;
worker_processes 1;
#error_log logs/error.log;
#error_log logs/error.log notice;
#error_log logs/error.log info;
#pid logs/nginx.pid;
events {
worker_connections 1024;
use epoll;
}
http {
include mime.types;
default_type application/octet-stream;
#log_format main '$remote_addr - $remote_user [$time_local] "$request" '
# '$status $body_bytes_sent "$http_referer" '
# '"$http_user_agent" "$http_x_forwarded_for"';
#access_log logs/access.log main;
sendfile on;
tcp_nopush on;
#keepalive_timeout 0;
keepalive_timeout 65;
#gzip on;
#设置缓存
server_names_hash_bucket_size 128;
client_header_buffer_size 32k;
large_client_header_buffers 4 32k;
client_max_body_size 300m;
proxy_redirect off;
proxy_set_header Host $http_host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_connect_timeout 90;
proxy_send_timeout 90;
proxy_read_timeout 90;
proxy_buffer_size 16k;
proxy_buffers 4 64k;
proxy_busy_buffers_size 128k;
proxy_temp_file_write_size 128k;
#设置缓存存储路径、存储方式、分配内存大小、磁盘最大空间、缓存期限
proxy_cache_path /fastdfs/cache/nginx/proxy_cache levels=1:2
keys_zone=http-cache:200m max_size=1g inactive=30d;
proxy_temp_path /fastdfs/cache/nginx/proxy_cache/tmp;
#设置 group1 的服务器
upstream fdfs_group1 {
server 192.168.128.132:8888 weight=1 max_fails=2 fail_timeout=30s;
server 192.168.128.133:8888 weight=1 max_fails=2 fail_timeout=30s;
}
#设置 group2 的服务器
upstream fdfs_group2 {
server 192.168.128.134:8888 weight=1 max_fails=2 fail_timeout=30s;
server 192.168.128.135:8888 weight=1 max_fails=2 fail_timeout=30s;
}
server {
listen 8000;
server_name localhost;
#charset koi8-r;
#access_log logs/host.access.log main;
#设置 group 的负载均衡参数
location /group1/M00 {
proxy_next_upstream http_502 http_504 error timeout invalid_header;
proxy_cache http-cache;
proxy_cache_valid 200 304 12h;
proxy_cache_key $uri$is_args$args;
proxy_pass http://fdfs_group1;
expires 30d;
}
location /group2/M00 {
proxy_next_upstream http_502 http_504 error timeout invalid_header;
proxy_cache http-cache;
proxy_cache_valid 200 304 12h;
proxy_cache_key $uri$is_args$args;
proxy_pass http://fdfs_group2;
expires 30d;
}
#设置清除缓存的访问权限
location ~/purge(/.*) {
allow 127.0.0.1;
allow 192.168.1.0/24;
deny all;
proxy_cache_purge http-cache $1$is_args$args;
}
#error_page 404 /404.html;
# redirect server error pages to the static page /50x.html
#
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
}
5、创建对应缓存目录
mkdir -p /fastdfs/cache/nginx/proxy_cache
mkdir -p /fastdfs/cache/nginx/proxy_cache/tmp
6、防火墙开端口
vi /etc/sysconfig/iptables
## Nginx
-A INPUT -m state --state NEW -m tcp -p tcp --dport 8000 -j ACCEPT
service iptables restart
7、启动nginx
/usr/local/nginx/sbin/nginx
8、测试访问
以前通过存储节点访问的文件，如：
http://192.168.128.134:8888/group2/M00/00/00/wKiAh1hZ9tuAcC5iAAVFOL7FJU4.tar.gz
现在可以通过tracker节点访问：
http://192.168.128.130:8000/group2/M00/00/00/wKiAh1hZ9tuAcC5iAAVFOL7FJU4.tar.gz
或者
http://192.168.128.131:8000/group2/M00/00/00/wKiAh1hZ9tuAcC5iAAVFOL7FJU4.tar.gz
并且tracker会根据负载情况自动选择134或者135，实现负载均衡。
keepalived代理服务器集群配置
1、按照《Keepalived+Nginx实现负载均衡.rtf》配置方式在136、137上配置，并测试通过。
2、修改136和137的nginx配置，将代理服务器上的请求映射到tracker节点上，并实现tracker节点的负载均衡。
vim /usr/local/nginx/conf/nginx.conf
user root;
worker_processes 1;
#error_log logs/error.log;
#error_log logs/error.log notice;
#error_log logs/error.log info;
#pid logs/nginx.pid;
events {
worker_connections 1024;
}
http {
include mime.types;
default_type application/octet-stream;
#log_format main '$remote_addr - $remote_user [$time_local] "$request" '
# '$status $body_bytes_sent "$http_referer" '
# '"$http_user_agent" "$http_x_forwarded_for"';
#access_log logs/access.log main;
sendfile on;
#tcp_nopush on;
#keepalive_timeout 0;
keepalive_timeout 65;
#gzip on;
## FastDFS Tracker Proxy
upstream fastdfs_tracker {
server 192.168.128.130:8000 weight=1 max_fails=2 fail_timeout=30s;
server 192.168.128.131:8000 weight=1 max_fails=2 fail_timeout=30s;
}
server {
listen 88;
server_name localhost;
#charset koi8-r;
#access_log logs/host.access.log main;
location / {
root html;
index index.html index.htm;
}
#error_page 404 /404.html;
# redirect server error pages to the static page /50x.html
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
## FastDFS Proxy
location /dfs {
root html;
index index.html index.htm;
proxy_pass http://fastdfs_tracker/;
proxy_set_header Host $http_host;
proxy_set_header Cookie $http_cookie;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
client_max_body_size 300m;
}
}
}
3、重启代理服务器的nginx
/usr/local/nginx/sbin/nginx -s reload
4、测试访问文件(对外统一了地址)
http://192.168.128.199:88/group2/M00/00/00/wKiAh1hZ9tuAcC5iAAVFOL7FJU4.tar.gz
测试直接使用代理服务器的ip也可以访问
http://192.168.128.136:88/dfs/group2/M00/00/00/wKiAh1hZ9tuAcC5iAAVFOL7FJU4.tar.gz
http://192.168.128.137:88/dfs/group2/M00/00/00/wKiAh1hZ9tuAcC5iAAVFOL7FJU4.tar.gz
浙公网安备 33010602011771号