fastDFS storage 参数配置详解

fastDFS storage 参数配置详解

disabled

disabled=false,这个配置文件是否不生效

group_name

group_name=group1 ,指定 此 storage server 所在 组(卷)

bind_addr

bind_addr= ,后面为绑定的IP地址 (常用于服务器有多个IP但只希望一个IP提供服务)。如果不填则表示所有的(一般不填就OK)

client_bind

client_bind=true ,bind_addr通常是针对server的。当指定bind_addr时,本参数才有效。

本storage server作为client连接其他服务器(如tracker server、其他storage server),是否绑定bind_addr。

port

port=23000 ,storage server服务端口

connect_timeout

connect_timeout=30 ,连接超时时间,针对socket套接字函数connect

network_timeout

network_timeout=60 ,tracker server的网络超时,单位为秒。发送或接收数据时,如果在超时时间后还不能发送或接收数据,则本次网络通信失败。

heart_beat_interval

heart_beat_interval=30 ,心跳间隔时间,单位为秒 (这里是指主动向tracker server 发送心跳)

stat_report_interval

stat_report_interval=60 ,storage server向tracker server报告磁盘剩余空间的时间间隔,单位为秒。

base_path

base_path=/home/yuqing/fastdfs ,base_path 目录地址,根目录必须存在 子目录会自动生成 (注 :这里不是上传的文件存放的地址,之前是的,在某个版本后更改了)

max_connections

max_connections=256 ,系统提供服务时的最大连接数

work_threads

work_threads=4 ,工作线程数,通常设置为CPU数

buff_size

buff_size = 256KB ,设置队列结点的buffer大小。工作队列消耗的内存大小 = buff_size * max_connections,设置得大一些,系统整体性能会有所提升。
消耗的内存请不要超过系统物理内存大小。另外,对于32位系统,请注意使用到的内存不要超过3GB

disk_rw_direct

disk_rw_direct = false ,设置为true,表示不使用操作系统的文件内容缓冲特性。如果文件数量很多,且访问很分散,可以考虑将本参数设置为true

disk_rw_separated

disk_rw_separated = true ,磁盘IO读写是否分离,缺省是分离的。

disk_reader_threads

disk_reader_threads = 1 ,针对单个存储路径的读线程数,缺省值为1。

读写分离时,系统中的读线程数 = disk_reader_threads * store_path_count

读写混合时,系统中的读写线程数 = (disk_reader_threads + disk_writer_threads) * store_path_count

disk_writer_threads

disk_writer_threads = 1 ,针对单个存储路径的写线程数,缺省值为1。

读写分离时,系统中的写线程数 = disk_writer_threads * store_path_count

读写混合时,系统中的读写线程数 = (disk_reader_threads + disk_writer_threads) * store_path_count

sync_wait_msec

sync_wait_msec=200 ,同步文件时,如果从binlog中没有读到要同步的文件,休眠N毫秒后重新读取。0表示不休眠,立即再次尝试读取。

出于CPU消耗考虑,不建议设置为0。如何希望同步尽可能快一些,可以将本参数设置得小一些,比如设置为10ms

sync_interval

sync_interval=0 ,同步上一个文件后,再同步下一个文件的时间间隔,单位为毫秒,0表示不休眠,直接同步下一个文件。

sync_start_time & sync_end_time

sync_start_time=00:00 ,sync_end_time=23:59 ,允许系统同步的时间段 (默认是全天) 。一般用于避免高峰同步产生一些问题而设定。

write_mark_file_freq

write_mark_file_freq=500 ,同步完N个文件后,把storage的mark文件同步到磁盘,注:如果mark文件内容没有变化,则不会同步

store_path_count

store_path_count=1 ,存放文件时storage server支持多个路径(例如磁盘)。这里配置存放文件的基路径数目,通常只配一个目录。

store_path0

store_path0=/home/yuqing/fastdfs

store_path1=/home/yuqing/fastdfs2

逐一配置store_path个路径,索引号基于0。注意配置方法后面有0,1,2 ......,需要配置0到store_path - 1。

如果不配置base_path0,那边它就和base_path对应的路径一样。

subdir_count_per_path

subdir_count_per_path=256 ,FastDFS存储文件时,采用了两级目录。这里配置存放文件的目录个数 (系统的存储机制,大家看看文件存储的目录就知道了),

如果本参数只为N(如:256),那么storage server在初次运行时,会自动创建 N * N 个存放文件的子目录。

tracker_server

tracker_server=10.62.164.84:22122

tracker_server=10.62.245.170:22122

tracker_server 的列表 要写端口的哦,有多个tracker server时,每个tracker server写一行

log_level

log_level=info

  • emerg for emergency
  • alert
  • crit for critical
  • error
  • warn for warning
  • notice
  • info
  • debug

run_by_group

run_by_group= , ,操作系统运行FastDFS的用户组 (不填 就是当前用户组,哪个启动进程就是哪个)

run_by_user

run_by_user= ,操作系统运行FastDFS的用户 (不填 就是当前用户,哪个启动进程就是哪个)

allow_hosts

allow_hosts=* ,可以连接到此 storage server 的ip范围(对所有类型的连接都有影响,包括客户端,storage server)

 "*" means match all ip addresses, can use range like this: 10.0.1.[1-15,20] or
 host[01-08,20-25].domain.com, for example:
 allow_hosts=10.0.1.[1-15,20]
 allow_hosts=host[01-08,20-25].domain.com

file_distribute_path_mode

file_distribute_path_mode=0 ,文件在data目录下分散存储策略。

  • 0: 轮流存放,在一个目录下存储设置的文件数后(参数file_distribute_rotate_count中设置文件数),使用下一个目录进行存储。
  • 1: 随机存储,根据文件名对应的hash code来分散存储。

file_distribute_rotate_count

file_distribute_rotate_count=100 ,当上面的参数file_distribute_path_mode配置为0(轮流存放方式)时,本参数有效。

当一个目录下的文件存放的文件数达到本参数值时,后续上传的文件存储到下一个目录中。

fsync_after_written_bytes

fsync_after_written_bytes=0 ,当写入大文件时,每写入N个字节,调用一次系统函数fsync将内容强行同步到硬盘。0表示从不调用fsync 。

sync_log_buff_interval

sync_log_buff_interval=10 ,同步或刷新日志信息到硬盘的时间间隔,单位为秒。注意:storage server 的日志信息不是时时写硬盘的,而是先写内存。

sync_binlog_buff_interval

sync_binlog_buff_interval=60 ,同步binglog(更新操作日志)到硬盘的时间间隔,单位为秒。本参数会影响新上传文件同步延迟时间。

sync_stat_file_interval

sync_stat_file_interval=300 ,把storage的stat文件同步到磁盘的时间间隔,单位为秒。注:如果stat文件内容没有变化,不会进行同步

thread_stack_size

thread_stack_size=512KB ,线程栈的大小。FastDFS server端采用了线程方式。

对于V1.x,storage server线程栈不应小于512KB;对于V2.0,线程栈大于等于128KB即可。

线程栈越大,一个线程占用的系统资源就越多。

对于V1.x,如果要启动更多的线程(max_connections),可以适当降低本参数值。

upload_priority

upload_priority=10 ,本storage server作为源服务器,上传文件的优先级,可以为负数。值越小,优先级越高。这里就和 tracker.conf 中store_server= 2时的配置相对应了。

check_file_duplicate

check_file_duplicate=0 ,是否检测上传文件已经存在。如果已经存在,则不存在文件内容,建立一个符号链接以节省磁盘空间。
这个应用要配合FastDHT 使用,所以打开前要先安装FastDHT,1或yes 是检测,0或no 是不检测

file_signature_method

file_signature_method=hash , 文件去重时,文件内容的签名方式:

  • hash: 4个hash code
  • md5:MD5

key_namespace

key_namespace=FastDFS ,当上个参数设定为1 或 yes时 (true/on也是可以的) , 在FastDHT中的命名空间。

keep_alive

keep_alive=0 ,与FastDHT servers 的连接方式 (是否为持久连接) ,默认是0(短连接方式)。可以考虑使用长连接,这要看FastDHT server的连接数是否够用。

fashDHT 配置

可以通过 #include filename 方式来加载 FastDHT servers 的配置,装上FastDHT就知道该如何配置啦。check_file_duplicate=1 时才有用,不然系统会忽略

include /home/yuqing/fastdht/conf/fdht_servers.conf

use_access_log

use_access_log = false ,是否将文件操作记录到access log。

rotate_access_log

rotate_access_log = false , 是否定期轮转access log,目前仅支持一天轮转一次

access_log_rotate_time

access_log_rotate_time=00:00 ,access log定期轮转的时间点,只有当rotate_access_log设置为true时有效

rotate_error_log

rotate_error_log = false ,是否定期轮转error log,目前仅支持一天轮转一次

error_log_rotate_time

error_log_rotate_time=00:00 ,error log定期轮转的时间点,只有当rotate_error_log设置为true时有效

rotate_access_log_size

rotate_access_log_size = 0 , access log按文件大小轮转, 设置为0表示不按文件大小轮转,否则当access log达到该大小,就会轮转到新文件中

rotate_error_log_size

rotate_error_log_size = 0 ,error log按文件大小轮转,设置为0表示不按文件大小轮转,否则当error log达到该大小,就会轮转到新文件中

file_sync_skip_invalid_record

file_sync_skip_invalid_record=false ,文件同步的时候,是否忽略无效的binlog记录

http.disabled & http.server_port & http.trunk_size & http.domain_name

http.disabled=false

http.server_port=8888

http.trunk_size=256KB http.trunk_size表示读取文件内容的buffer大小(一次读取的文件内容大小),也就是回复给HTTP client的块大小。

http.domain_name=,storage server上web server域名,通常仅针对单独部署的web server。这样URL中就可以通过域名方式来访问storage server上的文件了,这个参数为空就是IP地址的方式。

use "#include" directive to include HTTP other settiongs

include http.conf

posted on 2018-02-09 12:33  大胡子爸爸  阅读(1468)  评论(0)    收藏  举报

导航