一些脚本

功能：目录下面有 batch.total.1453804488.01.dat  batch.total.1453804488.01.md5

　　　　　　　　 batch.total.1453804488.02.dat  batch.total.1453804488.02.md5

　　　　　　　　 batch.total.1453804488.01.dat  batch.total.1453804488.03.md5

　　　　　　　　 ...

　　　　　　　　 index.list.1453804488.dat  index.list.1453804488.md5

       文件；

其中index.list.1453804488.dat 是索引文件，里面就是所有batch开头文件名字

     batch.total.1453804488.01.dat  是数据文件

　　.md5 是校验文件，用文件大小校验

每五分钟定时产生 realtime.add.1453802333.dat ealtime.add.1453802333.01.md5 这样的文件，1453802333是时间戳

每天需要把realtime.add.1453802333.dat 写入 batch.total.1453804488.03.dat 文件，batch.total.1453804488.03.dat 达到一定大小就创建 batch.total.1453804488.04.dat文件

DIRLIST=($TOPIC_PATH_FROM $REPLY_PATH_FROM $USER_PATH_FROM)

for dir in ${DIRLIST[@]};do
	rm $dir/$RELLY_INDEX
	curfile=0
	for i in $(seq 20);do
		count=$i
		if [ "$i" -lt "10" ];then
			count=0$i
		fi
		if [ -f $dir/batch.total.$TIME.$count.dat ];then
			curfile=$count
			echo batch.total.$TIME.$curfile.dat >> $dir/index.list.$TIME.dat
		else 
			curfile=$count	
			break
		fi
	done
	ls -l $dir/index.list.$TIME.dat | cut -d ' ' -f 5 > $dir/index.list.$TIME.md5
	nowfile=$[ $curfile - 1 ]
	if [ "$curfile" -lt "10" ];then
		nowfile=0$nowfile
	fi
	file_size=`ls -l $dir/batch.total.$TIME.$nowfile.dat | cut -d ' ' -f 5`
	if [ "$file_size" -ge "20000" ];then #1202949134 - 1G
		nowfile=$[ $nowfile + 1 ]
		if [ "$curfile" -lt "10" ];then
			nowfile=0$nowfile
		fi
		touch $dir/batch.total.$TIME.$nowfile.dat
		echo batch.total.$TIME.$nowfile.dat >> $dir/index.list.$TIME.dat
		ls -l $dir/index.list.$TIME.dat | cut -d ' ' -f 5 > $dir/index.list.$TIME.md5
	fi
	cat $dir/$RELLY_LOG >> $dir/batch.total.$TIME.$nowfile.dat
	ls -l $dir/batch.total.$TIME.$nowfile.dat | cut -d ' ' -f 5 > $dir/batch.total.$TIME.$nowfile.md5
	rm $dir/$RELLY_LOG
	rm $dir/$RELLY_LOG_MD5
done

　　

 

scp 自动输入密码 pcp.sh

./pcp.sh $HOST $PORT $USR $PASSWORD ${TOPIC_PATH_FROM}/$LOG      $TOPIC_PATH

把上面这段写入脚本里面就可以了

#!/usr/bin/expect --

if { [llength $argv] < 6} { 

	puts "usage: $argv0 ip port user passwd filename destpath"  
	exit 1
}
set success 0

set maxRetry 1
for {set retryNum 0} {$retryNum<$maxRetry} {incr retryNum} {

    spawn /usr/local/bin/scp -r -P[lindex $argv 1] [lindex $argv 4] [lindex $argv 2]@[lindex $argv 0]:[lindex $argv 5]

    set timeout -1
    expect { 
        "password:" {    	
            send "[lindex $argv 3]\r"	
            set timeout -1
            expect eof
            set success 1
            break
        }

        "yes/no)?" {
            send "yes\r"
            expect "password:" {
                send "[lindex $argv 3]\r"
                set timeout -1
                expect eof
                set success 1
                break
            }
        }

        timeout {continue}

        eof {continue}
    }
}

if { $success==0 } {
    exit 1
}