shell脚本实现文件的自动上传以及下载 scp sftp lftp 还有expect命令
转至：
最近需求要求定期从一个[定期更新的文件] 中解析员工信息 ,插入到数据库中.
按理来说很简单, 无非就是io流读文件,然后crud balalalala.....
其实不是的, 我我写的这个接口 ,要实现从远程服务器上获取文件然后入库操作 . . . 问题来了, 我怎么去读文件.
这样就用到了linux的命令了 ,大致来说 , 从远程服务器上获取文件有好几种方式 , scp快速获取 sftp建立ssh连接 ,lftp连接 好像还有个rsync什么的,这个没记住 ....
大致命令为
下载: 如果(-p端口号不好使 就替换成 -oPort=端口号)
scp -p端口号 远程服务器用户@远程服务器ip:文件路径 本地存放路径
例子: scp -p22 root@10.10.10.168:/usr/wang.txt /usr/wang.txt 这个好像不能scp的时候改名字
sftp -p端口号 远程服务器用户@远程服务器ip 建立连接之后:
get 要下载的文件路径+文件名 本地存储路径
put 本地存储路径 要上传的文件路径+文件名
quit 或者exit 可以退出ssh连接
例子 懒得写了, 直接截屏吧
lftp 这个我是和sftp 同时用的 有一个好处可以免登陆的:
现在上图:.......
码的公司服务器好像断了 (掀桌!), 算了不截屏了 , 老老实实码字吧.. . . . . . .
这个是点击之后 , 就会进入
这个时候 cd 远程服务器目录 这个命令就是进入远程服务器的目录
lcd 本地存放目录 这个额命令就是进入本地需要存放的目录
get 需要下载文件名
put 需要上传的文件名
quit或者 exit 退出
其实我要说的命令直接百度就能搜到 , 接下来就是实现自动上传或下载了 ,大致有三种 , 我实现了有两种 , 看这个大神的
第一种:使用lftp+sftp 命令
第二种:使用expect 命令
第三种:配置免密 看这个写得很清楚点击打开链接 大致就是使用- keygen 生成密钥，将公钥交给远程服务器以配置免登录
注意：你用那个用户获取的密钥，你就要cd到那个用户的cd /用户名/.ssh/公钥文件 下， 我就是用admin用户获取到 ，但是发现进不去/root/.ssh/ 目录下 ， 大概我是个接触脚本两天的小白把 ，maybe。。。。
第一种:
<strong>#!/usr/bin/bash // 这个头部很重要</strong> trandt=`date +%Y%m%d` lastdt=`date -d "$trandt -2 day " +%Y%m%d` var1=dim_user_ var2=.txt #文件名 filename=${var1}${lastdt}${var2} //需求上说的是文件名跟日期变动的,所以我的文件名这么写 ,可以写死的! USER=wodemingzi #密码 PASSWORD=wodemima #下载文件目录 #LOCAL=/usr/local/src/ //文件admin没有读写权限 LOCAL=/home/admin/ //尽量放在这个目录下吧 有的应用没有其他文件夹的读写权限 #FTP目录(待下载文件目录) REMOTE=/jd_tfm_file/ #银联IP IP=10.10.10.168 #端口 PORT=2374 lftp -u ${USER},${PASSWORD} sftp://${IP}:${PORT}<<EOF cd ${REMOTE} lcd ${LOCAL} #需要下载的文件 get ${filename} EOF
这个脚本其实不算难 , 但是实现的时候非常的艰难 , 首先是脚本不能执行的问题 , 需要注意的地方我加粗了 这个文件的名字为lftp.sh
是个shell脚本文件, 需要 是sh lftp.sh 来运行的 .
其次就是文件不能执行的问题:
文件权限需要用 chmod 777 脚本文件.sh 获取权限
+++++++++++++++++++++++++++今天先写到这, 明天再写吧++++++++++++++++++++++++++++++++
继续写：
文件获取权限之后 ，使用sh lftp.sh就可以执行了
但是有一个问题， 看贴图吧
我使用cat命令，把脚本粘贴到命令行执行，
wht？！！！没有报告任何错误 ， 直接就把远程服务器文件get到了我本地指定目录里面。
错误.jpg
假装这里有图，
发现执行到， 
总之全他么的不好使 ，最后本人媳妇（大神）告诉我 ,你这个文件的声明不对吧,,,shell脚本声明头应该是这样的
#!/usr/bin/bash看到我之前发的截图吗 , 头部明显不太对 , 好吧, 然后我就改了 ,然后继续用
sh wang.sh 发现还是不好使 ; 报的错不粘出来了 , 这次是真的没办法了, 我就放弃了一段时间 ,然后干别的去了......
=======n小时后, 我又开始验证这段脚本 了, 不好使 , 不知道怎么回事,我进入了这个大神的博客 , 我其实不想验证的,因为我一开始就害怕脚本是dos格式的 ,我就全删了,然后在linux中手打了一遍的......
反正闲的蛋疼, 我就用
vi wang.sh 按Esc , 输入 冒号 ff见下面
: set ff ===>>> 得到的他么的竟然是 'dos' , !!!!!!!!!!!这回真的是伤了先弄好了吧 , 输入 冒号 set ff=unix
: set ff=unix ,==>>>>再输入 :set ff 发现就变成 unix 了 . 好这次我继续敲:
sh wang.sh ; ^_^,终于成功了!!!!第一种方式完成!!!!!
总结: 脚本
第一要先验证脚本格式是什么类型的,是dos 还是unix 的 ,这个很重要 链接在这里
https://blog.csdn.net/chengxuyuanyonghu/article/details/47340123
第二,一定要注意头部一定要正确, 确保你的命令在linux中已经安装了
第三,确保你的脚本文件时一个可执行的文件 , 不可执行,使用 chmod 777 文件名 获取权限
第四:这个我最后遇到了, 不过懒得再复述了. , 在你的脚本中设置 本地存放路径(lcd 路径) 的时候 ,一定要确保你的当前用户(不管是root还是 admin还是其他) 是拥有这个目录的读写权限的,这个存放目录建议就放在/home/用户名/ 这个目录下最靠谱.
第五: 没了.(对了,就算做到了这些, 也要确保远程服务器和本地服务器的连通性 ,先使用单行命令,是不是能连通 ,然后再去测脚本)
============================o(╥﹏╥)o=============================
第二种方式: 使用expect 命令的方式 ,
很不幸, 我的这个不好使 , 一直报告找不到
spawn not found 我确实安装了 expect 命令
贴一下代码吧
直接用scp -p22 root@10.10.10.153:/export/123.txt /home/root/123.txt 可以拉取到我本地
用 sftp -oPort(同一公司内服务器用-p就行)=22 root@10.10.10.153 , 可以直接连接上 不需要输入密码了;
然后 cd /export/ ===>>>到远程目录下
cd /home/root/ ===>>>到本地目录下
get 文件名 ===>>>妥妥的复制过来了(put也一样)
lftp 上面写过了.
把java代码也粘一下.(目前还不想使用github,因为比较菜 ,不想过多把精力放在这上面 ,文章也懒得排版,想到哪就写到哪了.....有问题加我球球号952288306 交流)
执行脚本的java代码:
import java.io.*; /** * * @author * 执行脚本的工具类 */ public class JavaLinuxManager { public String Linuxscp(String img,String encode){ String msg = null; try { Process ps = Runtime.getRuntime().exec(img); ps.waitFor(); msg = loadStream(ps.getErrorStream(),encode); System.err.print(msg); ps.destroy(); } catch (Exception e) { e.printStackTrace(); } return msg; } static String loadStream(InputStream in,String encode) throws IOException { //把所有的数据读取到这个字节当中 byte[] b = new byte[1024]; //声明一个int存储每次读取到的数据 int i = 0; //定义一个记录索引的变量 int index = 0; //循环读取每个数据 while((i=in.read())!=-1) {//把读取的数据放到i中 b[index] = (byte) i; index++; } return new String(b,encode==null?"utf-8":"gbk"); } // public static void main(String[] args) throws Exception { // File file = new File("d:a.txt"); // FileInputStream fileIn = new FileInputStream(file); // String s = loadStream(fileIn, FileUtils.encoded(file)); // System.out.println(s); // } }
controller很简单, 就是 不少注解是swagger的 可以忽略 ,主要看加粗的部分
@ApiOperation(value = "執行java脚本") @RequestMapping(value = "/runtime/img", produces = "application/json;charset=utf-8") public RespData<Map<String, Object>> img( @ApiParam(value = "平台ID", required = true) @RequestParam("platformId") Long platformId, @ApiParam(value = "脚本或者文件路径(chmod 777 ./WEB-INF/shs/sftp.sh)", required = true) @RequestParam("img") String img, HttpServletRequest request, @ApiParam(value = "验证码", required=true) @RequestParam(value = "authcode",required = true)String authcode) { try { // chmod 777 ./WEB-INF/shs/sftp.sh if ("XXX一个验证码省得别人恶意拼接XXXXX".equals(authcode)){ JavaLinuxManager unix = new JavaLinuxManager(); String linuxscp = unix.Linuxscp(img, null); Map<String,Object> map = new HashMap<>(); map.put("msg",linuxscp); return RespData.success(map); }else { return RespData.error("0000","验证码失败!!!"); } } catch (Exception e) { LOG.error("执行异常!", e); e.printStackTrace(); } return RespData.error("0000", "执行异常"); }
附一个文件工具类:
import java.io.BufferedReader; import java.io.File; import java.io.FileInputStream; import java.io.IOException; import java.io.InputStream; import java.io.InputStreamReader; import java.util.ArrayList; import java.util.List; import org.slf4j.Logger; /** * 读取文本工具类 * @author * */ public class FileUtils { private static final Logger LOG = org.slf4j.LoggerFactory.getLogger(FileUtils.class); /** * 判断文件是否存在 不存在创建空文件 * @param file * @return * @throws IOException */ public static boolean isExistFile(File file) throws IOException { // 判断是否存在 if (file.exists()) { // 判读是否是一个文件 return file.isFile(); } else if (file.length() == 0) { LOG.info("文件内容为空"); } else { LOG.info("文件不存在!"); } return false; } /** * 判断文件的编码方式 * @param file * @return * @throws IOException */ public static String encoded(File file) throws IOException{ InputStream in = new FileInputStream(file); byte[] b = new byte[3]; in.read(b); in.close(); if (b[0]==-17&&b[1]==-69&&b[2]==-65) { // 一般来说,utf-8 的前三个字符为上述三个 LOG.info("文件utf-8编码!"); return "utf-8"; }else{ LOG.info("文件gbk编码!"); return "gbk"; } } /** * 读取txt文件 返回Sting * @param path * @return * @throws IOException */ public static String readTXTFile(String path) throws IOException { File file = new File(path); boolean existFile = isExistFile(file); if (existFile) { LOG.info("文件存在且内容非空!"); String charset = encoded(file); InputStreamReader reader = new InputStreamReader(new FileInputStream(file), charset); BufferedReader bf = new BufferedReader(reader); StringBuffer sb = new StringBuffer(); String text = ""; while ((text = bf.readLine()) != null) { sb.append(text); sb.append(";"); //sb.append("\r\n"); } String sbNew = sb.substring(0, sb.length() - 1); reader.close(); bf.close(); return sbNew; } return ""; } }
