自动拷贝、上传数字报

# -*- encoding=utf-8 -*-
from ftplib import FTP
import os
import subprocess
import time
import datetime
from progressbar import ProgressBar
import logging


logging.basicConfig(level=logging.INFO,
                    format='%(asctime)s - %(name)s - %(levelname)s - %(message)s')
# logger = logging.getLogger(__name__)

ROOT = '/'

ftp = FTP()  # FTP对象
ftp.encoding = 'utf-8'  # 解决中文乱码问题


def connect():# 连接ftp
    try:
        ftp.connect("x.x.x.x", 21)  # ip/port
        logging.info('Connection ftp success')
    except Exception as e:
        logging.error('Connection ftp fail:{}'.format(e))


def login():
    try:
        ftp.login("xx", "xx")  # 连接的用户名，密码
        logging.info('Login ftp success')
    except Exception as e:
        logging.error('Login ftp fail:{}'.format(e))


def cwd_root():
    try:
        ftp.cwd('/')  # 切换到根目录
        logging.info('Cd ftp root success')
    except Exception as e:
        logging.error('Cd ftp root fail:{}'.format(e))


def cwd(path, relative=''):

    if relative.upper() == ROOT:
        cwd_root()
    try:
        ftp.cwd(path)  # 切换到任意目录
        logging.info('Cd ftp dir success:{}'.format(path))
        return True
    except Exception as e:
        logging.error('Cd ftp dir fail:{}'.format(e))
        return False


def pwd():
    current_dir = ''
    try:
        current_dir = ftp.pwd()  # 获取当前的目录
        logging.info('Get ftp current dir success:{}'.format(current_dir))
    except Exception as e:
        logging.error('Get ftp current dir fail:{}'.format(e))
    return current_dir


def close():
    try:
        ftp.close()  # 关闭
        logging.info('Close ftp success')
    except Exception as e:
        logging.error('Close ftp fail:{}'.format(e))


def create_folder(folder):
    folder = os.path.abspath(folder)
    if not os.path.exists(folder):
        try:
            os.makedirs(folder)
            logging.info('Create folder success:{}'.format(folder))
        except Exception as e:
            logging.error('Create folder fail:{}'.format(e))


def down_file(ftp_file, save_local_path):
    # print(save_local_path, 33333)
    success = False
    abs_path = os.path.abspath(save_local_path)
    # print(abs_path, 11)

    path = os.path.dirname(save_local_path)

    # print(path, 22)
    create_folder(path)
    try:
        with open(abs_path, 'wb') as f:
            ret = ftp.retrbinary('RETR ' + ftp_file, f.write)  # 下载文件
            # logging.info('Down ftp file return:{}'.format(ret))
            if ret.startswith('226'):
                logging.info(
                    'Down ftp file success, save to:{}'.format(abs_path))
                success = True
    except Exception as e:
        logging.error('Down ftp file fail:{}'.format(e))
        logging.error('Fail path:{}'.format(ftp_file))
        success = False
    return success


def get_dir_and_files(ftp_path):
    # 获取路径的文件夹和文件
    path_info = []
    folder = []
    files = []
    try:
        ftp.dir(ftp_path, path_info.append)
    except Exception as e:
        logging.error('Get ftp dir fail:{}'.format(e))
        logging.error('Fail path:{}'.format(ftp_path))

    for path in path_info:
        path = path.strip()
        filename = ftp_path + '/'+path.split(':')[1][3:]
        # print(filename)
        if path.startswith('-'):
            files.append(filename)
        elif path.startswith('d'):
            folder.append(filename)
        else:
            logging.error(
                'Can not tell whether it is a folder or a file:{}'.format(path))
    return folder, files


def down_folder(ftp_path, local_path):
    # 下载文件夹
    local_path = os.path.abspath(local_path)
    # print(localpath, 444)
    dirs, all_file = get_dir_and_files(ftp_path)
    for one_dir in dirs:
        down_folder(one_dir, local_path)
    for one_file in all_file:
        save_path = local_path + '/' + str(one_file).lstrip('/xxx')
        # print(save_path,55555555555)
        down_file(one_file, save_path)


flag = 0

connect()
login()
cwd('xxx')
localpath = 'D:\szbxml\src'
catalog = str(datetime.date.today())  # 当天日期为名称的目录 例 2021-7-12
result = cwd(catalog)
if result:
    directory = pwd()
    get_dir_and_files(directory)
    down_folder(directory, localpath)
    print('下载完成')
    flag = 1
else:
    print('未获取到今日文件夹！')


ftp.close()


if flag:
    os.chdir('C:\\Users\\Administrator\\Desktop\\upload\\paper')

    p = subprocess.Popen(
        'C:\\Users\\Administrator\\Desktop\\upload\\paper\\start.bat')

    time.sleep(300)
    p.kill()

　　 继爬取数字报后，又有一个新任务，每天早上来上传数字报:把当天文件从ftp服务器上拷到本地目录，运行上传程序，等待完成。整个过程其实非常简单，但是有点繁琐，而且受制于网络的原因，只能在办公室的机器上操作。每天就必须为了这个事情早去，实在是浪费。

　　有了之前爬虫的经验，python的操作捡回来一些。首先要解决ftp问题，了解到python有自己ftp包，又在网上搜了一下，有个博客写好了自己的ftp类，我借鉴了他的，但是换成了函数，我感觉我这个脚本用函数更适合。ftp的连接，切换目录，引入了logging模块，打印日志确实看着很清晰。最关键的是拷贝，首先利用datetime模块构造路径，可以顺利cd到当天文件夹。接着是下载，一开始以为ftp只能下载文件，文件夹是个问题。接着看到博主的遍历思路，精彩。最难的部分被攻克了，剩下就是在本地创建文件夹，这里按照原先的代码会在路径加上根目录，用strip去除一下就好。

　　完成了从ftp到本地文件夹的拷贝，大头。接着是运行bat脚本（java语言），一开始用的是os.system()，但是各种报错，什么不是内部命令，搞得重新下载了jdk和jre。这次报了“找不到或无法加载主类”，后来看了一些解答，加上了os.chdir()，切换到脚本所在目录，可以了。

　　到此程序就基本完成了所有功能，但是脚本打开后无法关闭，试了好几个办法都不行。后来用了subprocess.Popen()，开线程。讲道理应该是好一些，但还是解决不了问题，就这样吧，py代码部分就是这些。

　　最后是自动开机，网上的答案不靠谱呀，说是定时任务里添加 startup命令，第二天来没开机。后来去Bios设置里找到了定时开机，开机后定时执行py程序，一气呵成。早上可以晚点去了，同事都非常惊讶，电脑自动完成了上传。再次靠python大大简化了工作，yyds。

 

https://www.cnblogs.com/lyon2014/p/4565976.html

https://www.cnblogs.com/rainbow-tan/p/13998528.html