一、背景

最近公司的一些自动化操作需要使用Python来实现FTP的上传和下载功能。因此参考网上的例子，撸了一段代码来实现了该功能，下面做个记录。

二、ftplib介绍

Python中默认安装的ftplib模块定义了FTP类，其中函数有限，可用来实现简单的ftp客户端，用于上传或下载文件。

Python 2.7系列官方文档： https://docs.python.org/2/library/ftplib.html
Python 3.5系列官方文档：https://docs.python.org/3.5/library/ftplib.html
Python 3.6系列官方文档：https://docs.python.org/3.6/library/ftplib.html

ftplib中的FTP 主要有以下这些方法
这里写图片描述

这里写图片描述

这些方法，可以参考源代码，也可以参考上面贴的官方文档来进行学习。

这里写图片描述

我们主要需要使用到的api有以下几个：

1、连接服务器：

ftp=FTP() #设置变量

ftp.connect(“IP”,”port”) #连接的ftp sever和端口

ftp.login(“user”,”password”)#连接的用户名，密码如果匿名登录则用空串代替即可

2、上传文件：

fp=open(‘E:/test.xlsx’,’rb’)

cmd=’STOR filepath/test.xlsx’

ftp.storbinary(cmd, fp)

storbinary是以二进制形式上传文件。
cmd: STOR命令，是FTP的一个命令，后面需要加上保存文件的路径及文件名
fp: 一个打开的文件对象，‘rb’,以二进制形式打开文件

3、下载文件：

ftp.nlst(path) #获取目录下的文件

file_handle=open(filename,”wb”).write #以写模式在本地打开文件

ftp.retrbinaly(“RETR filename.txt”,file_handle) #接收服务器上文件并写入本地文件

4、其他方法：

ftp.set_debuglevel(2) #打开调试级别2，显示详细信息

ftp.set_pasv(0) #0主动模式 1 #被动模式

print ftp.getwelcome() #打印出欢迎信息

ftp.cmd(“xxx/xxx”) #更改远程目录

ftp.set_debuglevel(0) #关闭调试模式

ftp.quit() #退出ftp

ftp.dir() #显示目录下文件信息

ftp.mkd(pathname) #新建远程目录

ftp.pwd() #返回当前所在位置

ftp.rmd(dirname) #删除远程目录

ftp.delete(filename) #删除远程文件

ftp.rename(fromname, toname) #将fromname修改名称为toname。

三、使用ftplib来实现FTP上传下载功能

参考官网以及互联网其他资源，撸了下面这份代码，作为一个FTP工具类

#!/usr/bin/python# -*- coding: UTF-8 -*-from ftplib import FTPimport osimport sysimport timeimport socketclass MyFTP:
    """
        ftp自动下载、自动上传脚本，可以递归目录操作
        作者：欧阳鹏
        博客地址：http://blog.csdn.net/ouyang_peng/article/details/79271113
    """

    def __init__(self, host, port=21):
        """ 初始化 FTP 客户端
        参数:
                 host:ip地址

                 port:端口号
        """
        # print("__init__()---> host = %s ,port = %s" % (host, port))

        self.host = host
        self.port = port
        self.ftp = FTP()        # 重新设置下编码方式
        self.ftp.encoding = 'gbk'
        self.log_file = open("log.txt", "a")
        self.file_list = []    def login(self, username, password):
        """ 初始化 FTP 客户端
            参数:
                  username: 用户名

                 password: 密码
            """
        try:
            timeout = 60
            socket.setdefaulttimeout(timeout)            # 0主动模式 1 #被动模式
            self.ftp.set_pasv(True)            # 打开调试级别2，显示详细信息
            # self.ftp.set_debuglevel(2)

            self.debug_print('开始尝试连接到 %s' % self.host)
            self.ftp.connect(self.host, self.port)
            self.debug_print('成功连接到 %s' % self.host)

            self.debug_print('开始尝试登录到 %s' % self.host)
            self.ftp.login(username, password)
            self.debug_print('成功登录到 %s' % self.host)

            self.debug_print(self.ftp.welcome)        except Exception as err:
            self.deal_error("FTP 连接或登录失败 ，错误描述为：%s" % err)            pass

    def is_same_size(self, local_file, remote_file):
        """判断远程文件和本地文件大小是否一致

           参数:
             local_file: 本地文件

             remote_file: 远程文件
        """
        try:
            remote_file_size = self.ftp.size(remote_file)        except Exception as err:            # self.debug_print("is_same_size() 错误描述为：%s" % err)
            remote_file_size = -1

        try:
            local_file_size = os.path.getsize(local_file)        except Exception as err:            # self.debug_print("is_same_size() 错误描述为：%s" % err)
            local_file_size = -1

        self.debug_print('local_file_size:%d  , remote_file_size:%d' % (local_file_size, remote_file_size))        if remote_file_size == local_file_size:            return 1
        else:            return 0

    def download_file(self, local_file, remote_file):
        """从ftp下载文件
            参数:
                local_file: 本地文件

                remote_file: 远程文件
        """
        self.debug_print("download_file()---> local_path = %s ,remote_path = %s" % (local_file, remote_file))        if self.is_same_size(local_file, remote_file):
            self.debug_print('%s 文件大小相同，无需下载' % local_file)            return
        else:            try:
                self.debug_print('>>>>>>>>>>>>下载文件 %s ... ...' % local_file)
                buf_size = 1024
                file_handler = open(local_file, 'wb')
                self.ftp.retrbinary('RETR %s' % remote_file, file_handler.write, buf_size)
                file_handler.close()            except Exception as err:
                self.debug_print('下载文件出错，出现异常：%s ' % err)                return

    def download_file_tree(self, local_path, remote_path):
        """从远程目录下载多个文件到本地目录
                       参数:
                         local_path: 本地路径

                         remote_path: 远程路径
                """
        print("download_file_tree()--->  local_path = %s ,remote_path = %s" % (local_path, remote_path))        try:
            self.ftp.cwd(remote_path)        except Exception as err:
            self.debug_print('远程目录%s不存在，继续...' % remote_path + " ,具体错误描述为：%s" % err)            return

        if not os.path.isdir(local_path):
            self.debug_print('本地目录%s不存在，先创建本地目录' % local_path)
            os.makedirs(local_path)

        self.debug_print('切换至目录: %s' % self.ftp.pwd())

        self.file_list = []        # 方法回调
        self.ftp.dir(self.get_file_list)

        remote_names = self.file_list
        self.debug_print('远程目录 列表: %s' % remote_names)        for item in remote_names:
            file_type = item[0]
            file_name = item[1]
            local = os.path.join(local_path, file_name)            if file_type == 'd':
                print("download_file_tree()---> 下载目录： %s" % file_name)
                self.download_file_tree(local, file_name)            elif file_type == '-':
                print("download_file()---> 下载文件： %s" % file_name)
                self.download_file(local, file_name)
            self.ftp.cwd("..")
            self.debug_print('返回上层目录 %s' % self.ftp.pwd())        return True

    def upload_file(self, local_file, remote_file):
        """从本地上传文件到ftp

           参数:
             local_path: 本地文件

             remote_path: 远程文件
        """
        if not os.path.isfile(local_file):
            self.debug_print('%s 不存在' % local_file)            return

        if self.is_same_size(local_file, remote_file):
            self.debug_print('跳过相等的文件: %s' % local_file)            return

        buf_size = 1024
        file_handler = open(local_file, 'rb')
        self.ftp.storbinary('STOR %s' % remote_file, file_handler, buf_size)
        file_handler.close()
        self.debug_print('上传: %s' % local_file + "成功!")    def upload_file_tree(self, local_path, remote_path):
        """从本地上传目录下多个文件到ftp
           参数:

             local_path: 本地路径

             remote_path: 远程路径
        """
        if not os.path.isdir(local_path):
            self.debug_print('本地目录 %s 不存在' % local_path)            return

        self.ftp.cwd(remote_path)
        self.debug_print('切换至远程目录: %s' % self.ftp.pwd())

        local_name_list = os.listdir(local_path)        for local_name in local_name_list:
            src = os.path.join(local_path, local_name)            if os.path.isdir(src):                try:
                    self.ftp.mkd(local_name)                except Exception as err:
                    self.debug_print("目录已存在 %s ,具体错误描述为：%s" % (local_name, err))
                self.debug_print("upload_file_tree()---> 上传目录： %s" % local_name)
                self.upload_file_tree(src, local_name)            else:
                self.debug_print("upload_file_tree()---> 上传文件： %s" % local_name)
                self.upload_file(src, local_name)
        self.ftp.cwd("..")    def close(self):
        """ 退出ftp
        """
        self.debug_print("close()---> FTP退出")
        self.ftp.quit()
        self.log_file.close()    def debug_print(self, s):
        """ 打印日志
        """
        self.write_log(s)    def deal_error(self, e):
        """ 处理错误异常
            参数：
                e：异常
        """
        log_str = '发生错误: %s' % e
        self.write_log(log_str)
        sys.exit()    def write_log(self, log_str):
        """ 记录日志
            参数：
                log_str：日志
        """
        time_now = time.localtime()
        date_now = time.strftime('%Y-%m-%d', time_now)
        format_log_str = "%s ---> %s \n " % (date_now, log_str)
        print(format_log_str)
        self.log_file.write(format_log_str)    def get_file_list(self, line):
        """ 获取文件列表
            参数：
                line：
        """
        file_arr = self.get_file_name(line)        # 去除  . 和  ..
        if file_arr[1] not in ['.', '..']:
            self.file_list.append(file_arr)    def get_file_name(self, line):
        """ 获取文件名
            参数：
                line：
        """
        pos = line.rfind(':')        while (line[pos] != ' '):
            pos += 1
        while (line[pos] == ' '):
            pos += 1
        file_arr = [line[0], line[pos:]]        return file_arrif __name__ == "__main__":
    my_ftp = MyFTP("172.28.180.117")
    my_ftp.login("ouyangpeng", "ouyangpeng")    # 下载单个文件
    my_ftp.download_file("G:/ftp_test/XTCLauncher.apk", "/App/AutoUpload/ouyangpeng/I12/Release/XTCLauncher.apk")    # 下载目录
    # my_ftp.download_file_tree("G:/ftp_test/", "App/AutoUpload/ouyangpeng/I12/")

    # 上传单个文件
    # my_ftp.upload_file("G:/ftp_test/Release/XTCLauncher.apk", "/App/AutoUpload/ouyangpeng/I12/Release/XTCLauncher.apk")

    # 上传目录
    # my_ftp.upload_file_tree("G:/ftp_test/", "/App/AutoUpload/ouyangpeng/I12/")

    my_ftp.close()

3.1 测试下载远程单个文件

我们将程序入口改为如下所示的代码，测试下下载单个文件

测试前的测试环境如下图所示：
这里写图片描述

if __name__ == "__main__":
    my_ftp = MyFTP("172.28.180.117")
    my_ftp.login("ouyangpeng", "ouyangpeng")    # 下载单个文件
    my_ftp.download_file("G:/ftp_test/XTCLauncher.apk", "/App/AutoUpload/ouyangpeng/I12/Release/XTCLauncher.apk")

    my_ftp.close()

运行结果为：

"C:\Code Python\JenkinsAPI\venv\Scripts\python.exe" "C:/Code Python/JenkinsAPI/ftptest.py"2018-02-06 ---> 开始尝试连接到 172.28.180.117 2018-02-06 ---> 成功连接到 172.28.180.117 2018-02-06 ---> 开始尝试登录到 172.28.180.117 2018-02-06 ---> 成功登录到 172.28.180.117 2018-02-06 ---> 220 (vsFTPd 2.3.5) 

2018-02-06 ---> download_file()---> local_path = G:/ftp_test/XTCLauncher.apk ,remote_path = /App/AutoUpload/ouyangpeng/I12/Release/XTCLauncher.apk 

2018-02-06 ---> local_file_size:-1  , remote_file_size:16749148 2018-02-06 ---> >>>>>>>>>>>>下载文件 G:/ftp_test/XTCLauncher.apk ... ... 2018-02-06 ---> close()---> FTP退出 


Process finished with exit code

这里写图片描述

刷新下目录，查看文件已经下载成功！
这里写图片描述

3.2 测试下载远程目录

我们将程序入口改为如下所示的代码，测试下载整个文件夹，运行之前的环境如下所示：

这里写图片描述

if __name__ == "__main__":
    my_ftp = MyFTP("172.28.180.117")
    my_ftp.login("ouyangpeng", "ouyangpeng")    # 下载目录
    my_ftp.download_file_tree("G:/ftp_test/", "App/AutoUpload/ouyangpeng/I12/")

    my_ftp.close()12345678

运行结果为：

"C:\Code Python\JenkinsAPI\venv\Scripts\python.exe" "C:/Code Python/JenkinsAPI/ftptest.py"2018-02-06 ---> 开始尝试连接到 172.28.180.117 2018-02-06 ---> 成功连接到 172.28.180.117 2018-02-06 ---> 开始尝试登录到 172.28.180.117 2018-02-06 ---> 成功登录到 172.28.180.117 2018-02-06 ---> 220 (vsFTPd 2.3.5) 

download_file_tree()--->  local_path = G:/ftp_test/ ,remote_path = App/AutoUpload/ouyangpeng/I12/2018-02-06 ---> 切换至目录: /App/AutoUpload/ouyangpeng/I12 

2018-02-06 ---> 远程目录 列表: [['d', 'Debug'], ['d', 'Release']] 

download_file_tree()---> 下载目录： Debug
download_file_tree()--->  local_path = G:/ftp_test/Debug ,remote_path = Debug2018-02-06 ---> 本地目录G:/ftp_test/Debug不存在，先创建本地目录 

2018-02-06 ---> 切换至目录: /App/AutoUpload/ouyangpeng/I12/Debug 

2018-02-06 ---> 远程目录 列表: [] 

2018-02-06 ---> 返回上层目录 /App/AutoUpload/ouyangpeng/I12 

download_file_tree()---> 下载目录： Release
download_file_tree()--->  local_path = G:/ftp_test/Release ,remote_path = Release2018-02-06 ---> 本地目录G:/ftp_test/Release不存在，先创建本地目录 

2018-02-06 ---> 切换至目录: /App/AutoUpload/ouyangpeng/I12/Release 

2018-02-06 ---> 远程目录 列表: [['-', 'XTCLauncher.apk']] 

download_file()---> 下载文件： XTCLauncher.apk2018-02-06 ---> download_file()---> local_path = G:/ftp_test/Release\XTCLauncher.apk ,remote_path = XTCLauncher.apk 

2018-02-06 ---> local_file_size:-1  , remote_file_size:16749148 2018-02-06 ---> >>>>>>>>>>>>下载文件 G:/ftp_test/Release\XTCLauncher.apk ... ... 

2018-02-06 ---> 返回上层目录 /App/AutoUpload/ouyangpeng/I12 

2018-02-06 ---> 返回上层目录 /App/AutoUpload/ouyangpeng 

2018-02-06 ---> close()---> FTP退出 


Process finished with exit code

这里写图片描述

目录下的文件也成功下载下来
这里写图片描述

3.3 测试上传单个文件到远程FTP服务器

我们将程序入口改为如下所示的代码，测试下载整个文件夹，运行之前的环境如下所示：

这里写图片描述

if __name__ == "__main__":
    my_ftp = MyFTP("172.28.180.117")
    my_ftp.login("ouyangpeng", "ouyangpeng")    # 上传单个文件
    my_ftp.upload_file("G:/ftp_test/Release/XTCLauncher.apk", "/App/AutoUpload/ouyangpeng/I12/Release/XTCLauncher.apk")

    my_ftp.close()

运行结果为：

"C:\Code Python\JenkinsAPI\venv\Scripts\python.exe" "C:/Code Python/JenkinsAPI/ftptest.py"2018-02-06 ---> 开始尝试连接到 172.28.180.117 2018-02-06 ---> 成功连接到 172.28.180.117 2018-02-06 ---> 开始尝试登录到 172.28.180.117 2018-02-06 ---> 成功登录到 172.28.180.117 2018-02-06 ---> 220 (vsFTPd 2.3.5) 2018-02-06 ---> local_file_size:16749148  , remote_file_size:-1 2018-02-06 ---> 上传: G:/ftp_test/Release/XTCLauncher.apk成功! 2018-02-06 ---> close()---> FTP退出 Process finished with exit code

这里写图片描述

刷新下界面，可以看到文件上传成功了！

这里写图片描述

3.4 测试上传文件夹到远程FTP服务器

我们将程序入口改为如下所示的代码，测试下载整个文件夹，运行之前的环境如下所示：

这里写图片描述

if __name__ == "__main__":
    my_ftp = MyFTP("172.28.180.117")
    my_ftp.login("ouyangpeng", "ouyangpeng")    # 上传目录
    my_ftp.upload_file_tree("G:/ftp_test/", "/App/AutoUpload/ouyangpeng/I12/")

    my_ftp.close()

运行结果为：

"C:\Code Python\JenkinsAPI\venv\Scripts\python.exe" "C:/Code Python/JenkinsAPI/ftptest.py"2018-02-06 ---> 开始尝试连接到 172.28.180.117 2018-02-06 ---> 成功连接到 172.28.180.117 2018-02-06 ---> 开始尝试登录到 172.28.180.117 2018-02-06 ---> 成功登录到 172.28.180.117 2018-02-06 ---> 220 (vsFTPd 2.3.5) 

2018-02-06 ---> 切换至远程目录: /App/AutoUpload/ouyangpeng/I12 2018-02-06 ---> 目录已存在 Debug ,具体错误描述为：550 Create directory operation failed. 

2018-02-06 ---> upload_file_tree()---> 上传目录： Debug 2018-02-06 ---> 切换至远程目录: /App/AutoUpload/ouyangpeng/I12/Debug 2018-02-06 ---> upload_file_tree()---> 上传目录： Release 2018-02-06 ---> 切换至远程目录: /App/AutoUpload/ouyangpeng/I12/Release 2018-02-06 ---> upload_file_tree()---> 上传文件： XTCLauncher.apk 2018-02-06 ---> local_file_size:16749148  , remote_file_size:-1 2018-02-06 ---> 上传: G:/ftp_test/Release\XTCLauncher.apk成功! 2018-02-06 ---> upload_file_tree()---> 上传文件： v1.jpg 2018-02-06 ---> local_file_size:203677  , remote_file_size:-1 2018-02-06 ---> 上传: G:/ftp_test/v1.jpg成功! 2018-02-06 ---> close()---> FTP退出 


Process finished with exit code

这里写图片描述

刷新下界面，可以看到文件上传成功了！

这里写图片描述

3.5 解决中文编码奔溃的问题

这里写图片描述
准备上传含有中文的文件到FTP服务器的时候，会奔溃，奔溃如下所示：

2018-02-06 ---> 切换至远程目录: /App/AutoUpload/ouyangpeng/I12 2018-02-06 ---> upload_file_tree()---> 上传目录： Debug 2018-02-06 ---> 切换至远程目录: /App/AutoUpload/ouyangpeng/I12/Debug 2018-02-06 ---> upload_file_tree()---> 上传文件： Python编程快速上手__让繁琐工作自动化.pdf 2018-02-06 ---> local_file_size:14773136  , remote_file_size:-1 Traceback (most recent call last):  File "C:/Code Python/JenkinsAPI/ftptest.py", line 277, in <module>
    my_ftp.upload_file_tree("G:/ftp_test/", "/App/AutoUpload/ouyangpeng/I12/")  File "C:/Code Python/JenkinsAPI/ftptest.py", line 203, in upload_file_tree
    self.upload_file(src, local_name)  File "C:/Code Python/JenkinsAPI/ftptest.py", line 172, in upload_file
    self.ftp.storbinary('STOR %s' % remote_file, file_handler, buf_size)  File "D:\Python\lib\ftplib.py", line 502, in storbinary    with self.transfercmd(cmd, rest) as conn:  File "D:\Python\lib\ftplib.py", line 397, in transfercmd    return self.ntransfercmd(cmd, rest)[0]  File "D:\Python\lib\ftplib.py", line 363, in ntransfercmd
    resp = self.sendcmd(cmd)  File "D:\Python\lib\ftplib.py", line 270, in sendcmd
    self.putcmd(cmd)  File "D:\Python\lib\ftplib.py", line 197, in putcmd
    self.putline(line)  File "D:\Python\lib\ftplib.py", line 192, in putline
    self.sock.sendall(line.encode(self.encoding))
UnicodeEncodeError: 'latin-1' codec can't encode characters in position 11-16: ordinal not in range(256)Process finished with exit code

这里写图片描述

提示我们

UnicodeEncodeError: 'latin-1' codec can't encode characters in position 11-16: ordinal not in range(256)

查看 Python ftplib模块，默认的编码就是 latin-1

这里写图片描述

我们将这个ftp的编码修改下即可上传成功。将MyFTP的 _init_ 方法修改下，设置下ftp的encoding为gbk即可

    def __init__(self, host, port=21):
        """ 初始化 FTP 客户端
        参数:
                 host:ip地址

                 port:端口号
        """
        # print("__init__()---> host = %s ,port = %s" % (host, port))

        self.host = host
        self.port = port
        self.ftp = FTP()        # 重新设置下编码方式
        self.ftp.encoding = 'gbk'

        self.log_file = open("log.txt", "a")
        self.file_list = []

增加一句 self.ftp.encoding = 'gbk',即可重新设置encoding了。

这里写图片描述

再次运行即可成功上传，如下图所示：

运行结果为：

"C:\Code Python\JenkinsAPI\venv\Scripts\python.exe" "C:/Code Python/JenkinsAPI/ftptest.py"2018-02-06 ---> 开始尝试连接到 172.28.180.117 2018-02-06 ---> 成功连接到 172.28.180.117 2018-02-06 ---> 开始尝试登录到 172.28.180.117 2018-02-06 ---> 成功登录到 172.28.180.117 2018-02-06 ---> 220 (vsFTPd 2.3.5) 

2018-02-06 ---> 切换至远程目录: /App/AutoUpload/ouyangpeng/I12 2018-02-06 ---> upload_file_tree()---> 上传目录： Debug 2018-02-06 ---> 切换至远程目录: /App/AutoUpload/ouyangpeng/I12/Debug 2018-02-06 ---> upload_file_tree()---> 上传文件： Python编程快速上手__让繁琐工作自动化.pdf 2018-02-06 ---> local_file_size:14773136  , remote_file_size:-1 2018-02-06 ---> 上传: G:/ftp_test/Python编程快速上手__让繁琐工作自动化.pdf成功! 2018-02-06 ---> upload_file_tree()---> 上传目录： Release 2018-02-06 ---> 切换至远程目录: /App/AutoUpload/ouyangpeng/I12/Release 2018-02-06 ---> upload_file_tree()---> 上传文件： XTCLauncher.apk 2018-02-06 ---> local_file_size:16749148  , remote_file_size:-1 2018-02-06 ---> 上传: G:/ftp_test/Release\XTCLauncher.apk成功! 2018-02-06 ---> upload_file_tree()---> 上传文件： v1.jpg 2018-02-06 ---> local_file_size:203677  , remote_file_size:-1 2018-02-06 ---> 上传: G:/ftp_test/v1.jpg成功! 2018-02-06 ---> upload_file_tree()---> 上传文件： XTCLauncher.apk 2018-02-06 ---> local_file_size:16749148  , remote_file_size:-1 2018-02-06 ---> 上传: G:/ftp_test/XTCLauncher.apk成功! 2018-02-06 ---> close()---> FTP退出 


Process finished with exit code

这里写图片描述