20183122 综合实验《Python程序设计》实验报告

学号 2019-2020-2 《Python程序设计》实验四报告

课程:《Python程序设计》
班级: 1831
姓名: 陈介
学号:20183122
实验教师:王志强
实验日期:2020年6月7日
必修/选修: 公选课

1.实验内容

1) 爬取豆瓣院线电影信息,编写GUI用户图形界面展示信息

2) 添加文件操作内容以及网络编程,使结果可写入文件也可从文件读出之前的结果,也能上传至服务器

2. 实验过程及结果

1) 编写爬虫从豆瓣主页爬取相关信息并使用BeautifulSoup解析,剥离出有用的数据

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                  'Chrome/83.0.4103.61 Safari/537.36'
}
re = requests.get(url, headers=headers)
soup = BeautifulSoup(re.text, 'html.parser')
# 信息存储在li标签下的list-item类下
movies = soup.findAll('li', {'class': 'list-item'})    
# 数据处理过程较为冗长,请移步码云查看 

2) 编写可视化图形界面

首先建立GUI框架

def Win_build():
    app = QApplication(sys.argv)
    frame = Frame()
    frame.init_text()
    frame.show()
    sys.exit(app.exec_())

其中Frame是一个自定义的继承自QMainWindow的类;
接着在自定义类中创建一系列的函数,其中需要初始显示的控件可以放在__init__函数下自动执行;

class Frame(QMainWindow):
    def __init__(self):
        super().__init__()
        self.init_MainWin()
        self.setFixedSize(self.width(), self.height())
        self.init_buttons()

再逐步绑定各种信号和槽,使界面完善。

3) 将信息展示添加到图形化界面中

我使用的方法是定义全局变量,用列表嵌套字典的方式存储处理过后的信息,在自定义类中使用的时候就不用考虑参数的传递问题;

def init_text(self, string=' '):
    """
    这个函数更新在文本框中显示的内容,同时限定此文本框为只读模式,不允许用户修改查询到的地方
    :param string: 想在文本框中显示的内容
    :return: None
    """
    mo_text = QTextEdit(self)
    mo_text.setFont(QFont("fangsong", 12))
    mo_text.clear()
    mo_text.setPlainText(string)
    mo_text.setToolTip("这个文本框显示了爬虫爬取的即将上映或正在上映的电影信息")
    mo_text.setGeometry(100, 100, 800, 450)
    mo_text.setReadOnly(True)
    mo_text.show()

其中string为存储电影信息的字符串,设定默认值是为了防止用户未爬取就查询时由于内容为空会报错。

4) 添加文件操作,可写入数据,保存海报,读出之前数据

打开文件并将数据写入文件

def openfile(self):
    """
    选择并打开文件,将爬取到的结果写入文件
    :return: None
    """
    global string
    filename = QFileDialog.getOpenFileName(self, '打开文件', './', "txt(*.txt)")
    if filename[0]:
        with open(filename[0], 'w', encoding="utf-8") as f:
            f.write(string)
    QMessageBox.information(self, "提示", "院线电影信息成功写入指定文件>_<")

打开.txt类型的文件并将文本提取出来显示到GUI界面中

def readfile(self):
    """
    让用户选择并打开.txt文件并将其内容显示到文本栏中
    :return: None
    """
    filename = QFileDialog.getOpenFileName(self, '打开文件', './', "txt(*.txt)")
    if filename[0]:
        with open(filename[0], 'r', encoding='utf-8') as f:
            read_info = f.read()
    detail_text = QTextEdit(self)
    detail_text.setGeometry(950, 200, 600, 500)
    detail_text.setToolTip("这个文本框显示了读取到的文件的内容")
    detail_text.setReadOnly(False)
    detail_text.show()
    detail_text.setText(read_info)

查看电影海报时会先将海报缓存到本地文件中,再从本地读取,设定不同颜色的边框区分不同类型的电影

def show_picture_up(self):
    """
    展示即将上映的电影的海报
    :return: None
    """
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                      'Chrome/83.0.4103.97 Safari/537.36 Edg/83.0.478.45 '
    }
    try:
        res = requests.get(list_show_up[up_index]['img'], headers=headers)
        root = "F://python全栈//python程序设计大实验//"
        path = root + '1.jpg'
        if not os.path.exists(root):
            os.mkdir(root)
        with open(path, 'wb') as f:
            f.write(res.content)
            f.close()
    except:
        QMessageBox.information(self, "提示", "海报资源请求错误")
    pix = QPixmap('1.jpg')
    picture_lab = QLabel(self)
    picture_lab.setGeometry(950, 400, 600, 300)
    picture_lab.setPixmap(pix)
    picture_lab.setStyleSheet("border: 2px solid red")
    picture_lab.setScaledContents(True)
    picture_lab.show()

5) 网络编程,可将数据上传到运行服务器端的主机上

调用自定义函数上传数据,反馈上传结果到GUI界面中

def ftp_push(self):
    """
    调用自定义模块上传文件
    :return:布尔值,上传成功为True,上传失败为False
    """
    bool1 = ftp.push(sys.argv)
    if bool1:
        QMessageBox.information(self, "提示", "文件上传成功")
    else:
        QMessageBox.information(self, "提示", "文件上传失败")

6) 临时起意,添加了文本文件的编辑和保存功能,在程序中实现了记事本的功能,不仅局限于电影信息,可处理任何.txt文件

实验结果:

3. 实验过程中遇到的问题和解决过程

  • 问题1:豆瓣反爬
  • 问题1解决方案:添加头部伪装为浏览器,豆瓣的电影搜索信息在网页源码中是可以看到的,但是爬取下来之后是没有的,需要一系列的解密过程,较为复杂,涉及加密css和js,于是我选择了加密较为简单的院线电影信息作为爬取对象。
  • 问题2:读文件的时候编码不正确
  • 问题2解决方案:打开文件的时候获取其编码方式,写入文件的时候指定编码方式
  • 问题3:自定义模块不能正常使用
  • 问题3解决方案:将自定义模块所在的文件夹改为sources root

4. 实验代码码云链接

码云链接:https://gitee.com/konelee/python_programming/blob/master/实验四:综合设计.py

其他(感悟、思考等)

本次实验总结

1) 此次实验涉及的知识点较多,就我的程序来说,涉及序列、文件操作、网络编程、GUI、模块、爬虫以及其它基础知识点,是对一学期以来对《Python程序设计》这门课程学习成果的检验,也用以查漏补缺;在实验过程中发现了一些问题,在解决这些问题的过程中收获颇丰;

2) 由于此次实验代码量较大,达到了500行,在代码的可读性更加需要注意,于是我清楚地标明了每个函数的功能以及接口方便查看,同时ctrl + f也是相当好用的。但养成良好的代码编写习惯有助于在函数相互调用时理清逻辑;

课程感想体会

1) 这学期都是网络授课,对于本课程,课下视频自学+课堂直播教学的效果显著,两种方式相互补充,学会了许多有用的技巧和知识,我自己也写了许多有用的小工具,处理excl表格、word文档,爬取图片等,非常实用,提高了工作和学习的效率;

2) 经过这学期的学习,我愈发地认识到Python的强大,相比于C语言对底层的重视,python帮助我们实现了许多底层的细节,比如字符串查找、拷贝、拼接,排序等,使得我们有更多的精力来关注功能的实现,Python也提供了丰富的第三方模块,用以实现丰富的扩展功,python简洁,实现同样的功能,代码量少。但python也有缺点,就是代码的执行效率较低,之前写文件加密程序的时候就体现了出来;对于一个10M的MP3文件,python采用DES加密需要三分钟左右,而用我上学期密码学课程上写的程序加密只需要不到一分钟。

建议

1) 老师在讲课的时候可以多运行程序展示结果,这样课堂会更生动,也能激发同学们的兴趣;

2) 感觉老师可以在网络编程之后讲讲多线程,可以有多样的组合方式;

最后,祝贺《Python程序设计》课完结撒花

posted @ 2020-06-08 18:32  konelee  阅读(728)  评论(0编辑  收藏