随笔分类 -  Python 技巧

摘要:国内镜像源 清华:https://pypi.tuna.tsinghua.edu.cn/simple 阿里云:http://mirrors.aliyun.com/pypi/simple/ 中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/ 华中理工大学:ht 阅读全文
posted @ 2020-12-18 12:31 FishMan552 阅读(582) 评论(0) 推荐(0)
摘要:一起开发项目的时候总是要搭建环境和部署环境的,这个时候必须得有个python第三方包的list,一般都叫做requirements.txt。 如果一个项目使用时virtualenv环境,还好办 pip freeze 就可以解决,但是如果一个项目的依赖list没有维护,而且又是环境混用, 那就不好整理 阅读全文
posted @ 2020-12-05 10:24 FishMan552 阅读(400) 评论(0) 推荐(0)
摘要:如果在使用Terminal 安装python库,出现报错, urllib3.exceptions.ReadTimeoutError : HTTPSConnectionPool(host='files.pythonhosted.org', port=443): Read timed out. 解决办法 阅读全文
posted @ 2020-11-21 16:50 FishMan552 阅读(511) 评论(0) 推荐(0)
摘要:flask的几种debug模式的方法 第一种: # 1.app.run 传参debug=true app.run(debug=True) 第二种: #2 设置app的配置 app = Flask(__name__) app.config['DEBUG'] = True 第三种: #3 配置文件方式 阅读全文
posted @ 2020-09-26 10:48 FishMan552 阅读(3283) 评论(0) 推荐(0)
摘要:jieba库安装失败 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple jieba wordcloud库安装失败 pip install wordcloud -i https://pypi.tuna.tsinghua.edu.cn/sim 阅读全文
posted @ 2019-12-04 16:44 FishMan552 阅读(497) 评论(0) 推荐(0)
摘要:Python的方向大概如下10个: 1. 编写脚本,如测试脚本、初始化脚本、运维脚本:pywin32、nose 2. 图形界面开发: Tkinter、PyQt 、 wxPython 、 PySide 、Pillow 3. 爬虫: Scrapy 、 BeautifulSoup、 Selenuim 4. 阅读全文
posted @ 2019-10-15 15:02 FishMan552 阅读(697) 评论(0) 推荐(0)
摘要:大数据的4V特点: Volume(大量):数据巨大。 Velocity(高速):数据产生快,每一天每一秒全球人产生的数据足够庞大且数据处理也逐渐变快。 Variety(多样):数据格式多样化,如音频数据、文本数据等 Value(价值):通过收集大量数据不相关数据探查并证明其两者之间的关联性,所产生的 阅读全文
posted @ 2019-10-09 15:05 FishMan552 阅读(2279) 评论(0) 推荐(0)
摘要:用于XPath 爬取网页结构的时候使用, 安装后 快捷键调用 左边 ctrl+ shift+x 启动 安装流程: 1. 打开chrome浏览器,扩展程序 。搜索 XPath Helper 下载安装(前提需要梯子,因为这个是属于goolge商店应用) 有这个显示就是安装成功了 2. 点击详情,勾选隐身 阅读全文
posted @ 2019-08-07 10:55 FishMan552 阅读(1131) 评论(0) 推荐(0)
摘要:反爬中有一个使用随机代理的 阅读全文
posted @ 2019-07-31 17:00 FishMan552 阅读(222) 评论(0) 推荐(0)
摘要:一、IE 浏览器 而IE各个版本典型的userAgent如下:Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0)Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2)Mozilla/4.0 (compat 阅读全文
posted @ 2019-07-16 10:55 FishMan552 阅读(869) 评论(0) 推荐(0)