随笔分类 -  ~ Python3&爬虫

# Python 3 & 爬虫一些记录
摘要：Python 3 & 爬虫一些记录 [TOC] Python任何数据都看成一个“对象”，变量指向数据对象，对变量赋值就是把数据和变量给关联起来。 Python的整数没有大小限制浮点数也没有大小限制，但是超出一定范围就直接表示为inf（无限大）。 ord()函数获取字符的整数表示，chr()函数把编码 阅读全文
posted @ 2019-09-24 15:40 yhsmer 阅读(254) 评论(0) 推荐(0)
# Python3微博爬虫[requests+pyquery+selenium+mongodb]
摘要：Python3微博爬虫[requests+pyquery+selenium+mongodb] 大数据时代，数据的获取对是研究的基础，而获取海量的数据自然不能通过人工获取，爬虫因运而生。微博作为新时代国内火爆的社交媒体平台，拥有大量用户行为和商户数据，学会通过爬虫获取所需数据将是将来研究学者的必备技能 阅读全文
posted @ 2019-09-10 16:09 yhsmer 阅读(463) 评论(0) 推荐(0)
# 深圳杯D题爬取电视收视率排行榜
摘要：深圳杯D题爬取电视收视率排行榜 [TOC] 站点分析 http://www.tvtv.hk/archives/category/tv 每天的排行版通过静态页面发布，先获取每天的排行榜链接，再进一步从链接里面获取数据 每天前10的信息发布在p标签内，存储的时候空格拆分一下 代码实现 获取每一页的静态链 阅读全文
posted @ 2019-09-10 10:04 yhsmer 阅读(264) 评论(0) 推荐(0)
# Pycharm打造高效Python IDE
摘要：Pycharm打造高效Python IDE 建议以 scientific mode运行 ，在科学计算时，可以方便追踪变量变化，并且会提示函数的用法，比普通模式下的提示更加智能，一般在文件中引入了numpy等科学计算包时会自动识别，并提示使用scientific mode模式。 具体步骤： Setti 阅读全文
posted @ 2019-09-06 09:26 yhsmer 阅读(552) 评论(0) 推荐(0)
# pycharm新建项目后运行按钮为灰色
摘要：pycharm新建项目后运行按钮为灰色 第一次运行需要先为项目创建解释器，第一次可以对项目右键选中Run或者Ctrl+Shift+F10自动为项目创建解释器 或者手动Run->Edit Configurations-> + →新建python指定Scrip path为当前xxx.py的路径 阅读全文
posted @ 2019-08-28 08:20 yhsmer 阅读(5962) 评论(0) 推荐(0)
# [爬虫Demo] pyquery+csv爬取猫眼电影top100
摘要：[爬虫Demo] pyquery+csv爬取猫眼电影top100 [TOC] 站点分析 https://maoyan.com/board/4?offset=0 翻页操作只会改变offset偏移量，每部电影的信息都在dd标签内，使用pyquery库中的css选择器直接解析页面 代码君 css选择器直接 阅读全文
posted @ 2019-08-22 11:52 yhsmer 阅读(429) 评论(0) 推荐(0)