摘要: 大概了解了一点大数据比赛,数据比赛新手大概是将大量数据清洗,然后进行数据特征分析,建立模块,可视化等,因为python功能比较强大,所以我觉得还是得加强python的基础以及相关库的学习。 我的寒假计划如下: 2023.1.4~1.9 python基础和基础练习题 每天四小时 2023.1.10~1 阅读全文
posted @ 2022-12-25 20:55 iqqq 阅读(43) 评论(0) 推荐(0) 编辑
摘要: 本月学习了爬虫,爬虫就是使用Python中的各种模块,模拟浏览器,给服务器发送请求获取信息的过程。简单的学习了爬取图片的操作。Python的开源模块功能很强大,目前只学习了requests模块,只需要这个模块就可以简单爬取一些网页信息,还有panda模块,os,re等模块都可以帮助我们爬取数据,还有 阅读全文
posted @ 2022-10-29 19:20 iqqq 阅读(96) 评论(0) 推荐(0) 编辑
摘要: 实例:爬取内蒙古科技大学校徽 打开网站 1.引入requests模块 2.输入要请求的网站url 网址获取 3.发送请求头 user-agent的获取 user-agent的作用是伪装成浏览器,发送请求 4.使用get请求得到返回值赋值给response常量,输出response文本形式 5.wit 阅读全文
posted @ 2022-10-28 01:06 iqqq 阅读(59) 评论(0) 推荐(1) 编辑
摘要: 现有技术: Java,C语言,Python 职业规划: 大三准备考研,方向就是大数据和气象或者农业方面相关的研究方向; 初级数据分析师,之后逐步提升自己的经验 半个月的学习收获: 学习了hadoop的两大核心:分布式文件系统HDFS和分布式处理系统MapReduce的基础知识; 以及对分布式数据库H 阅读全文
posted @ 2022-10-14 20:54 iqqq 阅读(46) 评论(0) 推荐(0) 编辑