随笔分类 -  大数据学习之路

该系列旨在我作为初学者对大数据学习的知识补充以及复习
摘要:Python使用Scrapy爬取小米首页的部分商品名称、价格、以及图片地址并持久化保存到MySql中前言 最开始选择爬小米这个网页时是因为觉得界面好看,想爬点素材做备用,这次有个重点,又是因为偷懒,看见那满屏的源代码就自己欺骗安慰自己肯定一样的,然后只看检查后面整齐的源代码了,我大概是能理解毛爷爷那句:抛弃幻想,准备战斗了,差点做吐,还是我的宝贝大佬仔仔细细逻辑非常清晰的全部检查排除了一遍发现源代 阅读全文
posted @ 2022-05-12 12:56 元名 阅读(384) 评论(2) 推荐(0)
摘要:Hadoop详解 1、前言 对于初次接触Hadoop的小伙伴来说,Hadoop是一个很陌生的东西,尤其是Hadoop与大数据之间的关联,写这篇文章之前,我也有许多关于Hadoop与大数据的疑惑,接下来让我带着和大家共同的疑惑去探索Hadoop。以下仅为我个人的理解和资料查找,仅供参考,结果存在差异性 阅读全文
posted @ 2022-05-01 16:47 元名 阅读(197) 评论(0) 推荐(0)