随笔分类 -  大数据

大数据知识
摘要:初识Hadoop的三种安装模式 特点:高可靠性(不怕丢)、高效性(处理速度快)、高容错性 ps:使用Hadoop版本: 接下来所用到的Hadoop2.8.5,虽然目前Hadoop已经更新到3.x了;但是我们始终秉持一个观点“用旧不用新”,因为毕竟旧版本较为稳定(目前虽然jdk出到版本为16了,但是我 阅读全文
posted @ 2021-07-27 22:52 ~快乐王子~ 阅读(1173) 评论(0) 推荐(0)
摘要:1.vi和vim编辑模式 两者之间功能基本都是一样的,仅仅是vim可以高亮显示 一般:yy(复制)p(粘贴) u(撤销) x(删除单个字母) 编辑:i(光标前)、I(行首)、o(下一行)、O(上一行)、a(光标后)、A(行末) 指令: :wq,/ 查找(从上往下), ?查找(从下往上) 2.配置虚拟 阅读全文
posted @ 2021-07-26 18:11 ~快乐王子~ 阅读(173) 评论(0) 推荐(0)
摘要:前言: 技术随着时间不断变迁,曾经学习时还使用着VMware12和Centos6.5,已过去1年 》发现现在主流为VMware16和Centos7。并且旧版本出现了问题: 无法安装Docker,远程仓库出现问题,或者是版本不兼容 学习的视频基本上都是采用的Centos7,因此部分命令的不一样导致学习 阅读全文
posted @ 2021-07-25 16:18 ~快乐王子~ 阅读(147) 评论(0) 推荐(0)
摘要:爬取百度贴吧数据(Python) 1.总代码: from urllib.request import Request, urlopen from urllib.parse import quote def get_html(html): headers = { "User-Agent": "Mozi 阅读全文
posted @ 2020-09-30 19:07 ~快乐王子~ 阅读(1171) 评论(0) 推荐(0)