2018年4月17日
Apache hardoop 的基础知识学习总结
摘要： hardoop的主要构成： （1）HDFS 分布式文件系统，解决海量数据存储 （2） YARN 解决资源任务调度（包括作业调度和集群资源调度） （3）MapReduce 解决海量数据计算 集群搭建的步骤： 1.同步时间 2.设置主机名 3.配置ip 于主机名映射 4.配置ssh 免密登入 5.配置防 阅读全文
posted @ 2018-04-17 22:33 小张在搬砖 阅读(820) 评论(0) 推荐(0)
网络爬虫基础知识（Python实现）
摘要： 浏览器的请求 url=请求协议（http/https）+网站域名+资源路径+参数 http:超文本传输协议（以明文的形式进行传输），传输效率高，但不安全。 https:由http+ssl（安全套接子层）组成；传输之前数据先加密，之后解密获取内容，传输效率低但安全。 HTTP协议之请求 1请求行 2. 阅读全文
posted @ 2018-04-17 20:41 小张在搬砖 阅读(565) 评论(1) 推荐(0)
常用基础Linux操作命令总结与hadoop基础操作命令
摘要： cd命令：切换目录 （1）切换到目录 /usr/local cd /usr/local （2）去到目前的上层目录 cd .. （3）回到自己的主文件夹 cd ~ ls命令：查看文件与目录 （4）查看目录/usr下所有的文件 cd /usr ls -al mkdir命令：新建新目录 （5）进入/tmp 阅读全文
posted @ 2018-04-17 11:01 小张在搬砖 阅读(3503) 评论(0) 推荐(0)