薛定谔的猫

摘要： 代码示例： package com.atguigu.hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.junit.After; import org.junit.B 阅读全文

摘要： 学习内容：Hbase安装 1.启动Hadoop集群（命令：start-all.sh) 2.启动Zookeeper（需要在master，s1，s2分别启动一遍。命令：bin/zkServer.sh start） 3.解压 Hbase 到指定目录：tar -zxvf hbase-1.3.1-bin.ta 阅读全文

摘要： 学习内容：Zookeeper集群安装（Zookeeper版本：Zookeeper3.5.7；注：master，s1，s2都需要部署） 解压安装： （1）在主机 master 解压 Zookeeper 安装包到/opt/module/目录下 （命令：tar -zxvf apache-zookeeper 阅读全文

摘要： 学习内容：Zookeeper本地安装 前提准备：①JDK安装成功 ②通过XShell7将Zookeeper安装包（apache-zookeeper-3.5.7-bin.tar.gz）拷贝到Linux系统 ③解压（命令：tar -zxvf apache-zookeeper-3.5.7- bin.tar 阅读全文

摘要： 学习任务；解决9000端口丢失导致hadoop无法连接的问题 解决方法：格式化namenode 步骤： 1.进入hadoop/bin 2.输入命令：hadoop namenode -format(hdfs namenode -format 以前的方式) 3.然后进入hadoop/sbin 4.执行 阅读全文

摘要： 学习任务： 1.解压jdk和hadoop包 2.安装jdk 3.修改hadoop配置文件 4.hadoop格式化 5.hadoop启动 出现的问题：hadoop可以正常启动，但是端口9000丢失，导致hadoop无法进行连接 阅读全文

摘要： 学习任务： 1.对VMnet8进行设置 2.配置主机名，对host文件进行编辑 3.将Hadoop文件以及jdk通过Xshell7传输到Linux系统 4.设置免密登录 阅读全文

摘要： 学习任务： 1.安装虚拟机 Linux使用版本为Centos7，共安装3台虚拟机，一台主机和两台从机。主机命名为master，两台从机分别命名为s1和s2。 master分配磁盘空间30G，s1和s2分别分配空间20G，内存均为1G 2.测试网络连接是否成功 命令：ping www.baidu.co 阅读全文

摘要： 学习任务:爬取豆瓣喜剧类热门TOP60的电影并保存在douban.txt文件中。 代码示例： import requests url="https://movie.douban.com/j/new_search_subjects" for i in range(0,60,20):#for循环，每次爬 阅读全文

摘要： 一、爬取百度页面代码写入到文件 代码示例： from urllib.request import urlopen #导入urlopen包 url="http://www.baidu.com" #需要爬取网页的网址 resp=urlopen(url) with open("mybaidu.html", 阅读全文