哥们要飞 - 博客园

2022年6月18日

摘要：〇、概述 1、拓扑结构 2、目标使用storm进行计数实验。一、启动服务在网页中输入：http://localhost:8081可以查看storm的相关信息。二、kafka操作终端中输入：nohup ~/bigdata/kafka_2.11-1.0.0/bin/kafka-server-s 阅读全文

posted @ 2022-06-18 19:25 哥们要飞阅读(23) 评论(0) 推荐(0)

4.10：Spark之wordcount

摘要：〇、概述 1、拓扑结构 2、目标使用spark完成计数实验一、启动环境二、新建数据文件三、查看文件内容四、启动spark服务五、编写代码复制以下代码到shell中（复制后在终端右键->粘贴）： import org.apache.spark.HashPartitioner import 阅读全文

posted @ 2022-06-18 19:01 哥们要飞阅读(37) 评论(0) 推荐(0)

4.9：MapReduce之WordCount

摘要：〇、概述 1、拓扑结构 2、目标使用hadoop的MapReduce来实现计数。一、启动服务二、新建计算的文件三、上传文件四、分析文件 cd ~/bigdatahadoop jar WordCount.jar com.bit.WordCount /wordcount/srcdata/ /w 阅读全文

posted @ 2022-06-18 18:43 哥们要飞阅读(33) 评论(0) 推荐(0)

2022年6月17日

4.8：数据获取和存储综合

摘要：〇、概述 1、拓扑结构 2、目标进行kafka，flume，和hive的数据综合处理实验一、实验过程 1、启动环境 2、hive操作输入hive 进入hive，输入 create table kafkatest(id int,name string,age int) clustered by( 阅读全文

posted @ 2022-06-17 19:02 哥们要飞阅读(36) 评论(0) 推荐(0)

4.7：Hive操作实验

摘要：〇、概述 1、拓扑结构 2、目标通过Hive实验熟悉Hive的基本操作一、操作流程 1、启动环境 2、启动hive 输入 cd /home/user/bigdata/apache-hive-2.3.4-bin/conf 输入 vi hive-site.xml 编辑hive的配置文件按i进行编辑阅读全文

posted @ 2022-06-17 18:17 哥们要飞阅读(73) 评论(0) 推荐(0)

4.6：HBase操作实验

摘要：〇、概述 1、拓扑结构 2、目标进行Hbase实验来熟悉Hbase的基本操作。一、基本操作 1、启动进程 16610 2、连接集群 3、常见操作阅读全文

posted @ 2022-06-17 15:58 哥们要飞阅读(38) 评论(0) 推荐(0)

4.5：HDFS操作实验

摘要：〇、概述 1、拓扑结构 2、目标进行HDFS的实验，了解HDFS的基本操作。一、常用操作 1、启动 50070 2、查看及创建 3、上传文件阅读全文

posted @ 2022-06-17 15:38 哥们要飞阅读(60) 评论(0) 推荐(0)

4.4：Sqoop数据导入实验

摘要：〇、概述 1、拓扑结构 2、目标使用sqoop工具将数据从mysql数据库导入到HDFS和Hbase 一、配置免密登录hdfs 三、导入到hdfs中 sqoop import --connect jdbc:mysql://localhost:3306/lydsj --username root - 阅读全文

posted @ 2022-06-17 15:33 哥们要飞阅读(41) 评论(0) 推荐(0)

2022年6月16日

4.3：flume+Kafka日志采集实验

摘要：〇、目标使用kafka和flume组合进行日志采集拓扑结构一、重启SSH和zk服务打开终端，首先输入：sudo service ssh restart 重启ssh服务。之后输入下述命令开启zookeeper服务： zkServer.sh start 二、启动flume 输入cd /home/ 阅读全文

posted @ 2022-06-16 19:26 哥们要飞阅读(138) 评论(0) 推荐(0)

4.2：Scrapy爬虫

摘要：使用Scrapy框架对网站的内容进行爬取在桌面处打开终端，并在终端中输入： scrapy startproject bitNews cd bitNews/bitNews 修改items文件的内容，输入vim items.py按 i 进行编辑，将其中的代码修改为： # -*- coding: utf 阅读全文

posted @ 2022-06-16 16:44 哥们要飞阅读(28) 评论(0) 推荐(0)

哥们要飞的blog

Nice to meet you!

公告