摘要: 1、本地执行.sh脚本文件:./start-sasl.sh 2、查看所有进程:jps 3、查看指定名称的进程:ps -ef|grep iflytek/kafka 4、查询指定端口的进程:netstat -anp|grep 9093(端口号) 5、查询指定文件或文件夹:https://www.cnbl 阅读全文
posted @ 2021-07-12 15:57 哥们要飞 阅读(31) 评论(0) 推荐(0) 编辑
摘要: 〇、相关资料 1、快速搭建文档: 2、详细讲义 3、在线官方文档:http://kafka.apache.org/documentation/ 4、Kafka知识个人总结 5、KafkaPPT汇报 链接:https://pan.baidu.com/s/16VufOVYu8H1I13sENnvN1A  阅读全文
posted @ 2021-06-30 11:55 哥们要飞 阅读(67) 评论(0) 推荐(0) 编辑
摘要: 一、实用工具/网站 1、PHP中文网:https://www.php.cn/ 2、Json工具:http://www.bejson.com/ 3、IT大哥导航:https://itdage.com/ 4、Java学习路线及教程:https://blog.csdn.net/qq_35461287/ar 阅读全文
posted @ 2021-03-02 00:04 哥们要飞 阅读(345) 评论(0) 推荐(0) 编辑
摘要: 确为本人操作 阅读全文
posted @ 2022-06-28 14:48 哥们要飞 阅读(2) 评论(0) 推荐(0) 编辑
摘要: 建表语句: Create table If Not Exists Customer (id int, name varchar(25), referee_id int) Truncate table Customer insert into Customer (id, name, referee_i 阅读全文
posted @ 2022-06-28 10:19 哥们要飞 阅读(1) 评论(0) 推荐(0) 编辑
摘要: (一)概述 1、ETL ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程) ETL工具:Sqoop,DataX,Kettle,Talend等 2、Kettle介绍 水壶、多数据源(ETL工作集)、Java编写 Kettle(现在已经更名为PDI,Pentaho 阅读全文
posted @ 2022-06-27 20:07 哥们要飞 阅读(1) 评论(0) 推荐(0) 编辑
摘要: 〇、概述 旅游大数据实验以网络上的评论数据为例,进行数据的抓取、存储、分析和展示,通过该案例的学习,能够了解一般数据分析的基本流程和采用的基本分析技术,为将大数据技术应用到其他行业奠定基础。 一、爬取数据 我们将众誉旅游大数据网站上爬取其中一个景区的部分评论数据。爬取的众誉大数据页面的网址是http 阅读全文
posted @ 2022-06-19 19:46 哥们要飞 阅读(5) 评论(0) 推荐(0) 编辑
摘要: 〇、目标 本次实验主要基于Echarts的Python库实现高维数据、网络和层次化数据、时空数据和文本数据的可视化,掌握可视化的操作流程和相关库的使用。 一、绘制平行坐标系 平行坐标是信息可视化的一种重要技术。为了克服传统的笛卡尔直角坐标系 难以表达三维以上数据的问题, 平行坐标将高维数据的各个变量 阅读全文
posted @ 2022-06-19 18:36 哥们要飞 阅读(11) 评论(0) 推荐(0) 编辑
摘要: 一、登录注册 网址为:https://tryme.openlookeng.io/,进入该网址后可以看到以下界面: 可以选择左边的GitHub或者右边的Gitee进行登录,如果没有账号需要注册一个账号进行登录,每个用户有一个openLooKeng集群。示例使用的是GitHub登录,点击左侧按钮可以看到 阅读全文
posted @ 2022-06-18 19:32 哥们要飞 阅读(5) 评论(0) 推荐(0) 编辑
摘要: 〇、概述 1、拓扑结构 2、目标 使用storm进行计数实验。 一、启动服务 在网页中输入:http://localhost:8081可以查看storm的相关信息。 二、kafka操作 终端中输入:nohup ~/bigdata/kafka_2.11-1.0.0/bin/kafka-server-s 阅读全文
posted @ 2022-06-18 19:25 哥们要飞 阅读(2) 评论(0) 推荐(0) 编辑
摘要: 〇、概述 1、拓扑结构 2、目标 使用spark完成计数实验 一、启动环境 二、新建数据文件 三、查看文件内容 四、启动spark服务 五、编写代码 复制以下代码到shell中(复制后在终端右键->粘贴): import org.apache.spark.HashPartitioner import 阅读全文
posted @ 2022-06-18 19:01 哥们要飞 阅读(2) 评论(0) 推荐(0) 编辑
摘要: 〇、概述 1、拓扑结构 2、目标 使用hadoop的MapReduce来实现计数。 一、启动服务 二、新建计算的文件 三、上传文件 四、分析文件 cd ~/bigdatahadoop jar WordCount.jar com.bit.WordCount /wordcount/srcdata/ /w 阅读全文
posted @ 2022-06-18 18:43 哥们要飞 阅读(2) 评论(0) 推荐(0) 编辑
摘要: 〇、概述 1、拓扑结构 2、目标 进行kafka,flume,和hive的数据综合处理实验 一、实验过程 1、启动环境 2、hive操作 输入hive 进入hive,输入 create table kafkatest(id int,name string,age int) clustered by( 阅读全文
posted @ 2022-06-17 19:02 哥们要飞 阅读(4) 评论(0) 推荐(0) 编辑