跨越&尘世 - 博客园

2022年10月15日

摘要： python的学习直接使用网页爬虫，将内容爬取到excel，也是为之后的大数据学习做铺垫。下面的代码是我爬取的豆瓣电影Top250的电影基本信息，当然，也可以爬取到数据库中 # -*- coding:utf-8 -*- # 上面这一行的目的是防止乱码 from bs4 import Beautif 阅读全文

posted @ 2022-10-15 19:58 跨越&尘世阅读(751) 评论(0) 推荐(0) 编辑

echarts多表联动初步

摘要：在大数据的学习过程中，后台数据分析、输出很重要，但最终是将其表现在图表上，使用echarts进行数据可视化官网上给出的数据可视化是饼图和折线图的联动，饼图和其他图的联动基本大同小异这是我根据官网写的饼图和柱状图联动 <!DOCTYPE html> <html lang="en"> <head> 阅读全文

posted @ 2022-10-15 09:53 跨越&尘世阅读(418) 评论(0) 推荐(0) 编辑

2022年10月12日

hive数据分析——03

摘要：完成第五阶段，这个阶段相对来说是最简单的，项目的架构和javaweb相同，使用echarts和sql语句完成，sql语句是关键，下面是echarts的网址 https://echarts.apache.org/zh/index.html 使用这个网址需要导入echarts.js文件阅读全文

posted @ 2022-10-12 15:18 跨越&尘世阅读(62) 评论(0) 推荐(0) 编辑

2022年10月8日

hive测试——HIVE数据分析02

摘要：题目： 4、处理结果入库：（在虚拟机安装mysql）将上述统计分析的结果数据保存到mySQL数据库中。 #text3_1入库 #1.添加驱动，在hive的lib目录下，如果有则不需要添加 add jar /export/server/hive/lib/hive-contrib-3.1.2.jar 阅读全文

posted @ 2022-10-08 10:53 跨越&尘世阅读(213) 评论(0) 推荐(0) 编辑

hive测试——HIVE数据分析

摘要：测试使用虚拟机中的hive 环境：虚拟机+jdk+hadoop+hive+mysql 题目： 1、数据导入：要求将样表文件中的（sales_sample_20170310）数据导入HIVE数据仓库中。 2、数据清洗：要求将day_id一列中的数值清洗为真实的日期格式，可用字符串表示。数据1对应阅读全文

posted @ 2022-10-08 10:42 跨越&尘世阅读(672) 评论(0) 推荐(0) 编辑

2022年10月3日

大数据——hive的使用

摘要：之前使用hbase做完了一个测试，最近在学习hive，hive主要和mysql进行联系，将hive和mysql都安装在一个节点内。一、mysql未安装启动hive 虚拟机我是用的是黑马程序员的，直接使用快照进行状态跳转（快照是个好东西，就是占点内存）。 #打开hadoop集群，打开hive服务#在阅读全文

posted @ 2022-10-03 09:52 跨越&尘世阅读(45) 评论(0) 推荐(0) 编辑

2022年9月23日

课堂测试——hdfs文件操作

摘要：课堂测试，主要进行hadoop的hdfs操作，只需要完成文件操作题目要求：测试一：编程实现一个简单的文本编辑器，主要包括以下功能： 1、创建一个自己姓名首字母的文件夹； 2、在该文件夹下创建一个hdfstest1.txt文件，向文件内输入“班级学号姓名HDFS课堂测试”的文字内容； 3、在文件阅读全文

posted @ 2022-09-23 22:53 跨越&尘世阅读(86) 评论(0) 推荐(0) 编辑

Phoenix安装+jdbc连接操作

摘要： Phoenix是hbase的一个皮肤，能够简化hbase的操作具体的安装教程在下面 Phoenix视频安装教程下面是我链接jdbc进行数据查询的操作，和我最初操作MySQL时很像首先仍然是导包 <dependency> <groupId>org.apache.phoenix</groupId> 阅读全文

posted @ 2022-09-23 22:53 跨越&尘世阅读(448) 评论(0) 推荐(0) 编辑

大数据小测——hbase+javaweb河北需求征集

摘要：这几天进行了紧急的hbase数据库完成web测试，就是把之前的mysql换成了hbase hbase(2.4.10)的运行需要配置hadoop集群（3.1.3）、zookeeper(3.5.7)，安装好之后在虚拟机上面可以使用jps查看运行端口， hbase的使用和mysql区别比较大，我在写项目的阅读全文

posted @ 2022-09-23 22:52 跨越&尘世阅读(73) 评论(0) 推荐(0) 编辑

2022年9月19日

javaweb+hbase环境准备

摘要：环境准备完全按视频教程来的，没有别的 hadoop-3.1.3环境配置 zookeeper-3.5.7环境配置 hbase-2.4.10环境配置在此之前只需要配置jdk环境，一切的操作都是在虚拟机上面完成的阅读全文

posted @ 2022-09-19 21:39 跨越&尘世阅读(21) 评论(0) 推荐(0) 编辑