2023 年 9月随笔档案 - 201812

摘要：1.学习了基于Restful开发表现层，以及与前端了链接。问题：之前没有学过这些涉及到的知识，学习起来有些困难。阅读全文

posted @ 2023-09-27 20:37 201812 阅读(8) 评论(0) 推荐(0)

摘要：1.添加web界面在resources包下的static包中导入需要用的包，编写html。 1.1测试一下页面控制台中成功获取数据 1.2页面显示:查询全部信息 1.3添加功能实现新建按钮的点击事件为 @click="handleCreate()" 点击新建后弹出添加页面，该页面的确定提交按钮阅读全文

posted @ 2023-09-27 20:36 201812 阅读(134) 评论(0) 推荐(0)

SpringBoot学习3(1.1整合案例项目数据层、业务层、表现层)

摘要：1.整合第三方技术 1.整合JUnit target测试类和引导类为什么要有对应关系，如果没有相似的包结构导致出现的问题原因如下：基础篇-24-整合JUnit——classes属性_哔哩哔哩_bilibili 2.整合MyBatis 创建的时候选上mybatis和sql驱动创建之后，进入sett 阅读全文

posted @ 2023-09-27 18:20 201812 阅读(82) 评论(0) 推荐(0)

2023年秋季个人阅读计划

摘要：计划： 1. 2. 3. 阅读全文

posted @ 2023-09-26 21:58 201812 阅读(12) 评论(0) 推荐(0)

9.26总结

摘要：1.学习了SpringBoot的标准开发流程，但是还没实现表现层的功能，对于数据表实体类（浅浅学习lombok中@Data使用，简化实体类的代码）、数据层（extends BaseMapper提供的基础增删改查方法）、业务层（标准开发以及快速开发中浅浅学习IService<T>和接口实现Servic 阅读全文

posted @ 2023-09-26 21:53 201812 阅读(13) 评论(0) 推荐(0)

Hive学习4（ETL）

摘要：etl数据清洗：案例一需求1：对字段为空的不合法数据进行过滤 Where过滤需求2：通过时间字段构建天和小时字段 Substr函数需求3：从GPS的经纬度中提取经度和维度 Split函数需求4：将ETL以后的结果保存到一张新的Hive表中 Create table …… as select 阅读全文

posted @ 2023-09-26 21:47 201812 阅读(75) 评论(0) 推荐(0)

9.25总结

摘要：1.今日学习了SpringBoot的基础知识，完成相关的基础配置遇到的问题：无阅读全文

posted @ 2023-09-25 20:51 201812 阅读(13) 评论(0) 推荐(0)

SpringBoot学习2(springboot引导类，Rest基础学习，yml格式)

摘要：1.parent、starter 基础篇-08-入门案例解析：parent_哔哩哔哩_bilibili 基础篇-09-入门案例解析：starter_哔哩哔哩_bilibili 2.引导类引导类扫描所在包加载bean，不在该包内扫描不到。 3.Rest开发 RESR（Representational 阅读全文

posted @ 2023-09-25 20:50 201812 阅读(25) 评论(0) 推荐(0)

SpringBoot学习1(项目部署以及创建报错的解决及aliyun的start地址)

摘要：1.SpringBoot 设计目的：简化Spring应用的初始搭建以及开发过程. 2.空项目创建 2.1查看更改自己的maven版本 file-->settings 有时候这里的maven home usersettingsfile local..不是自己的maven文件夹，记得修改过来。 2.2创阅读全文

posted @ 2023-09-25 18:20 201812 阅读(154) 评论(0) 推荐(0)

Exception in thread "main" org.apache.ibatis.binding.BindingException: Invalid bound statement (not found)

摘要：我报错的原因很简单mapper的interface和xml文件名字不相同导致我的问题以及对应的解决 1.查看mapper的接口和xml文件名字是否相同更多解决办法：【报错解决】org.apache.ibatis.binding.BindingException: Invalid bound s 阅读全文

posted @ 2023-09-24 21:38 201812 阅读(157) 评论(0) 推荐(0)

9.24总结

摘要：1.今天把昨天完成的测试进行截图，完成文档遇到的问题：无阅读全文

posted @ 2023-09-24 21:23 201812 阅读(9) 评论(0) 推荐(0)

9.23总结

摘要：1.今天初步了解了echarts、ajax、json，完成了星期五的测试。 2.本地数据库连接虚拟机的数据库；datagrip中连接虚拟机数据库，实现对虚拟机数据库的可视化。遇到的问题： echarts在页面的显示、ajax和json的结合使用、servlet中传json数据到echarts中，大阅读全文

posted @ 2023-09-23 20:01 201812 阅读(13) 评论(0) 推荐(0)

Hive学习3（数据库操作DML、join、hive函数）

摘要：1.对数据库操作数据定义语言 (Data Definition Language, DDL)，是SQL语言集中对数据库内部的对象结构进行创建，删除，修改等的操作语言，这些数据库对象包括database、table等。 DDL核心语法由CREATE、ALTER与DROP三个所组成。DDL并不涉及表内阅读全文

posted @ 2023-09-23 19:57 201812 阅读(37) 评论(0) 推荐(0)

Hive学习2（hive部署启动，DataGrip连接hiveserver2）

摘要：1.Hive部署： hive部署：09-Apache hive安装部署--与Hadoop整合、MySQL安装_哔哩哔哩_bilibili 10-Apache hive安装部署--配置文件修改编辑_哔哩哔哩_bilibili 2.Hive启动 hadoop启动后。 node1上： nohup /exp 阅读全文

posted @ 2023-09-23 16:59 201812 阅读(223) 评论(0) 推荐(0)

Hive学习1（数据仓库及Hive基础学习）

摘要：1.数据仓库 1.1什么是数据仓库数据仓库（Data Warehouse，简称数仓、DW）,是一个用于存储、分析、报告的数据系统。数据仓库本身并不“生产”任何数据，其数据来源于不同外部系统；同时数据仓库自身也不“消费”任何的数据，其结果开放给各个外部应用使用；数据仓库是为了分析数据的。关系型阅读全文

posted @ 2023-09-23 09:21 201812 阅读(67) 评论(0) 推荐(0)

HBase13(项目03phoenix视图JDBC开发）

摘要：1.phoenix视图建立当创建视图后，就可以使用SQL查询视图，和操作Table一样。 1.视图如何映射到HBase的表？视图的名字必须是：命名空间.表名 2.视图中的列如何映射到HBase的列族和列？列名必须是：列族.列名 3.视图中的类如何映射到HBase的ROWKEY？指定某个列为p 阅读全文

posted @ 2023-09-22 13:52 201812 阅读(54) 评论(0) 推荐(0)

HBase学习12（项目02数据随机生成后写入Hbase里面）

摘要：26~29 1.已完成创建hbase_shell目录用于存放hbase shell 脚本命名空间：MOMO_CHAT 表名：MSG 预分区6个，压缩方式'GZ' HBase学习11（项目01分析及准备） - 201812 - 博客园 (cnblogs.com) 2.导入pom依赖 <reposi 阅读全文

posted @ 2023-09-22 13:51 201812 阅读(49) 评论(0) 推荐(0)

HBase学习11（项目01分析及准备）

摘要：海量数据 1.准备在idea中创建项目，然后创建脚本包hbase_shell。添加文件说明readme.md，写入相关项目结构说明。通过复制hbase_shell文件目录，在VSCode中打开进行对脚本文件的编写。在VSCode中编写方便。 2.创建名称空间namespace 当表的数量比较阅读全文

posted @ 2023-09-22 13:48 201812 阅读(46) 评论(0) 推荐(0)

9.21课上总结

摘要：1. 阅读全文

posted @ 2023-09-21 22:00 201812 阅读(6) 评论(0) 推荐(0)

HBase（扫描HBase表的数据转化为对应的类Java代码）

摘要：Msg实体类 package com.xxxx.test01; public class Msg { private String name; private String bumen; private String address; private String diyu; private Str 阅读全文

posted @ 2023-09-21 16:19 201812 阅读(89) 评论(0) 推荐(0)

重定向和请求转发

摘要：servlet中请求转发（forword）与重定向（sendredirect） - 断弯刀 - 博客园 (cnblogs.com) 请求转发前后用的同一个request故可以传递一些session数据，地址栏不会发生变化，在jps页面也可以获取，而重定向不可以。 servlet传数据到jsp接受用请阅读全文

posted @ 2023-09-21 13:59 201812 阅读(14) 评论(0) 推荐(0)

java.lang.ClassNotFoundException

摘要：报错java.lang.ClassNotFoundException：XXXXXXXXXXX在过去的一个多星期中经常出现，我是一点头绪都没有，第一次学习这种hbase+idea连接，然后又连接phoenix等出现了各种各样的错误，各种各样的java.lang.ClassNotFoundExcept 阅读全文

posted @ 2023-09-21 02:16 201812 阅读(109) 评论(0) 推荐(0)

9.20总结

摘要：1.完成HBase的API（Java代码的编写）。 2.理解到了new String(CellUtil.cloneQualifier(cell)) 和 Arrays.toString(CellUtil.cloneQualifier(cell))的区别。阅读全文

posted @ 2023-09-20 22:32 201812 阅读(13) 评论(0) 推荐(0)

Hbase中ResultScanner获取到查询到的对象Arrays.toString(CellUtil.cloneQualifier(cell))、new String(CellUtil.cloneQualifier(cell)) 、Bytes.toString(CellUtil.cloneQualifier(cell))

摘要：java编写扫描hbase表操作的时候返回的对象ResultScanner 可以理解为result记录一行数据，cell数据，Resultscanner记录多行数据，result数组我对这些还都不太理解，不知道是个什么样子的结构。 for (Result result : scanner) { C 阅读全文

posted @ 2023-09-20 22:30 201812 阅读(150) 评论(0) 推荐(0)

IDEA想要导入servletjar包却找不到

摘要：在创建项目的时候，把web、tomcat都配置好后，在类中想要 extends HttpServlet却爆红找不到import的包先打开file-->project structure-->Libraries 找到tomcat，lib下的servlet-api即可阅读全文

posted @ 2023-09-20 18:25 201812 阅读(79) 评论(0) 推荐(0)

HBase_API_（HBaseDML，对数据的api）

摘要：对表中数据进行以下操作：静态属性 1.插入数据 2.读取数据 3.扫描数据 4.带有过滤器的扫描（1）结果保留列的过滤器（2）结果保留整行的过滤器注意：结果也会保留没有当前列的数据例如我的表中数据如下：符合要求的应该只有02，但是结果会把04的也给输出出来。 5.删除数据 HBaseCon 阅读全文

posted @ 2023-09-19 22:35 201812 阅读(52) 评论(0) 推荐(0)

9.19总结

摘要：1.上网找教程学习hbase的api操作，学习了通过idea对hbase表的增删改查询是否存在以及创建命名空间（admin）。 2.学习通过idea对hbase表中的数据进行增删改查（table）。遇到的问题：通过idea去实现前端+servlet+hbase+phoenix出现的报错依然还是没阅读全文

posted @ 2023-09-19 22:28 201812 阅读(10) 评论(0) 推荐(0)

HBase_API_（HBaseDDL，对表的api）

摘要：对hbase数据表进行以下操作： 1.创建命名空间 2.判断表是否存在 3.创建表格 4.修改表格 5.删除表格注意：对表格的操作要调用admin，对数据进行操作调用table（这篇博客没有涉及到） HBaseConnetion.java(提供connection连接) package com.a 阅读全文

posted @ 2023-09-19 22:25 201812 阅读(42) 评论(0) 推荐(0)

9.17-9.18

摘要：一直在处理虚拟机出现的各种报错，虚拟机上配置好zookeeper、hbase、hadoop、phoenix后再idea上继续报错，，还没解决完。。。。emmm 阅读全文

posted @ 2023-09-18 22:04 201812 阅读(11) 评论(0) 推荐(0)

HBase学习9（phoenix两种方式预分区）

摘要：P35 1.phoenix预分区如要分4个分区建表命令如下： create table if not exists ORDER_DTL( "id" varchar primary key, C1."status" varchar, C1."money" float, C1."pay_way" in 阅读全文

posted @ 2023-09-18 14:19 201812 阅读(214) 评论(0) 推荐(0)

9.16总结

摘要：1.继续完成星期五的试题。遇到的问题：虚拟机的hbase和phoenix启动有问题，怀疑是版本的问题，还没有得到解决。阅读全文

posted @ 2023-09-18 14:19 201812 阅读(5) 评论(0) 推荐(0)

9.15总结

摘要：1.学习了phoenix的相关知识，将phoenix配置到虚拟机中。 2.phoenix的建表以及数据的增删改查操作。问题：在今天的大数据第一次的考试中遇到了许多问题，还没解决完毕。阅读全文

posted @ 2023-09-16 19:49 201812 阅读(12) 评论(0) 推荐(0)

HBase学习10（hbase高可用）

摘要：17-18 1.搭建hbase高可用考虑关于HBase集群的一个问题，在当前的HBase集群中，只有一个Master，一旦Master出现故障，将会导致HBase不再可用。所以，在实际的生产环境中，是非常有必要搭建一个高可用的HBase集群的。 HBase的高可用配置其实就是HMaster的高可用阅读全文

posted @ 2023-09-16 18:41 201812 阅读(117) 评论(0) 推荐(0)

HBase学习6（大量数据的导入及操作java）

摘要：在HBase中，有一个Import的MapReduce作业，可以专门用来将数据文件导入到HBase中。 hbase org.apache.hadoop.hbase.mapreduce.Import 表名 HDFS数据文件路径 1. 导入数据 1.将资料中数据文件上传到Linux中 2.再将文件上传到阅读全文

posted @ 2023-09-16 18:16 201812 阅读(182) 评论(0) 推荐(0)

HBase学习8（phoenix创建删除表、数据增删改查、数据分页查询）

摘要：1.建表在Phoenix中，我们可以使用类似于MySQL DDL的方式快速创建表。例如： CREATE TABLE IF NOT EXISTS 表名 ( ROWKEY名称数据类型 PRIMARY KEY 列族名.列名1 数据类型 NOT NULL, 列族名.列名2 数据类型 NOT NULL, 阅读全文

posted @ 2023-09-15 17:04 201812 阅读(1035) 评论(0) 推荐(0)

HBase学习7（phoenix安装）

摘要：1.下载 Phoenix Downloads | Apache Phoenix 2.根据hbase的版本下载对应的phoenix 3.上传到linux虚拟机 /export/software/目录下建议把所有hbase、hadoop、zookeeper都关闭 4.解压到/export/server 阅读全文

posted @ 2023-09-15 16:01 201812 阅读(81) 评论(0) 推荐(0)

9.14总结

摘要：1.今天实现了IDEA连接到虚拟机的数据库。 2.完成了对虚拟机中的数据进行java增删改查的操作。遇到的问题（已解决）： 1.IDEA中一直连接不上虚拟机，原因是我忘记在Windows中配置hadoop的系统环境变量导致的。 2.IDEA识别不到虚拟机的主机号，原因是在Windows的host文阅读全文

posted @ 2023-09-14 20:41 201812 阅读(17) 评论(0) 推荐(0)

HBase学习5（HBase java编程:创建项目，创建删除表，数据增删改查）

摘要：1.准备工作 1.1 创建IDEA Maven项目其中名字为hbase_op，groupid为cn.itcast 然后导入pom依赖 <repositories> <repository> <id>aliyun</id> <url>http://maven.aliyun.c 阅读全文

posted @ 2023-09-14 20:38 201812 阅读(228) 评论(0) 推荐(0)

(Windows Hadoop环境配置)IDEA：ERROR util.Shell: Failed to locate the winutils binary in the hadoop binary path

摘要：ERROR util.Shell: Failed to locate the winutils binary in the hadoop binary path 出错原因：还没有在windows上配置hadoop环境变量。解决：在windows上配置hadoop环境变量参考：windows下缺少阅读全文

posted @ 2023-09-14 14:00 201812 阅读(382) 评论(0) 推荐(0)

9.13总结

摘要：1.学习了过滤器的相关使用，以及INCR和设立了管理命令。阅读软考资料。遇到的问题：（已解决）虚拟机出现输入ifconfig后，显示的网段不正确，在主机上ping虚拟机网段超时，在finalshell中连接虚拟机失败，并且报错 java.net.ConnectException: Connec 阅读全文

posted @ 2023-09-13 21:33 201812 阅读(28) 评论(0) 推荐(0)

9.12总结

摘要：1.学习了对大量数据导入和处理。遇到的问题：无阅读全文

posted @ 2023-09-13 20:04 201812 阅读(18) 评论(0) 推荐(0)

HBase学习4（导入数据、计数器、scan扫描、过滤器）

摘要：1.导入数据集先上传文件到指定目录，后执行下面的语句 hbase shell /export/software/ORDER_INFO.txt 2.查看表中有多少条数据（计数器）语法：count ‘表名’ 缺点：比较慢，当数据量更大的时候可以使用HBase中提供的MapReduce程序来进行计数统阅读全文

posted @ 2023-09-13 16:45 201812 阅读(222) 评论(0) 推荐(0)

java.net.ConnectException: Connection timed out: connect

摘要：错误关闭虚拟机导致的：java.net.ConnectException: Connection timed out: connect finalshell连接不上虚拟机并且提示java.net.ConnectException: Connection timed out: connect 在虚拟机阅读全文

posted @ 2023-09-13 16:16 201812 阅读(8605) 评论(0) 推荐(0)

HBase学习3（增删改查）

摘要：1.启动hbase shell HBase的shell其实就是JRuby的IRB（交互式Ruby），但在其中添加了一些HBase的命令。输入： hbase shell 2.创建表语法：create '表名','列蔟名'... 例如：创建订单表，表名为ORDER_INFO，该表有一个列蔟为C1 c 阅读全文

posted @ 2023-09-12 14:49 201812 阅读(211) 评论(0) 推荐(0)

9.11总结

摘要：进度： 1.成功配置hbase，主要问题出在虚拟机别名、虚拟机映像设置、hbase文件配置、hbase环境配置上（已解决）。 2.学习hbase的基础增删改查操作。问题：无阅读全文

posted @ 2023-09-11 22:04 201812 阅读(10) 评论(0) 推荐(0)

9.10总结

摘要：进度： 1.三台虚拟机配置zookeeper、hadoop、hbase 遇到的问题： zookeeper和hadoop顺利配置，而hbase重复配置多次都没有成功。阅读全文

posted @ 2023-09-11 22:02 201812 阅读(16) 评论(0) 推荐(0)

9.9总结

摘要：进度： 1.对三台虚拟机进行安装配置，安装hadoop。遇到问题：无阅读全文

posted @ 2023-09-11 22:00 201812 阅读(12) 评论(0) 推荐(0)

HBase学习2（简单概念）

摘要：1.Apache HBase 是以hdfs未数据存储的，一种分布式，可扩展的NoSQL数据库。 2.HBase数据模型 HBase设计理念依据Google 的BigTable论文，BigTable是一个稀疏的、分布式的、持久的多维排序map。映射由行键、列键和时间戳索引；映射中的每一个值都是一个未阅读全文

posted @ 2023-09-11 19:33 201812 阅读(31) 评论(0) 推荐(0)

为什么linux配置了环境变量，却找不到位置

摘要：为什么linux配置了环境变量，却找不到位置例如我刚在linux中配置环境变量HBASE_HOME，通过cd $HBASE_HOME去不到对应路径，我出现这个问题的原因很简单，就是忘记加载环境变量了通过 source /etc/profile 可以加载环境变量（这个路径对应编写环境变量的路径，比阅读全文

posted @ 2023-09-11 19:19 201812 阅读(469) 评论(0) 推荐(0)

HBase学习1（安装部署）

摘要：前提：zookeeper、Hadoop、jdk都已经安装部署好了。 1.Zookeeper、Hadoop正常部署教程： 04、ZooKeeper--集群搭建下--配置文件修改&启动_哔哩哔哩_bilibili 08-Centos操作系统的虚拟机导入_哔哩哔哩_bilibili Zookeeper搭阅读全文

posted @ 2023-09-10 23:54 201812 阅读(74) 评论(0) 推荐(0)

Hadoop基础学习1(SSHfinalshell、vim、别名、hadoop集群)

摘要：1.SSH协议 SSH协议为Secure Shell的缩写，是一种网络安全协议，转为远程的登录会话和其他网络服务提供安全性的协议。在Linux中，SSH的主要用途有：用户加密实现远程登录，服务器之间的免密登录。 SSH协议默认采用RSA算法实现非对称加密，需要两个密钥：公开密钥和私有密钥。公钥和阅读全文

posted @ 2023-09-09 21:11 201812 阅读(113) 评论(0) 推荐(0)

Zookeeper搭建

摘要：1.Zookeeper Zookeeper是Apache Hadoop项目下的一个子项目，是一个树形目录服务。 Zookeeper是一个分布式的、开源的分布式应用程序的协调服务。 2.zookeeper搭建学习教程：04、ZooKeeper--集群搭建下--配置文件修改&启动_哔哩哔哩_bilib 阅读全文

posted @ 2023-09-09 13:33 201812 阅读(51) 评论(0) 推荐(0)

Centos3个虚拟机的导入

摘要：教程：08-Centos操作系统的虚拟机导入_哔哩哔哩_bilibili 安装包在该视频底下有链接。 1.点击编辑-->管理员权限-->点击NAT模式这一行然后更改网关 2.点击NAT设置 3.配置Windows本地虚拟网卡 -->找到网络连接 -->找到VMnet8然后右键点击属性 -->双击I 阅读全文

posted @ 2023-09-08 20:47 201812 阅读(95) 评论(0) 推荐(0)