随笔分类 - 日常
摘要：问题描述 使用hadoop在虚拟机里面运行打包的程序出错： 问题解决 我一开始用的是JDK17，然后换成了JDK8，再将程序打包，就解决啦！ 就是我本机的JDK版本比虚拟机里面的JDK版本高太多了，改成低版本的就ok啦!
阅读全文
摘要：1、自己准备一个数据量比较小的txt文件 然后将其上传到虚拟机本地： 之后上传到hdfs里面： 2、编写代码 1、引入相关依赖 <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common
阅读全文
摘要：1、存储加密的密码，实现数据库加密的操作 BCryptPasswordEncoder bCryptPasswordEncoder=new BCryptPasswordEncoder(); String encode=bCryptPasswordEncoder.encode(password); Us
阅读全文
摘要：问题描述 在我加上spring-boot-starter-security的依赖之后，启动项目报出来这样的错误： 问题解决 在启动类的注解上，加上这么一段代码就ok啦！ 启动成功：
阅读全文
摘要：1、概念 2、代码实现 自定义一个类： 在JobMain（与之前的基本一样）里面：
阅读全文
摘要：1、概念和原理--结构化对象转换为字节流 2、编程流程（举例说明） 1、读取文件为键值对 <偏移量，文件内容> 2、Map阶段 3、排序 4、Reduce阶段 5、保存结果--使用TextOutputFormat类 3、代码编写 1、自定义类型和比较器--自定义命名为SortBean 并实现接口Wr
阅读全文
摘要：1、概念和原理 同一个分区的数据会发送给同一个reduce； 可以简单解释为————标记一样，放到一个reduce里面： 2、代码编写步骤（以中奖编号是否>15进行分区） 1、定义Mapper 可以自定义名称为PartitionMapper，并继承Mapper类： 并重写map方法： 2、自定义pa
阅读全文
摘要：问题描述 MapReduce打包之后，运行出错； 问题解决 加上这么一句代码(在创建好Job对象之后)： job.setJarByClass(JobMain.class);
阅读全文
摘要：1、yarn集群运行 先将之前写好的MapReduce程序进行打包--Maven-->package； 打包完成之后的jar包在target目录下可以找到！！！ 之后将jar包上传到我们的虚拟机文件夹里面去； 之后输入命令： hadoop jar jar包名称 jar包主类的全路径名称 回车之后开始
阅读全文
摘要：一、案例概述 1、第一步--变成偏移量的K1，V1（这一步不需要我们自己写） 2、进入Map阶段 输出新的<K2,V2>的键值对； 3、Shuffle阶段 分区、排序、规约、分组 输出新的键值对： 4、Reduce阶段 转换为<K3,V3>的新的形式的键值对； 利用TextOutputFormat的
阅读全文
摘要：1、相关介绍--分而治之 MapReduce分布在Yarn集群 2、设计构思（以wordcount为例） 第一步-->读取文件，读取为键值对类型，偏移量,该行的内容； 第二步（Map阶段）-->转换成为另一种键值对模式，单词,1； 第三步（Suffle阶段）-->转换成另一种键值对模式，单词,<有几
阅读全文
摘要：终于解决出来啦！！！嘎嘎嘎嘎~~~ 只需要在td标签里面嵌套上a标签就能实现啦！ 这里主要看一下功能，页面直接使用的白板~ html页面的具体代码如下（将超链接标签a的样式进行了美化）： <!DOCTYPE html> <html lang="en"> <head> <meta charset="U
阅读全文
摘要：1、需要清楚的ER图的各个图形的含义 矩形--实体类； 椭圆形--实体类的属性； 菱形--代表实体类之间的关系； 虚线椭圆形--代表这个属性可以由其他属性派生出来（间接得到）； 双实线矩形--代表弱实体，即必须依赖某个实体而存在； 双实线椭圆形--代表多值属性，即一个实体的这个字段，可以有多个不同的
阅读全文
摘要：1、什么是上下文图？ 上下文图，是系统功能的最高抽象； 就是将系统内部看成一个“黑盒子”，而系统直接相联系的外界的所有交互才能与系统的抽象“黑盒子”相连，从而组成一个较为完整的流程； 2、如何画出上下文图 我们需要准确定义到系统的边界，并且，外部的用例参与者都是名词描述，而并非行为； 3、上下文图举
阅读全文
摘要：代码 application.yml spring: web: resources: static-locations: classpath:/static/,classpath:/templates/ datasource: type: com.alibaba.druid.pool.DruidDa
阅读全文
摘要：问题描述 访问html的默认主页面没问题，但是页面跳转直接404； 问题解决 解决不了一点，重新创建了一个项目，解决了！！！
阅读全文
摘要：问题描述 按照以往的代码进行SpringBoot的相应部署，但是爆出来这个错误： 问题解决 里面说找不到我定义的bean实体类，那就加上这么一条注解，让他能够找到实体类： 然后启动： 并在浏览器里面查看一下： ok！问题解决！
阅读全文
摘要：我看到了这个 跟着实操一下！ 1、加载数据（已经提供了csv文件） 建库建表 >这个比较简单，根据文件的字段名创建合适的表； create table msg( msg_time string comment "消息发送时间", sender_name string comment "发送人昵称",
阅读全文
摘要：1、explode函数（输入一行，输出多行） 引入lateral view侧视图的概念解决上面问题的限制： 2、UDAF聚合函数 增强聚合——grouping sets（相当于union all） 增强聚合——cube 增强聚合——rollup（是cube的子集，以左侧维度为主）
阅读全文
摘要：1、内置函数 1、字符串、时间类型函数 之前也是在c语言里面学过，包括concat、split等； 时间类型函数： 前不久用到的函数： date_add >当前日期的后的第几天的日期； date_sub >当前日期的前的第几天的日期； 2、数学函数、集合函数 round--取整数值（还能指定保留的精
阅读全文
浙公网安备 33010602011771号