摘要: 1,如何保证消费顺序,比如同一个用户的下单,撤单肯定有先后顺序。 解决方法:把订单号放在topic中指定partition。 2,用户因为网络延迟导致下单失败,后端看不到用户订单消息,但是却撤单了。 解决方法:消费者消费消息的时候,先判断订单号是否属于下单失败,如果是,则把下单失败的消息放到重试表中 阅读全文
posted @ 2022-12-02 15:53 ppjj 阅读(1) 评论(0) 推荐(0) 编辑
摘要: 在伪分布式下,按照下面两个博客,分别以命令行方式和Eclipse执行WordCount程序时,都会出现同样的错误, (Eclipse:http://blog.csdn.net/wang_zhenwei/article/details/47422775) (命令行方式:http://blog.csdn 阅读全文
posted @ 2022-10-31 18:16 ppjj 阅读(28) 评论(0) 推荐(0) 编辑
摘要: 背景 利用ambari搭建的新环境,跑数据出现了不少问题,但如下问题困扰了很长时间,直到今天才得以解决,每次报错。按照网上的各种方式都不行。我知道问题点肯定在spark2.3.1 集成hive3.1.0的版本问题上,因为hive3.1.0新增了很多功能,如事务等,发布时间没有长时间的积累,出问题很容 阅读全文
posted @ 2022-10-31 18:07 ppjj 阅读(8) 评论(0) 推荐(0) 编辑
摘要: Driver有七个步骤。今天在写的时候不细心造成一个错误。 这是错误的 //6、设置输入路径和输出路径 FileInputFormat.setInputPaths(job,new Path("D:\\BaiduNetdiskDownload\\Hadoop\\ziliao\\11_input\\in 阅读全文
posted @ 2022-10-31 18:00 ppjj 阅读(4) 评论(0) 推荐(0) 编辑
摘要: 1、问题描述 经过研究才发现,这是因为作者使用了jdk8进行编译,而试图使用jdk11的功能,这就必然会导致版本问题,因为jdk8支持1-8这个区间的功能,如何解决这个问题呢? image-20220415205000583 2、平台JDK版本 首先介绍如何在IDEA上添加新版本,点击Project 阅读全文
posted @ 2022-10-31 17:55 ppjj 阅读(76) 评论(0) 推荐(0) 编辑
摘要: Configuration configuration = new Configuration(); FileSystem fs = FileSystem.get(new URI("hdfs://172.17.0.123:9000"), configuration, "hadoop"); 可能是没有 阅读全文
posted @ 2022-10-20 15:00 ppjj 阅读(7) 评论(0) 推荐(0) 编辑
摘要: Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=root, access=WRITE, inode 阅读全文
posted @ 2022-10-20 14:55 ppjj 阅读(12) 评论(0) 推荐(0) 编辑
摘要: strace :监控程序的执行状况 在linux 空间下,运行一个程序时,操作系统会将应用程序封装一个进程的形式,参与操作系统的调度,可以使用strace 跟踪程序运行的情况。 基本功能 监控用户进程与内核进程的交互 追踪进程的系统调用、信号传递、状态变化 一、系统调用 分类 文件和设备访问:ope 阅读全文
posted @ 2022-09-29 10:29 ppjj 阅读(17) 评论(0) 推荐(0) 编辑
摘要: 文章目录 一、介绍 二、基础用法 三、进阶用法 四、总结和建议 一、介绍 在日常工作中,我们总是能遇上各种各样奇怪的网络问题,比如我这台机器怎么 ping 不通了,我的 ssh 怎么又连不上了,这个控制台怎么又访问不了了等等各种网络问题,当然有时候可以通过 ping、telnet、arp 这些命令和 阅读全文
posted @ 2022-09-26 11:56 ppjj 阅读(224) 评论(0) 推荐(0) 编辑
摘要: Spring后置处理器(BeanPostProcessor)(BeanFactoryPostProcessor) Spring的后置处理器,在应用Spring框架开发中非常重要,Spring底层的核心,就通过各种后置处理器去完成IOC容器的启动,AOP代理对象的创建。 Spring的后置处理器有两大 阅读全文
posted @ 2022-08-26 23:06 ppjj 阅读(333) 评论(0) 推荐(0) 编辑