随笔档案「2022年11月29日」：docker 设置阿里云加速器 ... - 枫夜求索阁

docker 设置阿里云加速器

摘要：除了使用阿里云的例子来进行设置，这里有更加简单快捷的方式来进行设置加速器。优化原因 Ubuntu 16.04 和 CentOS 7... 阅读全文

posted @ 2022-11-29 18:41 枫夜求索阁阅读(55) 评论(0) 推荐(0)

JSP里面的一些区别（初整理）

摘要：最近开始学习JSP了，所以就会将每天学习到的东西发到博客上，希望大家不吝指教。当然，现在才是开始，所以就只有一些比较浅的东西，我会渐渐地进步，然后将一些更好的东西奉献给大家。一、静态包含和动态包含的区别 1、属性： include指令不支持JS... 阅读全文

posted @ 2022-11-29 18:41 枫夜求索阁阅读(46) 评论(0) 推荐(0)

Java学习系列：程序设置环境变量，进而访问指定网站信息

摘要：文章目录场景环境正文总结随缘求赞场景有时候，在实际开发的时候，有时候需要通过网络设置才能访问到某些页面。而部分软件是不会针对... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(53) 评论(0) 推荐(0)

springboot学习系列：项目以普通方式打包的方法

摘要：文章目录场景环境正文spring-boot-maven-plugin 插件命令解决方法命令行设置maven文件设置总结随... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(62) 评论(0) 推荐(0)

springboot学习系列：使用log4j2日志框架，根据spring变量动态创建日志文件

摘要：文章目录场景环境正文原理解说源码展示结果总结参考链接随缘求赞场景旧项目切换为微服务框架，其中为了兼容旧项目的日志框架，使... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(369) 评论(0) 推荐(0)

问题解决：java.lang.NoSuchMethodError: org.springframework.aop.support.AopUtils.isCglibProxyClass

摘要：文章目录问题场景问题环境问题原因解决方案一、降低spring版本二、升级CXF版本三、项目新建AopUtils类，覆盖写入方法 ... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(548) 评论(0) 推荐(0)

springboot学习系列：JSP页面调用JS，页面显示乱码

摘要：文章目录问题场景问题环境问题原因target生成的文件编码问题设置过滤器进行编码转换结果总结随缘求赞问题场景最近在进行旧... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(154) 评论(0) 推荐(0)

问题解决：MySQL中执行sql语句错误 Error Code: 1093

摘要：文章目录问题场景问题环境问题原因解决方案总结随缘求赞问题场景 mysql执行以下SQL update test set i_s... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(231) 评论(0) 推荐(0)

集锦系列：Linux日常工作命令集锦 (持续更新)

摘要：文章目录场景正文系统管理类运维管理类网络管理类常用命令防火墙 iptables 代码管理Git命令总结更新记录随缘求... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(26) 评论(0) 推荐(0)

问题解决：struts版本升级为2.5.22，struts某些action扫描不进，调用action报404错

摘要：文章目录问题场景问题环境问题原因一、配置是否存在问题二、代码扫描action的时候，存在问题解决方案总结参考链接随缘求赞问... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(330) 评论(0) 推荐(0)

使用正则表达式将纯数字的章节进行替换，使得读书软件可以识别章节

摘要：文章目录场景环境正文处理思路源码结果总结随缘求赞场景下载了小说下来，但是使用读书软件打开本地的小说文件，没办法识别其章节... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(797) 评论(0) 推荐(0)

IDEA学习系列：查看lib源码显示乱码的解决方式

摘要：文章目录场景环境正文原因解决方案一、打开setting二、修改全局编码三、验证说明总结随缘求赞场景使用idea进行开... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(341) 评论(0) 推荐(0)

Oracle学习系列：将较大的SQL文件导入数据库的操作步骤（含踩坑记录）

摘要：文章目录场景环境正文一、前提二、上传SQL文件到服务器三、使用SQLplus命令登录四、导入SQL文件五、结果踩坑记录登录异... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(943) 评论(0) 推荐(0)

问题解决：遇到tomcat的假死问题，如何排查问题

摘要：文章目录问题场景问题环境问题原因排查过程查看tomcat的gc情况排查内存泄露问题HashMap死锁CLOSE_WAIT过多情况... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(1164) 评论(0) 推荐(0)

问题解决：启动tomcat，日志输出：java.lang.ClassNotFoundException: com.tingyun.api.agent.TingYunApiImpl

摘要：文章目录问题场景问题环境问题原因解决方案结果总结随缘求赞问题场景有一个老项目，其中的tomcat有引入听云的插件。之后，因为... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(74) 评论(0) 推荐(0)

问题解决：java运行HiveQL，报错：java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration

摘要：文章目录问题场景问题环境问题原因解决方案结果总结随缘求赞问题场景使用Java编写HiveQL语句，然后通过jdbc的方式远程... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(563) 评论(0) 推荐(0)

问题解决：mysql执行插入操作，报“You can change this value on the server by setting the max_allowed_packet”

摘要：文章目录问题场景问题环境问题原因解决方案临时方案永久方案（需要重启mysql服务）结果总结随缘求赞问题场景项目开发过程中... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(564) 评论(0) 推荐(0)

问题解决：Given NMToken for application : appattempt_xxx is not valid for current node manager

摘要：文章目录问题场景问题环境问题原因解决方案结果总结随缘求赞问题场景登录服务器，使用hive -f test.sql命令，启动了... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(88) 评论(0) 推荐(0)

问题解决：除非另外还指定了 TOP 或 FOR XML，否则，ORDER BY 子句在视图、内联函数、派生表、子查询和公用表表达式中无效

摘要：文章目录问题场景问题环境问题原因解决方案结果总结随缘求赞问题场景因为项目需要，需要在公共框架里面引入sqlserver方言类... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(179) 评论(0) 推荐(0)

Hive学习系列：maven+springboot+CDH环境下，连接Hive进行操作

摘要：文章目录场景环境正文确定Hive版本新建项目，并引入hive-jdbc依赖demo示例结果总结随缘求赞场景在当前项目中，... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(434) 评论(0) 推荐(0)

问题解决：flyway源码编译，报：flyway-core: Fatal error compiling: 无效的标记: --release

摘要：文章目录问题场景问题环境问题原因解决方案将JDK版本进行升级（推荐）pom.xml 注释掉 `8` 总结参考文档随缘求赞问题... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(679) 评论(0) 推荐(0)

maven学习系列：springboot+idea环境下，将本地jar包打包到最后的结果包里面

摘要：文章目录场景环境正文项目根目录新建lib文件夹pom.xml 配置对应的lib依赖pom.xml 配置对应的编译参数运行结果 ... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(123) 评论(0) 推荐(0)

问题解决：CDH重启报错，启动不了的解决步骤

摘要：文章目录问题场景问题环境问题原因确定重启命令尝试连接页面确定环境查看日志解决方案数据库配置文件是否正常权限是否赋权正常总... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(1151) 评论(0) 推荐(0)

mysql学习系列：总结数据库连接不上的数种情况，问题编号：ERROR 1045 (28000)

摘要：文章目录场景环境正文一、密码输入错误i、root账户忘记密码关闭mysql服务免密启动mysql服务免密码登录修改密码刷新配置重... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(106) 评论(0) 推荐(0)

elasticsearch学习系列：开发springboot程序进行定时删除过期索引

摘要：文章目录场景环境正文流程梳理show the codemaven依赖配置文件主要函数配置类处理类结果总结随缘求赞... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(153) 评论(0) 推荐(0)

设计模式学习系列：模板方法模式的学习

摘要：文章目录前言环境正文定义说明例子需求思路设计show the codeDealProcess 类代码DealBookProces... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(11) 评论(0) 推荐(0)

vue学习系列：JS跨域问题的解决

摘要：文章目录场景环境正文一、介绍1、根由2、同源的定义3、限制同源的缘由4、为什么需要跨域二、解决方法1、CORS简介2、前端... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(89) 评论(0) 推荐(0)

问题解决：io.grpc.netty.shaded.io.netty.handler.ssl.NotSslRecordException: not an SSL/TLS record

摘要：文章目录问题场景问题环境问题原因解决方案一、简单快捷二、安全但有点繁琐结果总结参考链接随缘求赞问题场景最近使用公司微服务... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(1747) 评论(0) 推荐(0)

kafka学习系列：消息发送确认机制，避免程序退出导致数据丢失的情况

摘要：文章目录场景环境正文spring-kafka发送消息的介绍消息发送确认机制一、同步阻塞二、异步等待结果返回总结参考链接随... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(253) 评论(0) 推荐(0)

Java学习系列：比较两个文件的差异，并输出差异的部分

摘要：文章目录场景环境正文思路示例样例输出总结随缘求赞场景临下班的时候，上级交给我一个任务，要求把某个目录的配置文件和官方的配... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(225) 评论(0) 推荐(0)

Java学习系列：package-info.java的作用

摘要：文章目录场景环境正文介绍用途一、提供包级别的注解介绍样例二、提供包级别的变量介绍样例三、提供包级别的注释介绍样例... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(1304) 评论(0) 推荐(0)

kafka学习系列：根据数据库获取主题列表，并根据主题启动不同的消费者，实现主题间消费互不影响

摘要：文章目录场景环境正文一、项目依赖二、项目配置三、正文参考链接总结随缘求赞场景公司自研框架开发中，使用了kafka组件，需... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(143) 评论(0) 推荐(0)

ansible学习系列之lineinfile模块的使用

摘要：文章目录 ansible系列文章场景环境正文简介参数样例官方样例修改配置文件示例参考链接总结随缘求赞 ansible系列文... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(404) 评论(0) 推荐(0)

Java学习系列：使用SignalHandler来处理Linux信号量，控制程序结束的步骤

摘要：文章目录场景环境正文SignalHandler类的编写SignalHandler类的绑定执行脚本说明结果参考链接总结随... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(252) 评论(0) 推荐(0)

问题解决：FTPClient在centos7上下载文件之后，文件大小不一致，缺失字符

摘要：文章目录问题场景问题环境问题原因解决方案结果总结随缘求赞问题场景最近有一个采集任务，需要使用spring-boot项目从FT... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(218) 评论(0) 推荐(0)

问题解决：ftp并发读取文件内容时，会出现ftp连接数过多，进而导致读取文件出现问题

摘要：文章目录场景环境问题原因解决方案1. 官方方案2. 本文的解决方法结果总结随缘求赞场景 ftp并发读取文件内容时，过了一段... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(642) 评论(0) 推荐(0)

ansible学习系列之become的使用

摘要：文章目录 ansible系列文章场景环境介绍参数介绍样例官方提供个人样例说明问题一、使用`become`好像不生效，一直报... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(381) 评论(0) 推荐(0)

ansible学习系列之make模块的使用

摘要：文章目录 ansible系列文章场景环境前置要求介绍参数介绍样例官方提供`redis`编译样例说明结果总结参考链接随缘求赞... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(136) 评论(0) 推荐(0)

问题解决：centos7 root su "no permission to execute the command"

摘要：文章目录问题场景问题环境问题原因没有文件的执行权限尝试被系统的安全模块所限制解决方案修改执行文件的权限使用`sudo`... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(458) 评论(0) 推荐(0)

ansible学习系列之顺利启动后台程序

摘要：文章目录 ansible系列文章场景环境原因尝试添加`nohup`指令`source`环境变量结果总结参考链接随缘求赞 ans... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(175) 评论(0) 推荐(0)

ansible学习系列之tags的使用

摘要：文章目录 ansible系列文章场景环境原因尝试编写`Role`脚本使用不同标签进行测试使用`test1`标签进行测试使用`tes... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(37) 评论(0) 推荐(0)

深入思考系列——"Synchronization on a non-final field"

摘要：文章目录场景环境原因尝试错误范例正确范例总结随缘求赞场景程序里面使用了synchronized关键字，IntelliJ ... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(204) 评论(0) 推荐(0)

问题解决：java.lang.ExceptionInInitializerError 因变量未注入就使用导致的报错

摘要：文章目录问题场景问题环境问题原因解决方案结果总结随缘求赞问题场景使用springCloud微服务框架，自己的一个微服务项目在... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(142) 评论(0) 推荐(0)

问题解决：hive建表之后存在中文注释乱码的问题

摘要：文章目录问题场景问题环境问题原因解决方案结果总结参考链接随缘求赞问题场景为了后面的维护同事方便，一般都会要求同事在写hive... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(179) 评论(0) 推荐(0)

问题解决：尝试解决maven依赖找不到的n种姿势

摘要：文章目录问题场景问题环境问题原因解决方案结果总结参考链接吐槽随缘求赞问题场景公司的原仓库出了问题，需要更换新的仓库。故给了一... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(1882) 评论(0) 推荐(0)

问题解决：NameError: name 'platform_system' is not defined

摘要：文章目录问题场景问题环境问题原因解决方案结果总结随缘求赞问题场景使用 pip安装依赖的时候，更新之后，更新的依赖不能用。比如... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(0) 评论(0) 推荐(0)

spark程序调优总结

摘要：目录目的环境调优步骤参数优化RDD优化rdd复用rdd持久化广播大变量算子优化mapPartitionsforeach... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(60) 评论(0) 推荐(0)

客户环境没办法查看Spark UI页面，怎么办？让我们来使用Spark REST API查看作业信息吧！

摘要：文章目录场景环境IP关系使用步骤1. 获取链接IP及端口1. 获取spark主机域名或ip（适用于查找历史应用）2. 根据日志查... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(241) 评论(0) 推荐(0)

问题解决：Only SubQuery expressions that are top level conjuncts are allowed

摘要：文章目录问题场景问题环境问题原因解决方案结果总结PS 问题场景在CDH的hue界面控制台上面，使用hive组件，执... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(1196) 评论(0) 推荐(0)

问题解决：Not able to initialize app directories in any of the configured local directories

摘要：问题场景集群之前启用了Kerberos，但是后来为了使用方便，将相关的配置都去除了。在hive上面执行SQL，比如select a... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(50) 评论(0) 推荐(0)

问题解决：spark程序运行过程中，集群线程过多，异常中断（Couldn't set up IO streams）

摘要：问题场景 spark程序提交之后，运行之后，报错，报错提示如下： Caused by: java.io.IOException: C... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(0) 评论(0) 推荐(0)

：系统稳定性——OutOfMemoryError 常见原因及解决方法

摘要：系统稳定性——OutOfMemoryError 常见原因及解决方法作者：夏明（涯海）创作日期：2019-07-15 专栏地址... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(73) 评论(0) 推荐(0)

问题解决：scala.MatchError: 816356 (of class java.lang.Integer)

摘要：问题场景使用spark进行业务统计的时候，统计过程中触发这个问题，并导致程序异常退出问题环境 spark 1.6scala 2.... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(68) 评论(0) 推荐(0)

免费亚马逊服务器过期收费，申诉并得到解决

摘要：问题场景在去年的1月份，申请了亚马逊一年的免费服务器，在前面还用得不错，但是后来遇上国庆等节日，服务器就没办法访问了。后来就搁置了... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(73) 评论(0) 推荐(0)

spark程序优化之一：善用 persist 方法

摘要：场景在编写spark程序代码的时候，如果涉及大数据运算的时候，一次计算可能得几十分钟甚至一个小时以上，更极端的情况则是，一个较大的... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(298) 评论(0) 推荐(0)

hive udf error: overloaded method value format with alternatives:

摘要：场景 spark开发udf的时候，有使用String.format函数，对数字进行格式化，结果运行报错报错提示 error: ov... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(152) 评论(0) 推荐(0)

问题解决：CDH集群-无法找到主机的NTP 服务,或该服务未响应时钟偏差请求

摘要：场景 CDH集群启动成功，但是有某些主机提示“无法找到主机的NTP 服务,或该服务未响应时钟偏差请求” 问题思路 NTP服务没有正常... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(193) 评论(0) 推荐(0)

问题解决：Idea运行提示：Command line is too long

摘要：问题提示 Command line is too long. Shorten command line for TestHdfs o... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(335) 评论(0) 推荐(0)

问题解决：spark.debug.maxToStringFields

摘要：问题场景使用spark 2.4.0进行统计数据，报错误，错误提示为： WARN Utils:66 - Truncated the... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(338) 评论(0) 推荐(0)

问题解决：Spark Unable to load native-hadoop library for your platform

摘要：软件版本软件版本spark2.4.0hadoop3.2.0scala2.11.8问题场景启动spark-shell的时候，有WA... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(138) 评论(0) 推荐(0)

spring-kafka 设置发送消息的大小

摘要：环境 spring boot2spring cloudspring-kafkakakfa 2.2.0 场景程序调用spring-k... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(456) 评论(0) 推荐(0)

新建redis集群

摘要： redis版本 5.0.5 主备规划三主三从安装路径 /opt/redis-5.0.5 操作步骤安装依赖 # 需要外网yum... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(13) 评论(0) 推荐(0)

CDH-Kerberos环境下，HBASE java连接

摘要：下载相关配置文件登录CDH控制台，到HBASE的登录页面，下载相关的配置文件到本地新建maven项目，将... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(66) 评论(0) 推荐(0)

kafka问题解决：windows10 下删除主题之后，异常退出，无法启动

摘要：环境 win10 + kafka_2.11-1.1.0 场景新增一个主题之后，进行删除操作，kafka异常退出。无法打开。打开报错... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(343) 评论(0) 推荐(1)

kafka问题解决：Error while fetching metadata with correlation id 1 : {alarmHis=LEADER_NOT_AVAILABLE}

摘要：环境 springboot2 + kafka_2.11-1.1.0，kafka是单机版环境报错提示 Error while fet... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(425) 评论(0) 推荐(0)

windows10 启动zookeeper，报端口被占用，但是查询没有占用

摘要：场景启动zookeeper，但是报 Unexpected exception, exiting abnormally java.n... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(188) 评论(0) 推荐(0)

spring-cloud集成swagger2之后，访问发现404之解决方案

摘要：问题场景 spring-cloud集成swagger2之后，访问页面，报Whitelabel Error Page 解决方案网上查... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(330) 评论(0) 推荐(0)

CDH磁盘空间即将满之后的解决措施

摘要：版本环境 CDH 5.15.5 8台主机，每台机存储100GB，内存为8GB 问题 CDH页面报错，一些服务挂掉，无法使用。查看主机... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(166) 评论(0) 推荐(0)

Eureka 概念

摘要： Eureka的相关概念 Register 服务注册。当Eureka Client向Eureka Server注册的时候... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(22) 评论(0) 推荐(0)

spring-boot引入swagger2之操作步骤

摘要：引入依赖 io.springfox springfox-swagger2 2.8.0 io.springfox springfo... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(23) 评论(0) 推荐(0)

SparkException——Dynamic partition strict mode 问题解决

摘要：问题场景在spark-shell控制台，运行testDF.write.mode("append").partitionBy("dt... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(431) 评论(0) 推荐(0)

hive表新增字段之数据展示问题解决

摘要：问题场景给表新增了字段，重新运行了SQL，但是控制台select表数据，新增的字段值一直为空问题解析查看了SQL，SQL没有问... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(44) 评论(0) 推荐(0)

Sybase 插入语句的字段值有分隔符“'”的解决方案

摘要：问题场景往Sybase库插入数据的时候，有一个字段的值是要存入SQL语句，含有分隔符“’”，如何正确地插入语句？解决方案在字段... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(0) 评论(0) 推荐(0)

idea2017.2 使用scala进行编译报错问题解决

摘要：报错提示 Error:scalac: Error: Uninitialized object exists on backward ... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(108) 评论(0) 推荐(0)

hadoop hive 动态分区

摘要：应用场景突然业务有要求，要求将以前的每个月的数据进行抽取保存。如果只是单纯一条一条的执行，又太过于繁琐。作为程序员，这肯定不能忍。... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(23) 评论(0) 推荐(0)

“ error in shuffle in fetcher”的解决方案

摘要：问题场景使用hive进行数据的统计，发现数据进行到一半，就异常退出。查看了报错，是栈溢出，导致了异常。问题分析通过查找资料和查... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(50) 评论(0) 推荐(0)

Java多线程写文件

摘要：问题场景调用多个线程将多个文件进行合并，当初没有考虑到多线程操作文件会造成的脏数据，导致了业务出问题。解决方法审查文件操作的方... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(191) 评论(0) 推荐(0)

Linux 编辑环境变量的三种方式

摘要：目的编辑环境变量方式有3种方式进行编辑环境变量 1. 临时性在控制台直接使用export命令即可。例如： expo... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(127) 评论(0) 推荐(0)

hive 如何去除两个表相同的部分

摘要：问题场景在项目开发当中，有时候需要配合用户出报表数据。这一部分是一个难题，因为数据量大，运行时间比较长，所以就需要慎重地写SQL，... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(95) 评论(0) 推荐(0)

Linux tar 打包排除某些文件夹

摘要：场景想要将以前的程序打包下来，但是发现有log日志，而且比较大，有几G大。解决思路打包的时候，将某些文件夹给排除掉，只打包自己... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(310) 评论(0) 推荐(0)

hive笔记

摘要： hive不支持修改表中数据，但是可以修改表结构，而不影响数据有local的速度明显比没有local慢在hive内执行Hadoop的d... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(18) 评论(0) 推荐(0)

hive 命令整理

摘要：启动 hive 数据库操作 create database database_name; -- 新建数据库creat databas... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(67) 评论(0) 推荐(0)

数据库中 join 的使用

摘要： join的作用关联多张表数据，并通过条件筛选符合条件的数据。 join的类型一般来说，会有四种： 1. left join(左... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(119) 评论(0) 推荐(0)

数据库"not in"遇到的坑

摘要：问题场景写一个简单的SQL来将两个表进行合并，但是需要将两个表相同的部分给排除了。所以使用not in来进行排除，可是没有达到效果... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(24) 评论(0) 推荐(0)

解决 idea tomcat启动项目报错——Unable to open debugger port

摘要：问题场景打开idea准备debug模式启动tomcat项目，却启动失败报错：Unable to open debugger por... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(1069) 评论(0) 推荐(0)

dirname命令学习

摘要：使用场景为了方便脚本的移植，在脚本可以使用 dirname 命令来进行获取相对路径，这样脚本的可用性将会获得提高。命令详解 ... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(33) 评论(0) 推荐(0)

问题修复：启动kafka服务器，显示内存不足

摘要：问题场景按照Kafka网站的启动步骤进行测试，发现问题。问题描述容器显示内存不足 failed; error=’Cannot... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(146) 评论(0) 推荐(0)

问题解决：Unable to open nested entry ‘********.jar‘ 问题解决

摘要：一、问题场景在现场服务器上面，直接使用 winRAR 将 jar打开，然后直接拖拽一个新的子JAR进行替换。之后，执行报错，提示：... 阅读全文

posted @ 2022-11-29 18:39 枫夜求索阁阅读(1197) 评论(0) 推荐(0)

docker学习系列：设置阿里云容器加速器

摘要：一、场景在本地使用docker开发的时候，有时候官方网站在国内网络有点慢，这个时候就需要使用阿里巴巴提供的容器服务。本篇文章主要是... 阅读全文

posted @ 2022-11-29 18:39 枫夜求索阁阅读(100) 评论(0) 推荐(0)

问题解决：WSL的CentOS7报错Failed to get D-Bus connection: Operation not permitted解决办法

摘要：一、问题场景本地Windows10启动WSL的centos7，然后在安装docker-ce之后，启动报错，错误提示如下： Redi... 阅读全文

posted @ 2022-11-29 18:39 枫夜求索阁阅读(1172) 评论(0) 推荐(0)

springboot学习系列：应用集群化之后，session获取值可能会出现为空的情况之解决方案

摘要：文章目录问题场景问题环境问题原因解决方案1、引入依赖2、配置redis3、配置spring-session 结果总结引用随缘求... 阅读全文

posted @ 2022-11-29 18:39 枫夜求索阁阅读(269) 评论(0) 推荐(0)

IDEA及gitlab 进行回滚

摘要：一、场景本地提交了代码到master，并推送到主分支了。需要回滚到具体的某个节点。本篇博客主要是讲诉该场景的处理方案。二、环... 阅读全文

posted @ 2022-11-29 18:39 枫夜求索阁阅读(126) 评论(0) 推荐(0)

nginx学习系列：nginx使用须知（持续更新ing）

摘要：一、目的主要是学习或者使用nginx之前，需要了解的基础知识。二、必备知识 1. 官网 https://nginx.org... 阅读全文

posted @ 2022-11-29 18:39 枫夜求索阁阅读(41) 评论(0) 推荐(0)

调优系列：高并发环境下，解决xml解析过慢的方法

摘要：文章目录场景环境正文一、环境准备二、启动项目和arthas工具三、查看进程情况四、源码剖析五、结果总结随缘求赞场景多线程... 阅读全文

posted @ 2022-11-29 18:39 枫夜求索阁阅读(291) 评论(0) 推荐(0)

问题解决：java.lang.IllegalArgumentException: character to be escaped is missing

摘要：文章目录问题场景问题环境问题原因解决方案结果总结随缘求赞问题场景在做代码生成工具，需要将对应代码的结果存放到 src/tes... 阅读全文

posted @ 2022-11-29 18:39 枫夜求索阁阅读(586) 评论(0) 推荐(1)

问题解决：io.lettuce.core.RedisCommandExecutionException: CLUSTERDOWN

摘要：文章目录问题场景问题环境问题原因解决方案结果总结随缘求赞问题场景程序调用redis集群，总是间歇性地提示报错，报错提示如下：... 阅读全文

posted @ 2022-11-29 18:39 枫夜求索阁阅读(670) 评论(0) 推荐(0)

问题解决：mysql load的时候，如果有中文字符存在，导入之后会出现乱码问题

摘要：文章目录问题场景问题环境问题原因解决方案1. 修改数据库的编码2. load命令指定编码结果总结随缘求赞问题场景使用lo... 阅读全文

posted @ 2022-11-29 18:39 枫夜求索阁阅读(400) 评论(0) 推荐(0)

集锦系列：Oracle日常工作SQL集锦 (持续更新)

摘要：文章目录场景正文表空间相关总结更新记录随缘求赞场景日常工作中，经常会使用Oracle，在这个过程中，需要查询某些数据，而... 阅读全文

posted @ 2022-11-29 18:39 枫夜求索阁阅读(12) 评论(0) 推荐(0)

问题解决：jupyter读取excel文件中的xlsx格式文件报错，提示 ImportError: Install xlrd ＞= 1.0.0

摘要：文章目录问题场景问题环境问题原因解决方案结果总结随缘求赞问题场景使用jupyter进行代码开发，在运行过程中，提示：Impo... 阅读全文

posted @ 2022-11-29 18:39 枫夜求索阁阅读(378) 评论(0) 推荐(0)

数据库学习系列：join 中 on 与 where的区别

摘要：文章目录场景环境正文一、数据准备1. 建表语句2. 数据插入二、测试总结随缘求赞场景在实际工作中，join是经常会... 阅读全文

posted @ 2022-11-29 18:39 枫夜求索阁阅读(78) 评论(0) 推荐(0)

导航

公告