博客园 - HarkLee
uuid:24b78886-0ed1-41c2-8670-e3f31dcf42c4;id=90920
2022-07-30T06:39:24Z
HarkLee
https://www.cnblogs.com/hark0623/
feed.cnblogs.com
https://www.cnblogs.com/hark0623/p/16386745.html
socks5搭建 - HarkLee
参考 https://blog.csdn.net/Vincent95/article/details/71172986?utm_source=blogxgwz0 系统centos 一、下载: wget --no-check-certificate https://nchc.dl.sourceforg
2022-06-17T10:19:00Z
2022-06-17T10:19:00Z
HarkLee
https://www.cnblogs.com/hark0623/
【摘要】参考 https://blog.csdn.net/Vincent95/article/details/71172986?utm_source=blogxgwz0 系统centos 一、下载: wget --no-check-certificate https://nchc.dl.sourceforg <a href="https://www.cnblogs.com/hark0623/p/16386745.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/hark0623/p/15747690.html
windows10开始菜单点击无反应,右侧网络连接点击无反应,任务栏程序右键点击 - HarkLee
起初参考的这个链接: https://answers.microsoft.com/zh-hans/windows/forum/all/win10%E6%9B%B4%E6%96%B0%E5%90%8E%E5%BC%80%E5%A7%8B/6ac35e91-5f2f-4f0e-b61b-638fa0ab
2021-12-30T02:19:00Z
2021-12-30T02:19:00Z
HarkLee
https://www.cnblogs.com/hark0623/
【摘要】起初参考的这个链接: https://answers.microsoft.com/zh-hans/windows/forum/all/win10%E6%9B%B4%E6%96%B0%E5%90%8E%E5%BC%80%E5%A7%8B/6ac35e91-5f2f-4f0e-b61b-638fa0ab <a href="https://www.cnblogs.com/hark0623/p/15747690.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/hark0623/p/14918284.html
Could not contact localhost:8005. Tomcat may not be running. Enable debug logging for this logger for a complete list of JARs that were scanned but no TLDs were found in them. Skipping unneed... - HarkLee
启动时会卡在: Enable debug logging for this logger for a complete list of JARs that were scanned but no TLDs were found in them. Skipping unneeded JARs duri
2021-06-22T05:54:00Z
2021-06-22T05:54:00Z
HarkLee
https://www.cnblogs.com/hark0623/
【摘要】启动时会卡在: Enable debug logging for this logger for a complete list of JARs that were scanned but no TLDs were found in them. Skipping unneeded JARs duri <a href="https://www.cnblogs.com/hark0623/p/14918284.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/hark0623/p/14918216.html
linux中rc.local设置开机自启没有生效 - HarkLee
执行ll /etc/rc.local命令,发现/etc/rc.local映射文件是/etc/rc.d/rc.local 再ll /etc/rc.d/rc.local发现这个文件没有执行权限(少了x); 其实vi /etc/rc.local有这样一段话 # Please note that you m
2021-06-22T05:38:00Z
2021-06-22T05:38:00Z
HarkLee
https://www.cnblogs.com/hark0623/
【摘要】执行ll /etc/rc.local命令,发现/etc/rc.local映射文件是/etc/rc.d/rc.local 再ll /etc/rc.d/rc.local发现这个文件没有执行权限(少了x); 其实vi /etc/rc.local有这样一段话 # Please note that you m <a href="https://www.cnblogs.com/hark0623/p/14918216.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/hark0623/p/14636843.html
使用protobuf解析,出现protobuf.InvalidProtocolBufferException:Protocol message end-group tag did not match expected tag.错误 - HarkLee
这个错误代表解析的流的结构与我们的proto文件结构不一致。 最好的办法,就是将解析的流以文本做一下输出,做一下结构对比,就能很轻易的定位出问题。
2021-04-09T06:04:00Z
2021-04-09T06:04:00Z
HarkLee
https://www.cnblogs.com/hark0623/
【摘要】这个错误代表解析的流的结构与我们的proto文件结构不一致。 最好的办法,就是将解析的流以文本做一下输出,做一下结构对比,就能很轻易的定位出问题。 <a href="https://www.cnblogs.com/hark0623/p/14636843.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/hark0623/p/14217001.html
hdfs副本调整不生效 - HarkLee
众所周知,修改hdfs-site.xml的属性 <property> <name>dfs.replication</name> <value>2</value> </property> 即可调整副本数量,但实际生产环境的时,发现直接在HDFS上传文件,副本数量确实是2,但如果使用hive进行操作,副
2020-12-31T07:26:00Z
2020-12-31T07:26:00Z
HarkLee
https://www.cnblogs.com/hark0623/
【摘要】众所周知,修改hdfs-site.xml的属性 <property> <name>dfs.replication</name> <value>2</value> </property> 即可调整副本数量,但实际生产环境的时,发现直接在HDFS上传文件,副本数量确实是2,但如果使用hive进行操作,副 <a href="https://www.cnblogs.com/hark0623/p/14217001.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/hark0623/p/13719232.html
nginx正向代理https,启动时报错 - HarkLee
http { include mime.types; default_type application/octet-stream; #log_format main '$remote_addr - $remote_user [$time_local] "$request" ' # '$status
2020-09-23T08:22:00Z
2020-09-23T08:22:00Z
HarkLee
https://www.cnblogs.com/hark0623/
【摘要】http { include mime.types; default_type application/octet-stream; #log_format main '$remote_addr - $remote_user [$time_local] "$request" ' # '$status <a href="https://www.cnblogs.com/hark0623/p/13719232.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/hark0623/p/12871015.html
TCP链接情况 - HarkLee
netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
2020-05-11T10:42:00Z
2020-05-11T10:42:00Z
HarkLee
https://www.cnblogs.com/hark0623/
【摘要】netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}' <a href="https://www.cnblogs.com/hark0623/p/12871015.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/hark0623/p/12749538.html
单例模式 - HarkLee
分为饿汉模式及懒汉模式 饿汉模式是初始化时创建。 懒汉模式是使用时创建。 饿汉模式: public class Student1 { // 2:成员变量初始化本身对象 private static Student1 student = new Student1(); // 1:构造私有 privat
2020-04-22T00:08:00Z
2020-04-22T00:08:00Z
HarkLee
https://www.cnblogs.com/hark0623/
【摘要】分为饿汉模式及懒汉模式 饿汉模式是初始化时创建。 懒汉模式是使用时创建。 饿汉模式: public class Student1 { // 2:成员变量初始化本身对象 private static Student1 student = new Student1(); // 1:构造私有 privat <a href="https://www.cnblogs.com/hark0623/p/12749538.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/hark0623/p/12426667.html
一个超时排查 - HarkLee
架构 nginx + 若干内网tomcat + 若干出口服务器 表现: 突然某些流量超时严重 排查: 发现是某一个出口代理服务器流量激增,导致超时。 排查发现该服务器TCP连接个数异常,与流量波动严重不符。 正常情况下应该是1000左右。 最终将出口IP从联通换成电信就解决了。(条件所限,没有BGP
2020-03-06T07:08:00Z
2020-03-06T07:08:00Z
HarkLee
https://www.cnblogs.com/hark0623/
【摘要】架构 nginx + 若干内网tomcat + 若干出口服务器 表现: 突然某些流量超时严重 排查: 发现是某一个出口代理服务器流量激增,导致超时。 排查发现该服务器TCP连接个数异常,与流量波动严重不符。 正常情况下应该是1000左右。 最终将出口IP从联通换成电信就解决了。(条件所限,没有BGP <a href="https://www.cnblogs.com/hark0623/p/12426667.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/hark0623/p/12250999.html
Hive清洗emoji及\0 - HarkLee
写的UDF public class FilterEmojiUDF extends UDF { public String evaluate(String str) { if (str == null || str == "") { return null; } else { StringBuild
2020-02-02T00:33:00Z
2020-02-02T00:33:00Z
HarkLee
https://www.cnblogs.com/hark0623/
【摘要】写的UDF public class FilterEmojiUDF extends UDF { public String evaluate(String str) { if (str == null || str == "") { return null; } else { StringBuild <a href="https://www.cnblogs.com/hark0623/p/12250999.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/hark0623/p/12248889.html
迁移hive表及hive数据 - HarkLee
公司hadoop集群迁移,需要迁移所有的表结构及比较重要的表的数据(跨云服务机房,源广州机房,目标北京机房) 1、迁移表结构 1)、老hive中导出表结构 hive -e "use db;show tables;" > tables.txt #!/bin/bash cat tables.txt |w
2020-02-01T08:22:00Z
2020-02-01T08:22:00Z
HarkLee
https://www.cnblogs.com/hark0623/
【摘要】公司hadoop集群迁移,需要迁移所有的表结构及比较重要的表的数据(跨云服务机房,源广州机房,目标北京机房) 1、迁移表结构 1)、老hive中导出表结构 hive -e "use db;show tables;" > tables.txt #!/bin/bash cat tables.txt |w <a href="https://www.cnblogs.com/hark0623/p/12248889.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/hark0623/p/11962547.html
检查一下主机安全情况 - HarkLee
1. who 查看当前登录用户2. last查看历史登录用户3. history 查看历史执行命令4. cat /var/log/secure | grep -i "accepted password" 查看成功登录记录信息5. cat /var/log/secure | grep -i "fail
2019-11-30T07:08:00Z
2019-11-30T07:08:00Z
HarkLee
https://www.cnblogs.com/hark0623/
【摘要】1. who 查看当前登录用户2. last查看历史登录用户3. history 查看历史执行命令4. cat /var/log/secure | grep -i "accepted password" 查看成功登录记录信息5. cat /var/log/secure | grep -i "fail <a href="https://www.cnblogs.com/hark0623/p/11962547.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/hark0623/p/11946780.html
hue创建的hdfs数据在hdfs无法删除的问题。 - HarkLee
在linux时删除时出现: 原来是用户组是文件是用户组admin。 但是我们linux系统中没有admin用户。 这时使用hadoop即可执行操作,因为是批量原因,所以我这边是把所有的文件所有者修改成 root了:
2019-11-28T00:39:00Z
2019-11-28T00:39:00Z
HarkLee
https://www.cnblogs.com/hark0623/
【摘要】在linux时删除时出现: 原来是用户组是文件是用户组admin。 但是我们linux系统中没有admin用户。 这时使用hadoop即可执行操作,因为是批量原因,所以我这边是把所有的文件所有者修改成 root了: <a href="https://www.cnblogs.com/hark0623/p/11946780.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/hark0623/p/11946778.html
关于使用sudo找不到环境变量的问题 - HarkLee
参考这里:https://www.cnblogs.com/zhongshiqiang/p/10839666.html 使用sudo -E 保留当前用户环境,这时就不会存在找不到环境变量的问题了。
2019-11-28T00:36:00Z
2019-11-28T00:36:00Z
HarkLee
https://www.cnblogs.com/hark0623/
【摘要】参考这里:https://www.cnblogs.com/zhongshiqiang/p/10839666.html 使用sudo -E 保留当前用户环境,这时就不会存在找不到环境变量的问题了。 <a href="https://www.cnblogs.com/hark0623/p/11946778.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/hark0623/p/11782557.html
HDFS修改副本数,并生效。 - HarkLee
1、hadoop集群使用的ucloud的uahdoop 2、是公司集群配置小,只有两台core节点,实际就是两台的datanode。 容量占用超过了80%,需要缩减副本以空出容量。 3、查看 可以看到,每个文件三个副本。 4、执行 将所有的已经上传的副本从3个变成了两个 5、再执行第三步脚本确认。
2019-11-02T07:30:00Z
2019-11-02T07:30:00Z
HarkLee
https://www.cnblogs.com/hark0623/
【摘要】1、hadoop集群使用的ucloud的uahdoop 2、是公司集群配置小,只有两台core节点,实际就是两台的datanode。 容量占用超过了80%,需要缩减副本以空出容量。 3、查看 可以看到,每个文件三个副本。 4、执行 将所有的已经上传的副本从3个变成了两个 5、再执行第三步脚本确认。 <a href="https://www.cnblogs.com/hark0623/p/11782557.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/hark0623/p/11051133.html
Linux创建用户,SFTP只允许访问指定目录 - HarkLee
首先创建用户 我这里配置lus1这个用户目录,为sftp指向目录,即/home/lus1/ 重启sshd服务 指定文件夹权限 这时,lus1即可SFTP登录,并且只能访问指定的目录。 但这时只能查看,不能上传。如果要实现上传,我们需要在当前目录建立当前用户有权限操作的目录: 这时,就可以进行上传操作
2019-06-19T06:35:00Z
2019-06-19T06:35:00Z
HarkLee
https://www.cnblogs.com/hark0623/
【摘要】首先创建用户 我这里配置lus1这个用户目录,为sftp指向目录,即/home/lus1/ 重启sshd服务 指定文件夹权限 这时,lus1即可SFTP登录,并且只能访问指定的目录。 但这时只能查看,不能上传。如果要实现上传,我们需要在当前目录建立当前用户有权限操作的目录: 这时,就可以进行上传操作 <a href="https://www.cnblogs.com/hark0623/p/11051133.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/hark0623/p/11039917.html
【转】PostgreSQL与MySQL比较 - HarkLee
转自:https://www.cnblogs.com/geekmao/p/8541817.html PostgreSQL与MySQL比较 特性 MySQL PostgreSQL 实例 通过执行 MySQL 命令(mysqld)启动实例。一个实例可以管理一个或多个数据库。一台服务器可以运行多个 mys
2019-06-17T07:26:00Z
2019-06-17T07:26:00Z
HarkLee
https://www.cnblogs.com/hark0623/
【摘要】转自:https://www.cnblogs.com/geekmao/p/8541817.html PostgreSQL与MySQL比较 特性 MySQL PostgreSQL 实例 通过执行 MySQL 命令(mysqld)启动实例。一个实例可以管理一个或多个数据库。一台服务器可以运行多个 mys <a href="https://www.cnblogs.com/hark0623/p/11039917.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/hark0623/p/10901918.html
HIVE出现Read past end of RLE integer from compressed stream Stream for column 1 kind LENGTH position: 359 length: 359 range: 0错误 - HarkLee
错误日志 环境: hive1.1.x ORC Snappy 原因: 使用 set hive.merge.mapfiles=true;set hive.merge.mapredfiles=true;set hive.merge.smallfiles.avgsize=256000000; 对小文件进行了
2019-05-21T11:42:00Z
2019-05-21T11:42:00Z
HarkLee
https://www.cnblogs.com/hark0623/
【摘要】错误日志 环境: hive1.1.x ORC Snappy 原因: 使用 set hive.merge.mapfiles=true;set hive.merge.mapredfiles=true;set hive.merge.smallfiles.avgsize=256000000; 对小文件进行了 <a href="https://www.cnblogs.com/hark0623/p/10901918.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/hark0623/p/10788702.html
HSDF查看各级目录的大小 - HarkLee
hadoop fs -du -h /
2019-04-29T02:01:00Z
2019-04-29T02:01:00Z
HarkLee
https://www.cnblogs.com/hark0623/
【摘要】hadoop fs -du -h / <a href="https://www.cnblogs.com/hark0623/p/10788702.html" target="_blank">阅读全文</a>