摘要：
写的UDF public class FilterEmojiUDF extends UDF { public String evaluate(String str) { if (str == null || str == "") { return null; } else { StringBuild 阅读全文
摘要：
公司hadoop集群迁移，需要迁移所有的表结构及比较重要的表的数据（跨云服务机房，源广州机房，目标北京机房） 1、迁移表结构 1）、老hive中导出表结构 hive -e "use db;show tables;" > tables.txt #!/bin/bash cat tables.txt |w 阅读全文
摘要：
1. who 查看当前登录用户2. last查看历史登录用户3. history 查看历史执行命令4. cat /var/log/secure | grep -i "accepted password" 查看成功登录记录信息5. cat /var/log/secure | grep -i "fail 阅读全文
摘要：
在linux时删除时出现： 原来是用户组是文件是用户组admin。 但是我们linux系统中没有admin用户。 这时使用hadoop即可执行操作，因为是批量原因，所以我这边是把所有的文件所有者修改成 root了： 阅读全文
摘要：
参考这里：https://www.cnblogs.com/zhongshiqiang/p/10839666.html 使用sudo -E 保留当前用户环境，这时就不会存在找不到环境变量的问题了。 阅读全文
摘要：
1、hadoop集群使用的ucloud的uahdoop 2、是公司集群配置小，只有两台core节点，实际就是两台的datanode。 容量占用超过了80%，需要缩减副本以空出容量。 3、查看 可以看到，每个文件三个副本。 4、执行 将所有的已经上传的副本从3个变成了两个 5、再执行第三步脚本确认。 阅读全文
摘要：
首先创建用户 我这里配置lus1这个用户目录，为sftp指向目录，即/home/lus1/ 重启sshd服务 指定文件夹权限 这时，lus1即可SFTP登录，并且只能访问指定的目录。 但这时只能查看，不能上传。如果要实现上传，我们需要在当前目录建立当前用户有权限操作的目录： 这时，就可以进行上传操作 阅读全文
摘要：
转自：https://www.cnblogs.com/geekmao/p/8541817.html PostgreSQL与MySQL比较 特性 MySQL PostgreSQL 实例 通过执行 MySQL 命令（mysqld）启动实例。一个实例可以管理一个或多个数据库。一台服务器可以运行多个 mys 阅读全文
摘要：
错误日志 环境： hive1.1.x ORC Snappy 原因： 使用 set hive.merge.mapfiles=true;set hive.merge.mapredfiles=true;set hive.merge.smallfiles.avgsize=256000000; 对小文件进行了 阅读全文
摘要：
hadoop fs -du -h / 阅读全文