0xcafedaddy

摘要： 环境准备 1. Java 2. HDFS 3. zookeeper 4. SSH，NTP时间同步 5. 系统调优，这个可以等安装完后改，文件打开数（ulimit和nproc） 6. 修改Hadoop HDFS Datanode同时处理文件的上限：dfs.datanode.max.xcievers 下 阅读全文

摘要： 下载zookeeper 解压设置权限 1.tar zxf zk.tar.gz C /usr/local/zookeeper 2.sudo chown R hadoop:hadoop /usr/local/zookeeper 改配置文件zoo.cfg 1.查看etc/hosts目录中对应host 2. 阅读全文

摘要： #### MySQL在已有字段后追加相应的值值 需求:在MySQL中的topic表中,需要将每一个cover字段后添加上: -400.webp ``` update topic set cover = CONCAT(cover,'-400.webp') where atype = 2; ``` #### MySQL替换字段中的值 需求:如果在追加-400.webp的时候,错误的写成[-400... 阅读全文

摘要： 今天在做List中Object排序时,报错: 我的方法是 使pojo实现Comparable接口,重写compareTo方法. 最原始的写法为: 这种写法在JDK1.6运行并没有什么问题,但是在JDK1.7+运行就存在问题. 参考这两篇文章: http://blog.csdn.net/ghsau/a 阅读全文

摘要： 目标JSON顺序： 如果使用默认情况生成，则顺序为： w,h,s,url 在fastJson中，可以使用@JSONField来指定属性顺序(需要1.1.42以上版本) 参考链接：http://www.oschina.net/question/2336560_229478?sort=default&p 阅读全文

摘要： 今天在清空catalina.out的时候报错 使用sudo echo ‘xxx’ > /path/file 时，其实sudo只用在了 echo 上，而重定向没有用到sudo的权限，所以会出现“Permission denied”的情况，解决的方法也很简单，就是一个参数而已。加一个“ sh -c ”就 阅读全文

摘要： nginx日志access.log error.log按天生成存储,定时删除日志 logrotate https://linux.cn/article-4126-1.html http://blog.csdn.net/forthemyth/article/details/44062529 日志切割： 阅读全文

摘要： 安装win10后想体验系统自带的Linux bash。但是安装总是报错。于是选用cmder cmder下载地址： http://cmder.net/ 根据自己的需求选择下载 mini 或 full版本(full集成了git) 解压后即可使用。 1、把 Cmder 加到环境变量 把Cmder.exe存 阅读全文

摘要： 今天在使用POI导出数据时，出现如下错误： 开始我以为是java分配内存不够用,使用命令指定JVM大小后仍然出现错误。 /usr/local/java/jdk1.8.0_121/bin/java -Xmx1024m -Xms512m -jar exWeMedia.jar 最后发现是EXCEL问题： 阅读全文

摘要： 1.the HTTP rewrite module requires the PCRE library. 安装pcre-devel: yum -y install pcre-devel yum install -y zlib-devel yum install openssl yum install 阅读全文

摘要： 准备工作： 1.apache官网下载flume 2.解压flume 3.修改flume-env.sh，配置JAVA_HOME NetCat采集Demo: 1.在conf中创建netcat-logger.conf 2.启动agent采集数据 -c conf 指定flume自身的配置文件所在目录 -f 阅读全文

摘要： Flume官网：http://flume.apache.org/ Flume和Kafaka使用上的区别： 采集的数据放到HDFS为MR进行使用，选择Flume Flume分布式系统中最核心的角色是agent，flume采集系统就是由一个个agent所连接起来形成 每一个agent相当于一个数据传递员 阅读全文

摘要： hbase进行数据处理 1、插入的数据会按照字典顺序进行排序，前台的查询速度会很快。 2、hbase会根据每一行的主键(ROWKEY)的字典顺序将数据排序 3、hbase的表默认是分布式实现的，每台机器管若干行，优点是表可以进行无限的扩容。reason存在HDFS 4、hbase不提供复杂的join 阅读全文

摘要： ### 下载KAFKA```http://kafka.apache.org/downloads```<hr><br> ### 解压并修改配置文件* vim config/server.properties ```#broker的全局唯一编号，不能重复broker.id=0 #用来监听链接的端口，pr 阅读全文

摘要： azkaban占位 阅读全文

摘要： ## sqoop简介 * Sqoop是用来实现结构型数据（如关系数据库）和Hadoop之间进行数据迁移的工具。它充分利用了MapReduce的并行特点以批处理的方式加快数据的传输，同时也借助MapReduce实现了容错。 * sqoop1的最新版本是1.4.5，sqoop2的最新版本是1.99.3； 阅读全文

摘要： 1.下载地址: http://www.apache.org/dyn/closer.cgi/hive/ 2.解压 3.hive配置 1.修改hive-env.sh,添加如下信息 2.修改hive-site.xml <property> <name>javax.jdo.option.Connection 阅读全文

摘要： Es查询，解构类似： A & (a & b & c) or (c & e) JavaAPI写法： JSON正确格式： JSON错误写法: { "from": 0, "size": 50, "query": { "bool": { "must": [ { "term": { "flag_off": { 阅读全文

摘要： 如果你有时间，如果有英语还不错能看懂国外的推广营销知识，如果你想做个实战者，如果你想比别人多领先，如果你爱好这个推广行业，如果你不想做河塘里的小鱼，如果····请一个个的看以下的站点，个人觉得会给你另外一个觉悟的层次高度。以下的站点如果你有什么看不懂的，请尽管与大W交流。留言是肯定看不到的，太多的s 阅读全文

摘要： 原文：http://mirrors.aliyun.com/help/centos?spm=5176.bbsr150321.0.0.d6ykiD 1、备份 mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.ba 阅读全文