0xcafedaddy

摘要： http://www.cnblogs.com/justinzhang/p/4273470.html https://www.zhihu.com/question/21677041 1. 两者分别是什么？ Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL 阅读全文

摘要： http://www.yiibai.com/hive/hive_alter_table.html Alter Table 语句 它是在Hive中用来修改的表。 语法 声明接受任意属性，我们希望在一个表中修改以下语法。 阅读全文

摘要： 在windows下编写shell脚本在linux下运行会出报错: 错误原因,文件格式错误 使用: set ff 命令可以看到 fileformat=dos 解决办法 1. :set fileformat=unix :wq保存修改 2. 执行sed i "s/\r//" load_ods_table. 阅读全文

摘要： 创建表报错 注意,这里使用的hive链接为:jdbc:mysql://10.1.1.5:3306/hive?createDatabaseIfNotExist=true 如果数据库不存在会自动创建hive数据库,这时的hive数据编码会是默认数据库编码(我这里是UTF 8).修正数据库编码后正常创建表 阅读全文

摘要： 关闭idea 打开项目所在位置并cd .idea 修改scala_compiler.xml文件 删除掉参数行包含 make:transitive 保存后退出编辑并重启idea打开项目 阅读全文

摘要： 转载:http://blog.csdn.net/sparkexpert/article/details/52871000 随着新版本的spark已经逐渐稳定，最近拟将原有框架升级到spark 2.0。还是比较兴奋的，特别是SQL的速度真的快了许多。。 然而，在其中一个操作时却卡住了。主要是dataf 阅读全文

摘要： zk启动报错 解决办法,进入zkdata目录删除version 2下面的所有文件 参考: https://issues.apache.org/jira/browse/ZOOKEEPER 1546 阅读全文

摘要： 初学Scala的人都会被Seq的各种操作符所confuse。下面简单列举一下各个Seq操作符的区别。 4种操作符的区别和联系 1. :: 该方法被称为cons，意为构造，向队列的头部追加数据，创造新的列表。用法为 x::list,其中x为加入到头部的元素，无论x是列表与否，它都只将成为新生成列表的第 阅读全文

摘要： kafka.common.InconsistentBrokerIdException: Configured broker.id 1 doesn't match stored broker.id 0 in meta.properties. If you moved your data, make s 阅读全文

摘要： ### 格式化HDFS #### 查看hdfs-site.xml * 将 dfs.namenode.name.dir和dfs.datanode.data.dir 目录中文件删除 ``` dfs.namenode.name.dir file:/data/dfs/name ... 阅读全文

摘要： sqoop简介 Sqoop是用来实现结构型数据（如关系数据库）和Hadoop之间进行数据迁移的工具。它充分利用了MapReduce的并行特点以批处理的方式加快数据的传输，同时也借助MapReduce实现了容错。 sqoop1的最新版本是1.4.5，sqoop2的最新版本是1.99.3；1.99.3和 阅读全文

摘要： 解决EE工程中静态文件显示问题 在工程中本地测试没有问题,发现使用nginx配置了路径的页面,会获取不到相应页面的静态文件问题 静态文件的路径类似为: http://localhost:8080/salama/static/js/lib/jquery.js 引用此静态文件的实际路径为: http:/ 阅读全文

摘要： ## 最近发现在服务器上启动tomcat,会存在卡住的情况,这种情况是每次必现,通过搜索发现是随机数生成问题.解决方案如下 ### 将$JAVA_HOME/jre/lib/security/Java.security内,将securerandom.source的内容改为file:/dev/./urandom即可 * 注: Linux或者部分unix系统提供随机数设备是/dev/random 和/... 阅读全文

摘要： ### 现需要查询出tags为 "" 或者为 null 的数据 ``` { "query": { "bool": { "must": { "match_all": {} }, "filter": [ { "terms": { "_id": [ "e... 阅读全文

摘要： expect是建立在tcl基础上的一个工具，它用来让一些需要交互的任务自动化地完成。 因为expect是基于tcl的，所以需要你的系统中安装有tcl 检查是否安装tcl,expect expect的4个命令 Expect中最关键的四个命令是send,expect,spawn,interact。 命令 阅读全文

摘要： 1.alias简介 Linux alias 是命令的一种别称，输入 alias 可以看到像下面这样的结果： 例如:我们常用用的ll命令其实是:ls l的别名,alias的作用就是，可以简写命令,设置别名。 2.修改alias 若要添加自己的alias，格式如下 alias lh="ls lh col 阅读全文

摘要： 755,775,777,ugoa 等分别代表什么含义?这些数字是如何得到的? 1.常用的linux文件权限： 2.用户分组权限概念 从左至右: 1 3位数字代表 文件所有者 的权限 4 6位数字代表 同组用户 的权限 7 9数字代表 其他用户 的权限 3.数字概念解析 读(r)=4 写(w)=2 执 阅读全文

摘要： 1.命令功能 通过crontab 命令，我们可以在固定的间隔时间执行指定的系统指令或 shell script脚本。时间间隔的单位可以是分钟、小时、日、月、周及以上的任意组合。这个命令非常适合周期性的日志分析或数据备份等工作。 2.安装crontab 1. 安装命令 2. 服务操作说明 3. 命令格 阅读全文

摘要： Linux系统有7个运行级别(runlevel) 运行级别0：系统停机状态，系统默认运行级别不能设为0，否则不能正常启动 运行级别1：单用户工作状态，root权限，用于系统维护，禁止远程登陆 运行级别2：多用户状态(没有NFS) 运行级别3：完全的多用户状态(有NFS)，登陆后进入控制台命令行模式 阅读全文

摘要： awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。 例1:显示最近登录的5个账号 1. 使用last n 5 命令可以查看最近登录的5个账 阅读全文