摘要：
下载所需的包： 在http://archive.cloudera.com/kafka/parcels/latest/ 选择合适parcel下载： ubuntu14.04的cdh5.5.1对应包 http://archive.cloudera.com/kafk... 阅读全文
posted @ 2016-02-27 11:23 ggzone 阅读(142) 评论(0) 推荐(0)
摘要：
下载所需的包： 在http://archive.cloudera.com/kafka/parcels/latest/ 选择合适parcel下载： ubuntu14.04的cdh5.5.1对应包 http://archive.cloudera.com/kafka/parcels/la... 阅读全文
posted @ 2016-02-27 11:22 ggzone 阅读(1548) 评论(0) 推荐(0)
摘要：
# Please paste flume.conf here. Example:# Sources, channels, and sinks are defined per# agent name, in this case 'tier1'.tier1.sources = sou... 阅读全文
posted @ 2016-02-27 11:09 ggzone 阅读(625) 评论(0) 推荐(0)
摘要：
# Please paste flume.conf here. Example:# Sources, channels, and sinks are defined per# agent name, in this case 'tier1'.tier1.so... 阅读全文
posted @ 2016-02-27 11:09 ggzone 阅读(123) 评论(0) 推荐(0)
摘要：
# Please paste flume.conf here. Example:# Sources, channels, and sinks are defined per# agent name, in this case 'tier1'.tier1.sources = sou... 阅读全文
posted @ 2016-02-27 11:06 ggzone 阅读(500) 评论(0) 推荐(0)
摘要：
# Please paste flume.conf here. Example:# Sources, channels, and sinks are defined per# agent name, in this case 'tier1'.tier1.so... 阅读全文
posted @ 2016-02-27 11:06 ggzone 阅读(364) 评论(0) 推荐(0)
摘要：
mongo同步mongo-connector数据到elasticsearch，而elasticsearch可以结合logstash、kibana、redis，做数据收集和展示，分词搜索mysql通过canal实现准实时同步数据到hbase或者kafka,写client程序执行插入 ... 阅读全文
posted @ 2016-02-27 11:04 ggzone 阅读(172) 评论(0) 推荐(0)
摘要：
mongo同步mongo-connector数据到elasticsearch，而elasticsearch可以结合logstash、kibana、redis，做数据收集和展示，分词搜索mysql通过canal实现准实时同步数据到hbase或者kafka,写c... 阅读全文
posted @ 2016-02-27 11:04 ggzone 阅读(89) 评论(0) 推荐(0)
摘要：
运行spark-shell 或者scala命令，出现以下错误：Welcome to Scala version 2.10.6 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_66).Type in express... 阅读全文
posted @ 2016-02-27 10:51 ggzone 阅读(149) 评论(0) 推荐(0)
摘要：
运行spark-shell 或者scala命令，出现以下错误：Welcome to Scala version 2.10.6 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_66).Type in expressions to have... 阅读全文
posted @ 2016-02-27 10:50 ggzone 阅读(1744) 评论(0) 推荐(0)
摘要：
Spark SQL ExampleThis example demonstrates how to use sqlContext.sql to create and load a table and select rows from the table into ... 阅读全文
posted @ 2016-02-27 10:45 ggzone 阅读(132) 评论(0) 推荐(0)
摘要：
Spark SQL Example This example demonstrates how to use sqlContext.sql to create and load a table and select rows from the table into a DataFram... 阅读全文
posted @ 2016-02-27 10:44 ggzone 阅读(759) 评论(0) 推荐(0)
摘要：
使用的是cloudera manager管理的集群：hive添加自定义jar包服务端：高级：Hive 辅助 JAR 目录设置的的路径是影响所有服务端的设置，比如hue中使用到了hive查询编辑器，在里面写HQL要用到自定义的JAR，那就必须设置这个地方。CM需要重启集群客户端：高级... 阅读全文
posted @ 2016-02-27 10:31 ggzone 阅读(954) 评论(0) 推荐(0)
摘要：
使用的是cloudera manager管理的集群：hive添加自定义jar包服务端：高级：Hive 辅助 JAR 目录设置的的路径是影响所有服务端的设置，比如hue中使用到了hive查询编辑器，在里面写HQL要用到自定义的JAR，那就必须设置这个地方。CM... 阅读全文
posted @ 2016-02-27 10:31 ggzone 阅读(143) 评论(0) 推荐(0)
摘要：
在/etc/crontab中添加了任务1，并确认执行时间设置没有错。发现任务没有执行，而/var/log/cron.log日志文件中没有该计划任务的执行信息。另一个计划任务却能正确，通过修改任务1的执行时间发现任务已经执行，确认是时间的问题，而系统修改过时区... 阅读全文
posted @ 2016-02-27 10:29 ggzone 阅读(262) 评论(0) 推荐(0)
摘要：
在/etc/crontab中添加了任务1，并确认执行时间设置没有错。发现任务没有执行，而/var/log/cron.log日志文件中没有该计划任务的执行信息。另一个计划任务却能正确，通过修改任务1的执行时间发现任务已经执行，确认是时间的问题，而系统修改过时区没有重启，重启解决。 ... 阅读全文
posted @ 2016-02-27 10:28 ggzone 阅读(156) 评论(0) 推荐(0)
摘要：
#!/bin/bash#需要指定hive中的库名#set -xset -eDB=$1if [ -z $1 ];then echo “Usage:$0 DbName” exit 1fi#注释掉cron对应的计划任务row=$(sed -n '/s... 阅读全文
posted @ 2016-02-27 10:20 ggzone 阅读(366) 评论(0) 推荐(0)
摘要：
#!/bin/bash#set -xDB=$1#获取hive表定义ret=$(hive -e "use ${DB};show tables;"|grep -v _es|grep -v _hb|grep -v importinfo)for tem in $ret;do echo... 阅读全文
posted @ 2016-02-27 10:19 ggzone 阅读(2722) 评论(0) 推荐(0)
摘要：
批量生成#!/usr/bin/env pythonimport MySQLdbimport datetimeimport timeimport os#source databaseHOST='192.168.2.229'PORT=3306USER='root'PASSWD='roo... 阅读全文
posted @ 2016-02-27 10:13 ggzone 阅读(957) 评论(0) 推荐(0)
摘要：
批量生成#!/usr/bin/env pythonimport MySQLdbimport datetimeimport timeimport os#file pathFILEPATH='/tmp'#source databaseHOST='11.143.6... 阅读全文
posted @ 2016-02-27 10:13 ggzone 阅读(120) 评论(0) 推荐(0)
摘要：
刷新impala元信息impala-shell -q 'invalidate metadata' -i hslave1impala-shell -q 'select count(*) from player' -i hslave1 -d db_1其中hsla... 阅读全文
posted @ 2016-02-27 10:06 ggzone 阅读(326) 评论(0) 推荐(0)
摘要：
刷新impala元信息impala-shell -q 'invalidate metadata' -i hslave1impala-shell -q 'select count(*) from player' -i hslave1 -d db_1其中hslave1是deamon进程... 阅读全文
posted @ 2016-02-27 10:05 ggzone 阅读(807) 评论(0) 推荐(0)
摘要：
#!/bin/bash#set -xDB=$1#获取hive表定义ret=$(hive -e 'use ${DB};show tables;'|grep -v _es|grep -v _hb|grep -v importinfo)for tem in $re... 阅读全文
posted @ 2016-02-27 10:03 ggzone 阅读(194) 评论(0) 推荐(0)
摘要：
#!/bin/bash#set -xDB=$1#获取hive表定义ret=$(hive -e 'use ${DB};show tables;'|grep -v _es|grep -v _hb|grep -v importinfo)for tem in $ret;do hive... 阅读全文
posted @ 2016-02-27 10:03 ggzone 阅读(849) 评论(0) 推荐(0)
摘要：
修改配置文件：vi /etc/sqoop/conf/sqoop-site.xml sqoop.metastore.client.record.password true If true, allow saved passwords in the metastore... 阅读全文
posted @ 2016-02-27 09:59 ggzone 阅读(529) 评论(0) 推荐(0)
摘要：
修改配置文件：vi /etc/sqoop/conf/sqoop-site.xml sqoop.metastore.client.record.password true If true, allow saved passwords in t... 阅读全文
posted @ 2016-02-27 09:59 ggzone 阅读(110) 评论(0) 推荐(0)
摘要：
下载所需jar包：http://www.cloudera.com/downloads/connectors/impala/jdbc/2-5-28.html 选择使用impalajdbc41版本import java.sql.Connection;import... 阅读全文
posted @ 2016-02-27 09:47 ggzone 阅读(285) 评论(0) 推荐(0)
摘要：
下载所需jar包：http://www.cloudera.com/downloads/connectors/impala/jdbc/2-5-28.html 选择使用impalajdbc41版本import java.sql.Connection;import java.sql.Dr... 阅读全文
posted @ 2016-02-27 09:46 ggzone 阅读(4223) 评论(0) 推荐(1)
浙公网安备 33010602011771号