摘要：
在使用spark连接kafka消费topic时，发现无论怎么设置，也无法从头开始消费。 查看配置得出auto.offset.reset的以下3种设置及含义: 也就是说无论哪种设置，只要kafka中相同group、partition中已经有提交的offset，则都无法从开始消费。 kafka API： 阅读全文
posted @ 2018-01-02 14:49
硅谷工具人
阅读(4278)
评论(0)
推荐(0)
摘要：
http://blog.csdn.net/olsQ93038o99S/article/details/78374343 参考别人的文章吧。。。。 阅读全文
posted @ 2017-12-29 11:46
硅谷工具人
阅读(979)
评论(0)
推荐(0)
摘要：
nohup command > myout.file 2>&1 & 阅读全文
posted @ 2017-12-21 18:48
硅谷工具人
阅读(615)
评论(0)
推荐(0)
摘要：
Action 操作1、 collect() ,返回值是一个数组，返回dataframe集合所有的行2、 collectAsList() 返回值是一个java类型的数组，返回dataframe集合所有的行3、 count() 返回一个number类型的，返回dataframe集合的行数4、 descr 阅读全文
posted @ 2017-12-12 14:41
硅谷工具人
阅读(2085)
评论(0)
推荐(0)
摘要：
默认创建表时说明中带有中文字段时会显示如下乱码信息： 解决方案： 在hive的元数据库中执行以下SQL语句，然后重新创建刚才的表即可 。 #修改字段注释字符集 alter table COLUMNS_V2 modify column COMMENT varchar(256) character se 阅读全文
posted @ 2017-12-06 15:51
硅谷工具人
阅读(5660)
评论(1)
推荐(2)
摘要：
源码编译的shell脚本为 /dev/make-distribution.sh ，下载源码包解压就能找到。不同版本使用的参数有差异。可以直接查看make-distribution.sh文件。 下载spark源码包，解压缩 ，执行以下脚本 第一种：不支持R，python版本 第二种：支持R，pytho 阅读全文
posted @ 2017-12-06 11:48
硅谷工具人
阅读(268)
评论(0)
推荐(0)
摘要：
在scala类中get和set使用有以下几种: 1. var foo: Scala自动合成一个getter和一个setter 2. val foo: Scala自动合成一个getter scala中var用于定义一个可变量, val定义一个常量。 所以在1中，当我们定义1个变量foo时候，会自动有一 阅读全文
posted @ 2017-11-30 11:39
硅谷工具人
阅读(6409)
评论(0)
推荐(0)
摘要：
1.提交作业，作业进入PREP状态 2.执行已提交的作业 3.直接运行作业 4.挂起作业，恢复作业 挂起前状态（RUNNING , RUNNIINGWITHERROR or PREP状态） workflow job will be in SUSPENDED status. 恢复作业，接着上面的挂起操 阅读全文
posted @ 2017-11-30 11:07
硅谷工具人
阅读(2664)
评论(0)
推荐(0)
摘要：
以下操作请使用sys系统账号操作！ 1. 查询物理存储的位置 从图中filename字段可以看到中数据库文件存放在服务器的/opt/oracle/oradata/biee/目录下: 2. 创建用户的临时表空间 临时表空间用于用户执行查询时要使用的缓存空间。 文件路径保存在/opt/oracle/or 阅读全文
posted @ 2017-11-28 16:30
硅谷工具人
阅读(20883)
评论(0)
推荐(0)
摘要：
这篇文章开始演示如何使用sbt新建项目。 1. 新建，选择Scala，SBT 填写项目名称，Scala版本号等信息。 单击完成后，后台会一直处于下载依赖文件的状态，等吧。。 最终后台运行完成后的完整目录如下： 在src -> main -> scala目录下右键新建一个Scala类，类型选择Obje 阅读全文
posted @ 2017-11-28 14:19
硅谷工具人
阅读(1557)
评论(0)
推荐(0)
摘要：
近开发spark项目使用到scala语言，这里介绍如何在idea上使用sbt来编译项目。 开发环境：windows 1. 下载sbt http://www.scala-sbt.org/download.html 我使用的是zip包，下载后解压到d:\tool\目录 2.添加配置 2.1 打开D:\t 阅读全文
posted @ 2017-11-28 14:04
硅谷工具人
阅读(17720)
评论(0)
推荐(3)
摘要：
整体分三步： 下载和安装git 配置idea 从git获取项目 详细步骤: 1. 下载和安装git 下载地址:https://git-scm.com/download/win，我本机使用的是window操作系统，安装好。 2. 配置idea 在idea的配置界面中，选择版本控制->GitHub，类型 阅读全文
posted @ 2017-11-28 12:45
硅谷工具人
阅读(26397)
评论(1)
推荐(3)
摘要：
1. 查看topic个数 ./kafka-topics.sh --list --zookeeper dwtest-data2:2181,dwtest-data3:2181,dwtest-data4:2181 2. 查看topic的生产者与消费者消息 ./kafka-topics.sh --descr 阅读全文
posted @ 2017-11-27 19:15
硅谷工具人
阅读(1577)
评论(0)
推荐(0)
摘要：
错误： Could not resolve archetype org.apache.maven.archetypes:maven-archetype-quickstart:1.1 from any of the configured repositories.Could not resolve a 阅读全文
posted @ 2017-11-25 15:39
硅谷工具人
阅读(6043)
评论(0)
推荐(0)
摘要：
今天使用kettle读取mongo数据库时，刚开始一直无法读取数据： 在配置项中偶然选择了一个nearest然后成功了，麻蛋。 然后百度查询了下Read Reference是干嘛的，原来是读取源的模式，严重怀疑我们这个数据源设置了不允许从主库读取： 以下5种为读取模式，看来选择最后一种最邻近的是最明 阅读全文
posted @ 2017-11-14 19:34
硅谷工具人
阅读(641)
评论(0)
推荐(0)
摘要：
crontab是linux下的定时任务，类似于window下的计划任务： 首先准备好要执行的脚本monitor_fs.sh，存放在/home/hadoop/目录下， 然后使用crontab -e命令进入任务编辑模式，输入以下命令行，0 7 * * * 分别表示分、时、天、月、周， 命令的解释： 每天 阅读全文
posted @ 2017-11-13 10:26
硅谷工具人
阅读(1202)
评论(0)
推荐(0)
摘要：
在系统管理员的命令行模式中： 进入mongo的安装目录，参照如下： 其中： --dbpath为保存的数据的路径 然后打开计算机管理-->服务和应用程序 --> 服务： 可以手工在这里启动和停止Mongo数据库。 阅读全文
posted @ 2017-11-06 01:26
硅谷工具人
阅读(265)
评论(0)
推荐(0)
摘要：
注意！拆机有风险，拆除旧电池千万不能硬撬，变形或挤压穿刺会导致电池短路燃烧！）以下为各型号拆机视频，仅供参考 5s/5c请看 http://v.youku.com/v_show/id_XMzEzMTk5NDE0OA==.html?spm=a2h3j.8428770.3416059.1 5请看http 阅读全文
posted @ 2017-11-04 18:35
硅谷工具人
阅读(986)
评论(0)
推荐(0)
摘要：
这是个简单的脚本，便于查询服务器的硬件信息： 查询结果： 阅读全文
posted @ 2017-11-01 15:01
硅谷工具人
阅读(1333)
评论(0)
推荐(0)
摘要：
flashbackup 闪回操作： 1. 打开表的闪回功能： alter table dw_stg.fm_user_play_d enable row movement; 2. 查询要闪回的表的记录信息 select * from flashback_transaction_query where 阅读全文
posted @ 2017-10-30 16:23
硅谷工具人
阅读(262)
评论(0)
推荐(0)
浙公网安备 33010602011771号