上一页 1 2 3 4 5 6 ··· 11 下一页
官方指导:http://spark.apache.org/docs/2.2.0/structured-streaming-kafka-integration.html 1、版本问题 起初用的kafka是0.8,各种问题,后面换成官方要求的 0.10.0 以上,一些版本问题再没有了。 2、在windw Read More
posted @ 2018-03-30 13:51 George_sz Views(1237) Comments(0) Diggs(0) Edit
pentaho 自带的component 虽多,但是当用户需要在一个表格中查看多个组别的数据时,pentaho自带的单选框就不能实现了,所以复选下拉框势在必行,实现效果如下: 实现原理是借用了jquery ztree 插件。 首先集成ztree 插件,如图 画你想要的图 书写数据源。。。 新建que Read More
posted @ 2018-03-26 14:57 George_sz Views(555) Comments(0) Diggs(0) Edit
.具体场景如下: spark1.6 升级 spark2.2 后 分析查询hbase 数据报异常: 后发现spark2.2 引入的包路径为 org.htrace htrace-core-3.0.4 版本的时候路径是 org.htrace 而3.1.0的时候已经贡献给Apache了,改叫org.apac Read More
posted @ 2018-03-21 14:22 George_sz Views(652) Comments(0) Diggs(0) Edit
问题一: 此问题一般和内存有关,调大内存 再把虚拟和物理监控线程关闭 问题二: 此问题一般是由于集群配置原因,检查jdk ,yarn 的配置文件 问题三: 同步集群的时间即可,本人集群其实一直都是时钟同步的,但是不知道为什么第三个节点会突然时钟错乱,jdk版本也错乱了 问题问题四: 这些问题看表面一 Read More
posted @ 2018-03-17 23:50 George_sz Views(13208) Comments(1) Diggs(2) Edit
1、hiveserver2正常启动,但是beeline连不上服务。 我的服务是开在本机的,但是用主机名和127好像都不能访问服务了 把127或者主机名改成真实的IP就可以了 2、创建hive外部表关联hbase数据的时候报一些莫名其妙的错误 在hive env 文件里面加上hbase 的环境变量就好 Read More
posted @ 2018-01-15 11:39 George_sz Views(296) Comments(0) Diggs(0) Edit
更新了hive版本后,在创建hive外部表 级联hbase 的时候报如下异常: 起初以为少包:从新导入,确认无误。htrace-core-3.0.4 包是存在的 后对比了2.0.4的包,发现两个版本包的目录和报错的均不一样。 后替换为apache的包,又报了其他兼容问题 再不想麻烦的基础上,仔细想了 Read More
posted @ 2018-01-11 23:10 George_sz Views(2025) Comments(0) Diggs(0) Edit
1、列出集群中的topic 2、创建topic replication-factor为副本因子数量, partitions为分区数量 注意:kafka-logs目录会产生topic的消息文件,为什么要生产此消息文件呢?就是当一台机器挂了后,其他机器会基于本机的此topic信息继续对外提供服务。 3、 Read More
posted @ 2018-01-04 10:31 George_sz Views(308) Comments(0) Diggs(0) Edit
一、使用并行计算加倍提升性能1、数据并行 VS 任务并行实现数据并行的算法scoket 并行性注意并行计算时间并不与执行任务的计算资源数目成正比(计算机核心),amdahl定律:并行代码的速度受限于串行执行的部分,包括并行性带来的开销在非windows系统中,parallel支持分叉集群(交叉法), Read More
posted @ 2017-11-18 20:21 George_sz Views(968) Comments(2) Diggs(0) Edit
接着上一篇 一、减少内存使用的简单方法1、重用对象而不多占用内存 y <- x 是指新变量y指向包含X的那个内存块,只有当y被修改时才会复制到新的内存块,一般来说只要向量没有被其他对象引用,就可以正常修改,以避免复制向量带来的CPU和RAM开销。按照程序属于来说,R是按值传递,应该避免使用sort Read More
posted @ 2017-11-17 18:41 George_sz Views(594) Comments(0) Diggs(0) Edit
这段时间学习了<R高性能编程>这本书,基于这段时间做的项目实践,总结了一些自己的体会,和大家分享 一、为什么R程序有时候会很慢?1、计算性能的三个限制条件 cpu ram io R代码本身2、R是运行时解释的 在运行时解释并执行R代码3、R是单线程的 CPU的强大核心并没卵用,R只会只用一个4、R需 Read More
posted @ 2017-11-03 17:10 George_sz Views(5011) Comments(0) Diggs(0) Edit
上一页 1 2 3 4 5 6 ··· 11 下一页