随笔分类 -  大数据组件

上一页 1 2
贴几个spark提交任务的小脚本
摘要：spark单个master节点的提交方式 spark的HA模式的提交方式 阅读全文
posted @ 2017-09-07 10:28 一心行走 阅读(1110) 评论(0) 推荐(0)
Spark原理小总结
摘要：1、spark是什么？ 快速，通用，可扩展的分布式计算引擎 2、弹性分布式数据集RDD RDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位 阅读全文
posted @ 2017-09-07 10:04 一心行走 阅读(10935) 评论(0) 推荐(0)
Drools学习笔记
摘要：Drools是一款基于Java的开源规则引擎 实现了将业务决策从应用程序中分离出来。 优点： 1、简化系统架构，优化应用 2、提高系统的可维护性和维护成本 3、方便系统的整合 4、减少编写“硬代码”业务规则的成本和风险 Drools的基本工作工程 我们需要传递进去数据，用于规则的检查，调用外部接口， 阅读全文
posted @ 2017-07-28 18:17 一心行走 阅读(39886) 评论(1) 推荐(2)
ElasticSearch的备份迁移方案
摘要：使用插件repository-hdfs插件进行测试 下载地址： https://oss.sonatype.org/content/repositories/snapshots/org/elasticsearch/elasticsearch-repository-hdfs/ https://oss.s 阅读全文
posted @ 2017-07-25 18:03 一心行走 阅读(1288) 评论(0) 推荐(0)
Mycat高可用集群搭建
摘要：HaProxy+Keepalived+Mycat高可用集群配置 部署图： 集群部署图理解： 1、keepalived和haproxy必须装在同一台机器上（如192.168.46.161机器上，keepalived和haproxy都要安装），keepalived负责为该服务器抢占vip（虚拟ip），抢 阅读全文
posted @ 2017-07-25 12:25 一心行走 阅读(10702) 评论(0) 推荐(0)
Mogodb集群搭建
摘要：1、上传解压软件包 cd /home/dinpay/ 解压：tar -zxvf mongodb-linux-x86_64-rhel62-3.2.2.tgz 重命名: mv mongodb-linux-x86_64-rhel62-3.2.2.tgz mongodb 1.在集群的机器上建立对应的data 阅读全文
posted @ 2017-07-19 15:11 一心行走 阅读(274) 评论(0) 推荐(0)
Spark HA模式访问Hadoop HA下的数据
摘要：首先是需要将hadoop的配置文件core-site,xml和hdfs-site.xml 拷贝到Spark conf目录下 然后启动提交即可 阅读全文
posted @ 2017-06-22 12:32 一心行走 阅读(1772) 评论(0) 推荐(0)
Solr Cloud的搭建使用
摘要：Solr的安装下载http://archive.apache.org/dist/lucene/solr/6.4.0/或者直接去官网下载最新版本网页指导 https://cwiki.apache.org/confluence/display/solr/Getting+Started其中在root用户下 阅读全文
posted @ 2017-06-21 15:41 一心行走 阅读(940) 评论(0) 推荐(0)
TensorFlow的安装
摘要：基于Anaconda 安装TensorFlow Linux-CPU版 环境要求：Centos7，Glibc2.16以上centos7安装bzip2 ：yum install bzip2 1、安装Anaconda(Python的运行环境) 下载Anaconda的地址：官网http://www.cont 阅读全文
posted @ 2017-06-16 18:50 一心行走 阅读(5908) 评论(2) 推荐(0)
spark-submit提交方式测试Demo
摘要：写一个小小的Demo测试一下Spark提交程序的流程 Maven的pom文件 编写一个蒙特卡罗求PI的代码 前提条件的setMaster("local[2]") 没有在代码中hard code 本地模式测试情况：# Run application locally on 8 cores spark-s 阅读全文
posted @ 2017-06-13 09:52 一心行走 阅读(12042) 评论(0) 推荐(0)
Spark Streaming的样本demo统计
摘要：废话不多说，直接上代码 阅读全文
posted @ 2017-05-25 09:02 一心行走 阅读(2372) 评论(0) 推荐(0)
压缩软件Snappy的安装
摘要：1、下载源码，通过编译源码安装 tar -zxvf /home/zfll/soft/snappy-1.1.2.tar.gz cd snappy-1.1.2 ./configure make sudo make install（输入root的密码）2、安装hadoop-snappy包 解压 unzip 阅读全文
posted @ 2017-05-24 20:55 一心行走 阅读(5950) 评论(0) 推荐(0)
Zookeeper安装
摘要：（1）解压 tar -zxvf zookeeper-3.4.5.tar.gz（2）重命名 mv zookeeper-3.4.5 zookeeper（重命名文件夹 zookeeper-3.4.5为zookeeper）（3）修改环境变量 vi ~/.bash_profile 添加内容： export Z 阅读全文
posted @ 2017-05-18 20:37 一心行走 阅读(166) 评论(0) 推荐(0)
Codis的了解和操作
摘要：1、Codis的基本架构 2、Codis各组件 Codis-server:就是redis服务，可以使用codis修改的reids和原生的redis Codis-proxy:客户端连接的代理服务，客户端可以直接连 Codis-dashboard:集群管理工具，对codis-proxy,和codis-s 阅读全文
posted @ 2017-05-18 20:35 一心行走 阅读(1859) 评论(0) 推荐(0)
spark streaming的理解和应用
摘要：1、Spark Streaming简介 官方网站解释：http://spark.apache.org/docs/latest/streaming-programming-guide.html 该博客转载于：http://www.cnblogs.com/shishanyuan/p/4747735.ht 阅读全文
posted @ 2017-05-10 09:53 一心行走 阅读(13632) 评论(0) 推荐(1)
将Solr的数据存到Hdfs上
摘要：具体官方文档 https://cwiki.apache.org/confluence/display/solr/Running+Solr+on+HDFS 修改solrconfig.xml文件 阅读全文
posted @ 2017-04-21 13:16 一心行走 阅读(1699) 评论(0) 推荐(0)
Codis连接异常问题处理
摘要：报错信息可以看出：由于没有正常的关闭连接，导致连接异常 解决方法：采用jedis连接池实现连接，并关闭连接 更多codis的介绍： https://github.com/xetorthio/jedis/wiki/Getting-started#using-jedis-in-a-multithread 阅读全文
posted @ 2017-04-18 14:39 一心行走 阅读(1898) 评论(1) 推荐(0)

上一页 1 2