会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
零壹
博客园
首页
新随笔
联系
管理
上一页
1
2
3
下一页
2019年3月6日
Redis 基本命令
摘要: 1. 安装Redis3 1.下载redis3的稳定版本,下载地址http://download.redis.io/releases/redis-3.2.10.tar.gz 2.上传redis-3.2.10.tar.gz到服务器 3.解压redis源码包 tar -zxvf redis-3.2.10.
阅读全文
posted @ 2019-03-06 21:05 VIP8cnbl
阅读(126)
评论(0)
推荐(0)
2019年3月4日
foreachRDD操作 检查点 与 数据写入到sql
摘要: package com.day16import com.day15.ConnectionPoolUtilimport org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream}import org.apache.spark.s
阅读全文
posted @ 2019-03-04 22:23 VIP8cnbl
阅读(280)
评论(0)
推荐(0)
Streaming 直连方式
摘要: package com.day16import kafka.common.TopicAndPartitionimport kafka.message.MessageAndMetadataimport kafka.serializer.StringDecoderimport kafka.utils.{
阅读全文
posted @ 2019-03-04 22:16 VIP8cnbl
阅读(215)
评论(0)
推荐(0)
2019年2月28日
kafka 命令
摘要: 启动 [root@node1 kafka]# ./bin/kafka-server-start.sh -daemon config/server.properties 创建主题 ./bin/kafka-topics.sh --create --zookeeper 192.168.23.101:218
阅读全文
posted @ 2019-02-28 22:05 VIP8cnbl
阅读(125)
评论(0)
推荐(0)
kafka(0.8版本)删除主题(没有在配置文件中配置的情况下)
摘要: 在没有配置kafka 删除属性的情况下 使用删除主题命令 ./bin/kafka-topics.sh --delete --zookeeper 192.168.28.131:2181,192.168.28.131:2182,192.168.28.131:2183 --topic test之后对当前主
阅读全文
posted @ 2019-02-28 22:04 VIP8cnbl
阅读(353)
评论(0)
推荐(0)
kafka常用命令
摘要: 常用命令 1.新建主题 ./bin/kafka-topics.sh --create --zookeeper 192.168.28.131:2181,192.168.28.131:2182,192.168.28.131:2183 --replication-factor 3 --partitions
阅读全文
posted @ 2019-02-28 22:02 VIP8cnbl
阅读(157)
评论(0)
推荐(0)
Streaming的receiver模式
摘要: 工具:IdeaScala:版本2.10.6 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.10</artifactId> <version>1.6.0</version> </depend
阅读全文
posted @ 2019-02-28 22:01 VIP8cnbl
阅读(243)
评论(0)
推荐(0)
2019年2月27日
spark读取hdfs上的文件和写入数据到hdfs上面
摘要: 原创,未经同意转载,复制的没唧唧 def main(args: Array[String]): Unit = { val conf = new SparkConf() conf.set("spark.master", "local") conf.set("spark.app.name", "spar
阅读全文
posted @ 2019-02-27 21:44 VIP8cnbl
阅读(12023)
评论(0)
推荐(0)
kafka 启动与配置
摘要: [root@node3 ~]# cd /usr/local/kafka/[root@node3 kafka]# ./bin/kafka-server-start.sh -daemon config/server.properties[root@node3 kafka]# jps2944 Quorum
阅读全文
posted @ 2019-02-27 14:34 VIP8cnbl
阅读(1237)
评论(0)
推荐(0)
2019年2月25日
Scala反射创建DataFrame(方式一,已知数据类型)
摘要: package sparkSql.方法1创建DataFrameimport org.apache.spark.sql.{SQLContext, SaveMode}import org.apache.spark.{SparkConf, SparkContext}object Student { def
阅读全文
posted @ 2019-02-25 22:34 VIP8cnbl
阅读(669)
评论(0)
推荐(0)
上一页
1
2
3
下一页
公告