随笔分类 -  大数据--Spark

Flink Spark jdbc读写数据库导致oom和提升性能解决办法
摘要：fetchsize = Integer.MIN_VALUE 作用 如果不设置上述值，默认读取jdbc数据时，会默认获取所有的行到resultset中，数据量大会导致oom和占用大量内存 reWriteBatchedInserts=true 作用 java开发者使用PG jdbc驱动时，可以指定reW 阅读全文
posted @ 2023-01-04 09:36 life_start 阅读(279) 评论(0) 推荐(0)
13 hbase连接
摘要：Configuration conf=new Configuration(); String zookeeper=""; String clientport="2181"; String tableName="pbtest"; String rowkey="22977609"; conf.set(HBASE_ZOO... 阅读全文
posted @ 2016-12-01 14:27 life_start 阅读(85) 评论(0) 推荐(0)
12 hdfs常用文件、目录拷贝操作、删除操作
摘要：package com.da.hbase.tool.utils; import com.da.hbase.tool.common.Const; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; i... 阅读全文
posted @ 2016-11-18 11:22 life_start 阅读(6013) 评论(0) 推荐(0)
11 spark读取zip压缩的文本文件内容
该文被密码保护。
posted @ 2016-10-27 19:26 life_start 阅读(0) 评论(0) 推荐(0)
10 Hbase 快速拷贝方案
该文被密码保护。
posted @ 2016-10-26 16:27 life_start 阅读(1) 评论(0) 推荐(0)
8 Hbase get方式获取数据
摘要：package com.hikvision.hbase.vertify.test; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.client.*; import org.apache.h... 阅读全文
posted @ 2016-10-25 10:52 life_start 阅读(3407) 评论(0) 推荐(0)
7 Hbase put方式插入数据
摘要：package com.hikvision.hbase.vertify.test; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.client.*; import org.apache.h... 阅读全文
posted @ 2016-10-25 10:51 life_start 阅读(5420) 评论(0) 推荐(0)
6、solr 到es ，hbase 行列打包 项目过程中问题
该文被密码保护。
posted @ 2016-09-30 17:02 life_start 阅读(3) 评论(0) 推荐(0)
5 HBase 常用Shell命令
摘要：进入hbase shell console $HBASE_HOME/bin/hbase shell 如果有kerberos认证，需要事先使用相应的keytab进行一下认证（使用kinit命令），认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户 hbase(main)> whoami 表的管理 1）查看有哪些表 hbase(main)> list 2）创建表 #... 阅读全文
posted @ 2016-09-29 15:44 life_start 阅读(216) 评论(0) 推荐(0)
4、记录1----获取hdfs上FileSystem的方法 记录2：正则匹配路径：linux、hdfs
摘要：正则匹配路径的方法： 阅读全文
posted @ 2016-09-21 14:50 life_start 阅读(1515) 评论(0) 推荐(0)
3、spark 加载zip压缩文件
该文被密码保护。
posted @ 2016-09-19 19:50 life_start 阅读(2) 评论(0) 推荐(0)
2、 Spark Streaming方式从socket中获取数据进行简单单词统计
摘要：Spark 1.5.2 Spark Streaming 学习笔记和编程练习 Overview 概述 Spark Streaming is an extension of the core Spark API that enables scalable, high-throughput, fault- 阅读全文
posted @ 2016-08-05 16:17 life_start 阅读(2779) 评论(0) 推荐(0)
1、Spark 通过api，hfile两种形式获取hbase数据，简单样例
摘要：pom内容： 一、Hbase API获取hbase表数据 二、Spark提供接口获取Hbase表数据： 阅读全文
posted @ 2016-08-04 16:46 life_start 阅读(2053) 评论(0) 推荐(0)