大数据--Spark - 随笔分类 - life_start

Flink Spark jdbc读写数据库导致oom和提升性能解决办法

摘要：fetchsize = Integer.MIN_VALUE 作用如果不设置上述值，默认读取jdbc数据时，会默认获取所有的行到resultset中，数据量大会导致oom和占用大量内存 reWriteBatchedInserts=true 作用 java开发者使用PG jdbc驱动时，可以指定reW 阅读全文

posted @ 2023-01-04 09:36 life_start 阅读(287) 评论(0) 推荐(0)

13 hbase连接

摘要：Configuration conf=new Configuration(); String zookeeper=""; String clientport="2181"; String tableName="pbtest"; String rowkey="22977609"; conf.set(HBASE_ZOO... 阅读全文

posted @ 2016-12-01 14:27 life_start 阅读(87) 评论(0) 推荐(0)

12 hdfs常用文件、目录拷贝操作、删除操作

摘要：package com.da.hbase.tool.utils; import com.da.hbase.tool.common.Const; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; i... 阅读全文

posted @ 2016-11-18 11:22 life_start 阅读(6030) 评论(0) 推荐(0)

11 spark读取zip压缩的文本文件内容

该文被密码保护。

posted @ 2016-10-27 19:26 life_start 阅读(0) 评论(0) 推荐(0)

10 Hbase 快速拷贝方案

该文被密码保护。

posted @ 2016-10-26 16:27 life_start 阅读(1) 评论(0) 推荐(0)

8 Hbase get方式获取数据

摘要：package com.hikvision.hbase.vertify.test; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.client.*; import org.apache.h... 阅读全文

posted @ 2016-10-25 10:52 life_start 阅读(3419) 评论(0) 推荐(0)

7 Hbase put方式插入数据

摘要：package com.hikvision.hbase.vertify.test; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.client.*; import org.apache.h... 阅读全文

posted @ 2016-10-25 10:51 life_start 阅读(5435) 评论(0) 推荐(0)

6、solr 到es ，hbase 行列打包项目过程中问题

该文被密码保护。

posted @ 2016-09-30 17:02 life_start 阅读(3) 评论(0) 推荐(0)

5 HBase 常用Shell命令

摘要：进入hbase shell console $HBASE_HOME/bin/hbase shell 如果有kerberos认证，需要事先使用相应的keytab进行一下认证（使用kinit命令），认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户 hbase(main)> whoami 表的管理 1）查看有哪些表 hbase(main)> list 2）创建表 #... 阅读全文

posted @ 2016-09-29 15:44 life_start 阅读(230) 评论(0) 推荐(0)

4、记录1----获取hdfs上FileSystem的方法记录2：正则匹配路径：linux、hdfs

摘要：正则匹配路径的方法：阅读全文

posted @ 2016-09-21 14:50 life_start 阅读(1517) 评论(0) 推荐(0)

3、spark 加载zip压缩文件

该文被密码保护。

posted @ 2016-09-19 19:50 life_start 阅读(2) 评论(0) 推荐(0)

2、 Spark Streaming方式从socket中获取数据进行简单单词统计

摘要：Spark 1.5.2 Spark Streaming 学习笔记和编程练习 Overview 概述 Spark Streaming is an extension of the core Spark API that enables scalable, high-throughput, fault- 阅读全文

posted @ 2016-08-05 16:17 life_start 阅读(2803) 评论(0) 推荐(0)

1、Spark 通过api，hfile两种形式获取hbase数据，简单样例

摘要：pom内容：一、Hbase API获取hbase表数据二、Spark提供接口获取Hbase表数据：阅读全文

posted @ 2016-08-04 16:46 life_start 阅读(2059) 评论(0) 推荐(0)

随笔分类 - 大数据--Spark