随笔分类 -  spark

spark读取hive数据
摘要：1.首先将集群的这3个文件hive-site.xml，core-size.xml,hdfs-site.xml放到资源文件里(必须，否则报错) 2.代码方面。下面几个测试都可以运行。 1）test03.java 2)Hive03.scala 3) SparkHiveText.scala 运行时会出现类 阅读全文
posted @ 2018-06-13 17:47 努力中国
sparksql对oracle时间做业务处理
摘要：目前sparksql对oracle的时间支持不是很好，查询日期时间时只会显示日期而时间则不会显示，下面是自己改的两个java解决方案 方案一 方案二 方案二查询的结果，建议使用方案二 阅读全文
posted @ 2018-06-01 11:03 努力中国
spark配置文件spark-env.sh
摘要：#!/usr/bin/env bash # # Licensed to the Apache Software Foundation (ASF) under one or more # contributor license agreements. See the NOTICE file distributed with # this work for additional informat... 阅读全文
posted @ 2018-05-30 09:33 努力中国
spark连接数据源以及在spark集群上跑
摘要：1.spark连接mysql 2.spark连接oracle 下面是另一种连接oracale没有使用过 上面oracle连接需要oracle的驱动连接jar包，自己引入 maven文件 3.spark连接oracle简单的方法 下面是spark sql在集群上跑oracle的数据并创建数据表 代码1 阅读全文
posted @ 2018-05-24 11:00 努力中国
spark简单文件配置
摘要：修改slaves和spark-env.sh文件slaves spark-env.sh 阅读全文
posted @ 2018-05-02 11:36 努力中国
sparkStream---1
摘要：1.本地scala版 2.java版的，本地 3.集群跑。 将文件打成jar包，放到远程机器中 阅读全文
posted @ 2018-03-30 15:18 努力中国
spark入门备忘---1
摘要：2.本地测试。（一般基本没有多大用） 以下是kafka的生产者和消费者 生产者 消费者(类型Ⅰ) linux和idea消费的信息图下 消费者(类型Ⅱ) maven依赖 消费者(类型Ⅲ) 上比较乱.下面创建一个生产者,一个消费者.它俩是配套 消费者 消费者 阅读全文
posted @ 2018-03-15 17:28 努力中国 阅读(229) 评论(0) 推荐(0)
spark简单快速学习及打开UI界面---1
摘要：1.远程集群测试 2.非集群，单机测试。 3.给项目打包 4.运行自己打的项目jar包(下面以 spark221.jar 为例) 示例2: Ⅰ 打开sparkUI界面 1）首先启动打开一个spark-shell 就有了 [root@hadoop-2 bin]# spark-shell 然后访问浏览器 阅读全文
posted @ 2018-02-28 18:24 努力中国 阅读(5734) 评论(0) 推荐(0)
spark学习中一些小问题---1
摘要：1.linux文件查找命令。这个很关键 find / -name employees.json 2.hdfs命令上传整个文件夹或文件 hadoop dfs -put /home/root/apache-hive-1.2.1-bin/lib/ /home/root/apache-hive-1.2.1- 阅读全文
posted @ 2018-02-28 14:53 努力中国 阅读(178) 评论(0) 推荐(0)
ERROR Shell: Failed to locate the winutils binary in the hadoop binary path
摘要：在学习spark时。spark运行会报一些无用的错误:ERROR Shell: Failed to locate the winutils binary in the hadoop binary path windows的idea运行时报这个异常 只要在代码前面添加 这个是转发别人的: http:/ 阅读全文
posted @ 2018-02-27 10:24 努力中国 阅读(897) 评论(0) 推荐(0)
ecplice打包jar和idea设置
摘要：1.java打包上传到集群 另一种idea打成jar包 2. 3. 阅读全文
posted @ 2017-05-22 17:30 努力中国