2021 10 31
摘要：1、Hadoop设置通过以下命令启动远程服务： hadoop@bdi:~$ hive --service hiveserver2 >/dev/null &远程服务对外的端口是10000，启动成功后，使用netstat命令验证：hadoop@bdi:~$ netstat -antpl|grep 100
阅读全文
posted @
2021-10-31 17:07
sean1246
阅读(361)
推荐(0)
2021 10 28
摘要：图书管理系统： servlet： package sevlet; import java.time.*; import java.time.format.DateTimeFormatter; import java.text.*; import java.io.IOException; import
阅读全文
posted @
2021-10-28 15:57
sean1246
阅读(78)
推荐(0)
2021 10 25
摘要：hiveserver21、在hive服务器上启动hive server2，在你的hive主目录/bin/下找到并执行下面的命令，默认监听10000端口#hiveserver2 2、使用cli在本机连接#beelinebeeline> !connect jdbc:hive2://localhost:1
阅读全文
posted @
2021-10-25 15:48
sean1246
阅读(42)
推荐(0)
2021 10 24
摘要：1 建表 create table student(id int,name string ,age int) row format delimitedfields terminated by ','; 2 创建一个student.txt 添加数据 1,zhangsan,10 2,lisi,20 3,
阅读全文
posted @
2021-10-24 20:22
sean1246
阅读(71)
推荐(0)
2021 10 23
摘要：连接连接（join）是将两个表中在共同数据项上相互匹配的那些行合并起来, HiveQL 的连接分为内连接、左向外连接、右向外连接、全外连接和半连接 5 种。 a. 内连接(等值连接)内连接使用比较运算符根据每个表共有的列的值匹配两个表中的行。 首先，我们先把以下内容插入到course表中（自行完成）
阅读全文
posted @
2021-10-23 15:46
sean1246
阅读(76)
推荐(0)
2021 10 22
摘要：视图和索引的创建、修改和删除 主要语法如下，用户可自行实现。 create view view_name as....; #创建视图 alter view view_name set tblproperties(…); #修改视图 因为视图是只读的，所以 对于视图只允许改变元数据中的 tblprop
阅读全文
posted @
2021-10-22 15:07
sean1246
阅读(86)
推荐(0)
2021 10 21
摘要：1）Hive基本数据类型 首先，我们简单叙述一下HiveQL的基本数据类型。 Hive支持基本数据类型和复杂类型, 基本数据类型主要有数值类型(INT、FLOAT、DOUBLE ) 、布尔型和字符串, 复杂类型有三种:ARRAY、MAP 和 STRUCT。 a.基本数据类型 TINYINT: 1个字
阅读全文
posted @
2021-10-21 15:45
sean1246
阅读(55)
推荐(0)
2021 10 20
摘要：通过xshell连上hive所在服务器；输入 hive 即可进入到hive的SQL语句输入页面；use database; 选择数据库（这一步可有可无，最后查表的时候带上数据库名即可）；CTRL+Z退出sql执行界面；1.通过xshell执行sql文件 hive -f /filepath/filen
阅读全文
posted @
2021-10-20 15:04
sean1246
阅读(158)
推荐(0)
2021 10 19
摘要：hive 在linux界面操作笔记在linux展示功能 hive -h 或者 hive --help 输入该命令后将展示-i 从文件初始化HQL-e 从命令行执行指定的HQL-f 执行HQL脚本-v 输出执行的HQL语句到控制台-s 静默Slient模式...1234567HIVE-执行hive的两
阅读全文
posted @
2021-10-19 14:54
sean1246
阅读(116)
推荐(0)
2021 10 18
摘要：配置数据库登录名 javax.jdo.option.ConnectionUserName <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> <description>Username to
阅读全文
posted @
2021-10-18 15:44
sean1246
阅读(46)
推荐(0)
2021 10 17
摘要：配置hive.exec.scratchdirhive用来存储不同阶段的map/reduce的执行计划的目录，同时也存储中间输出结果 <property> <name>hive.exec.scratchdir</name> <value>/tmp/hive</value> <description>
阅读全文
posted @
2021-10-17 20:22
sean1246
阅读(116)
推荐(0)
2021 10 17
摘要：云相册主要工具类之http请求工具类： package com.michael.cloudphotos; import android.os.Message; import android.util.Log; import java.io.BufferedInputStream; import ja
阅读全文
posted @
2021-10-17 14:48
sean1246
阅读(53)
推荐(0)
2021 10 16
摘要：说明（1）安装Hive之前必须配置好hadoop环境； （2）安装Hive之前必须配置好JDK； （3）本文建议安装mysql数据库·； （4）Hive可以只安装在namenode所在的机器上，如果NameNode有多个，则每个都需要安装，可以不在datanode上安装。 （5）本文hadoop的运
阅读全文
posted @
2021-10-16 20:21
sean1246
阅读(55)
推荐(0)
2021 10 15
摘要：补充：1）load本地（local）数据到数据库 load data local inpath ‘/opt/sxt/temp/test.txt’ into table people PARTITION (dt=’2016-1-1’);（直接复制会出错）2）举例建几个表（DDL） 1.CREATE T
阅读全文
posted @
2021-10-15 20:21
sean1246
阅读(63)
推荐(0)
2021 10 14
摘要：配置远程mysql 1）remote一体（未亲测） 这种存储方式需要在远端服务器运行一个mysql服务器，并且需要在Hive服务器启动meta服务。这里用mysql的测试服务器， ip位192.168.13.138，新建hive_remote数据库，字符集位latine1 <?xml version
阅读全文
posted @
2021-10-14 15:43
sean1246
阅读(43)
推荐(0)
2021 10 13
摘要：配置本地mysql模式（推荐使用，本地指的是能连接上的ip地址服务器）1.修改配置文件vi /opt/sxt/soft/apache-hive-1.2.1-bin/conf/hive-site.xml删除配置derby时的内容，改为<property> <name>hive.metastore.wa
阅读全文
posted @
2021-10-13 20:02
sean1246
阅读(48)
推荐(0)
2021 10 12
摘要：配置hive: 一、配置本地内置derby模式1.上传hive至linux上（/opt/sxt/soft）2.解压tar -zxvf apache-hive-1.2.1-bin.tar.gz3.配置文件（/opt/sxt/soft/apache-hive-1.2.1-bin/conf） 1）cp h
阅读全文
posted @
2021-10-12 20:20
sean1246
阅读(62)
推荐(0)
2021 10 11
摘要：java操作hdfs: public static void deletedir(FileSystem fs,String dir){ Path hadooppath = new Path(dir); try { if (!fs.exists(hadooppath)){ System.out.pri
阅读全文
posted @
2021-10-11 15:42
sean1246
阅读(42)
推荐(0)
2021 10 10
摘要：java操作hdfs: public static void createfile(FileSystem fs,String hadooppath,String filename){ Path remotePath = new Path(hadooppath); try { if(!fs.exist
阅读全文
posted @
2021-10-10 01:58
sean1246
阅读(59)
推荐(0)
2021 10 9
摘要：java操作hdfs: public static void peintinfo(FileSystem f,String hadooppath){ try { Configuration conf = new Configuration(); FileStatus fs = f.getFileSta
阅读全文
posted @
2021-10-09 20:15
sean1246
阅读(42)
推荐(0)
2021 10 8
摘要：jva操作hsfs: public static void download(FileSystem fs,String hadooppath,String name){ try { File file = new File("D:\\+name"); String newpath=null; if
阅读全文
posted @
2021-10-08 22:31
sean1246
阅读(70)
推荐(0)
2021 10 7
摘要：拿到小组成员做的ui框架，对navigation的部分进行修改，设置了滑动的特效。将登录和注册的servlet发布到服务器中，这样可以通过ip地址直接访问。 照片根据path上传到阿里云的OSS存储对象，下载图片要通过oss的照片的id下载，但oss不提供获取id的方法，故在上传照片的时候将照片的i
阅读全文
posted @
2021-10-07 21:50
sean1246
阅读(64)
推荐(0)
2021 10 6
摘要：java操作HDFS： public void set(FileSystem fs){ // 1.新建目录 Path path = new Path("/user/hadoop/hello"); try { if (!fs.exists(path)){ fs.mkdirs(path); }else{
阅读全文
posted @
2021-10-06 15:42
sean1246
阅读(55)
推荐(0)
2021 10 5
摘要：HDFS的基本命令格式为： 命令：hdfs dfs -cmd <args> 注：cmd就是具体的命令，cmd前面的“-”千万不能省略。 本人已经设置了环境变量，则可以在任意的路径下可直接使用hdfs，否则进入hadoop安装路径HADOOP_HOME后，使用如下指令：./bin/hdfs dfs -
阅读全文
posted @
2021-10-05 23:01
sean1246
阅读(80)
推荐(0)
2021 10 4
摘要：完全分布式按前面的步骤安装好hbase，配好环境变量。确保hbase version显示正常信息。（1）hbase-env.sh修改内容： export JAVA_HOME=/home/duck/software/jdk1 export HBASE_MANAGES_ZK=false1 （2）hbas
阅读全文
posted @
2021-10-04 15:40
sean1246
阅读(49)
推荐(0)
2021 10 3 读书笔记
摘要：一个团队的力量一定是方方面面的人合作产生的合力，而且合力大于所有参与人 的力量综总和，即1+1>2,。和其他团队不同的是，软件团队还具有其自身的独 特性。意识，相互依赖性大，某个团体成员所编写的模块可能需要另外成员为他 提供函数接口，同事又要为其他成员提供函数接口，二是，时间压力大，在软件 开发团队
阅读全文
posted @
2021-10-03 23:32
sean1246
阅读(39)
推荐(0)
2021 10 2
摘要：地模式：配置修改先做好安装包和环境变量配置。。。 配置 HBASE_HOME/conf/ 中的文件，包括： hbase-env.shhbase-site.xml （1）打开 HBASE_HOME/conf/hbase-env.sh 文件，将下面配置项前的注释取消，并修改JAVA_HOME变量为正确的
阅读全文
posted @
2021-10-02 20:30
sean1246
阅读(62)
推荐(0)
2021 10 1
摘要：阿里云oss学习： CreateBucketRequest createBucketRequest = new CreateBucketRequest("<bucketName>"); // 指定Bucket的ACL权限。 createBucketRequest.setBucketACL(Canne
阅读全文
posted @
2021-10-01 20:14
sean1246
阅读(77)
推荐(0)
管理
浙公网安备 33010602011771号