上一页 1 ··· 25 26 27 28 29 30 31 32 33 ··· 71 下一页
摘要: 1. Hive数据类型 Hive支持原始数据类型和复杂类型,原始类型包括数值型,Boolean,字符串,时间戳。复杂类型包括数组,map,struct。下面是Hive数据类型的一个总结: 分类类型描述字面量示例 原始类型 BOOLEAN true/false TRUE TINYINT 1字节的有符号 阅读全文
posted @ 2020-05-28 00:03 不带R的墨菲特 阅读(1549) 评论(0) 推荐(0)
摘要: 先将本地数据上传到hadoop,在将hadoop 数据导入hive数据仓库:hive> use toys ; OKTime taken: 1.372 secondshive> load data local inpath '/data/projects/test.txt' overwrite int 阅读全文
posted @ 2020-05-28 00:00 不带R的墨菲特 阅读(221) 评论(0) 推荐(0)
摘要: 部署:hive 下载: wget http://mirror.bit.edu.cn/apache/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz mv apache-hive-3.1.2-bin.tar.gz hive 配置环境变量: # hive home 阅读全文
posted @ 2020-05-27 23:15 不带R的墨菲特 阅读(1074) 评论(1) 推荐(0)
摘要: 第一步环境准备: jdk安装,用户用组新建 useradd -m hadoop passwd hadoop 修改密码 添加用户hadoop到hadoop用户组 wget https://downloads.apache.org/hadoop/common/hadoop-3.2.1/hadoop-3. 阅读全文
posted @ 2020-05-27 19:39 不带R的墨菲特 阅读(509) 评论(0) 推荐(0)
摘要: 使用库Pyhive 安装:pip install Pyhive -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com from pyhive import hive # or import hive c 阅读全文
posted @ 2020-05-27 00:12 不带R的墨菲特 阅读(839) 评论(0) 推荐(0)
摘要: doc:http://pyhdfs.readthedocs.io/en/latest/ pip install hdfs https://hdfscli.readthedocs.io/en/latest/quickstart.html 此外还有一个库pyhdfs https://github.com 阅读全文
posted @ 2020-05-27 00:07 不带R的墨菲特 阅读(3806) 评论(0) 推荐(0)
摘要: 软件环境:VMware10.0,VMware10,ubuntu15.10桌面版(ubuntukylin-15.10-desktop-i386.iso),Apache hadoop(hadoop-1.2.1.tar.gz),JDK(jdk-8u11-linux-i586.tar.gz) 一 安装JDK 阅读全文
posted @ 2020-05-26 23:42 不带R的墨菲特 阅读(190) 评论(0) 推荐(0)
摘要: 原理: file.seek(offset, whence) offset 偏移量,也就是相对于whence 的向前向后读取字节个数的值,可以负数,负数向前,整数向后,默认0 whence 有两种表示方法:纯数字,python内置函数 0,1,2 分别对应os.SEEK_SET,os.SEEK_CUR 阅读全文
posted @ 2020-05-22 15:17 不带R的墨菲特 阅读(415) 评论(0) 推荐(0)
摘要: 很多开发者都在其系统中见过“java.lang.OutOfMemoryError: PermGen space”这一问题。这往往是由类加载器相关的内存泄漏以及新类加载器的创建导致的,通常出现于代码热部署时。相对于正式产品,该问题在开发机上出现的频率更高,在产品中最常见的“问题”是默认值太低了。常用的 阅读全文
posted @ 2020-05-21 18:59 不带R的墨菲特 阅读(514) 评论(0) 推荐(0)
摘要: jvm细化图: VM的内存部分则是由方法区(Method Area)、JAVA堆(Heap)、虚拟机栈(Stack)、程序计数器、本地方法栈这几部分组成;除此以外,在概念中还有一个直接内存的概念,事实上这部分内存并不属于虚拟机规范中定义的内存区域,但是因为在JDK1.4+后新加的NIO类,以及JDK 阅读全文
posted @ 2020-05-21 18:27 不带R的墨菲特 阅读(181) 评论(0) 推荐(0)
上一页 1 ··· 25 26 27 28 29 30 31 32 33 ··· 71 下一页