十七楼的羊

摘要： hive 常见数据结构: 1,struct 大约 c语言之中的结构体，都可以使用'.'来进行访问元素的内容 2,map 键值对 3,array 数组创建文件 xiaoming,lili_bingbing,xiao xiao:18_xiaoqiang song :19 tong luo wan 针对以上数据创建表:根据行来进行创建 ,指定每一行的数据类型与分隔符 cr... 阅读全文

摘要： # Licensed to the Apache Software Foundation (ASF) under one # or more contributor license agreements. See the NOTICE file # distributed with this wor 阅读全文

摘要： maven 是 apache 的一个开源项目.maven依赖管理: 1,maven依赖管理实际上就是jar包管理的过程 2,maven 将jar包放置到maven仓库之中,获取jar包是通过坐标(公司名称+项目名称+版本信息)来实现的 3,我们只需要在maven项目之中配置jar包的坐标信息,maven程序根据坐标信息去maven仓库查找jar包 4,坐标是以目录结构来实现... 阅读全文

摘要： spark sql 性能技术简介: 1,内存列存储(in-memory columnar storage):Spark sql 的数据,不是使用 java 对象的方式来进行存储,而是使用了面向列的方式进行存储。每一列作为一个数据存储的单位，从而大大的优化了内存的使用效率，减少了对内存的消耗,也就避免了gc的大量数据的性能消耗 2,字节码生成技术(byte-core generation... 阅读全文

摘要： 阅读全文