摘要： 数据定义 创建数据库 Hive不支持行级插入操作、更新操作和删除操作，也不支持事务。HiveQL和MySQL比较相似。 创建Hive的数据库，数据库的文件目录名以.db结尾。 可以通过以下命令来修改默认的位置： 查看数据库信息，会显示数据库文件目录位置路径 创建表 创建表,COMMENT信息，LOC 阅读全文

摘要： Hive综述 Hive：用于解决海量结构化日志的数据统计 基于Hadoop的数据仓库工具，将结构化的数据文件映射为一张表，并提供类SQL的查询功能 本质是把HiveQL转化为Mapreduce程序 Hive不支持记录级别的更新、插入和删除操作 Hive查询延时严重，因为要启动mapreduce任务 阅读全文

摘要： 下载压缩包，解压 配置环境变量 修改/hive/conf下的hive site.xml 设置元数据存储的信息，以及连接账户密码为hive 阅读全文

摘要： RDD操作 词频统计 line = sc.textFile("file:///usr/local/spark/word.txt") wordCount = lines.flatMap(lambda line: line.split(" ").map(lambda word: (word,1)).re 阅读全文

摘要： HBase安装 在HBase学习中有安装指导博客 创建HBase表 启动Hadoop、Spark 创建表 插入数据 Spark配置 下载jar包 把hbase/lib下的jar包拷贝到spark/jars目录下。 拷贝的jar包有：hbase .jar,guava 12.0.1.jar,htrace 阅读全文

摘要： 解压安装包 目录改名为/hbase HBase配置文件 伪分布式需要配置两个文件，hbase/conf/hbase env.sh和hbase/conf/hbase site.xml 这样就安装成功了。 启动hadoop和hbase，进入hbase shell。 阅读全文

摘要： Spark数据读取 对于存储在本地文件系统或分布式文件系统（HDFS、Amazon S3）中的数据，Spark可以访问很多种不同的文件格式，比如文本文件、JSON、SequenceFile Spark SQL中的结构化数据源，包括JSON和Hive的结构化数据源 数据库和键值存储，自带的库，联结HB 阅读全文

摘要： 事务处理 用COMMIT和ROLLBACK来管理事务处理。MyISAM不支持事务处理，InnoDB支持事务处理。 事务处理可以用来维护数据库的完整性，保证成批的MySQL操作要么完全执行，要么完全不执行。 更复杂的事务处理需要用到部分提交或回退，SAVEPOINT保留点 字符集和校对 SHOW CH 阅读全文

摘要： 视图 视图是虚拟的表，只包含使用时动态检索数据的查询。 视图作用：重用SQL语句；简化复杂的SQL操作；使用表的组成部分；保护数据；更改数据格式和表示。 CREATE VIEW创建视图；SHOW CREATE VIEW viewname查看创建视图语句；DROP VIEW viewname删除视图。 阅读全文

摘要： 联结表 外键，为某个表的一列，包含另一个表的主键值。 使用联结可以用多个表查询信息。 使用完全限定列名，防止出现二义性。 使用表别名 作用：缩短SQL语句，允许在单条SELECT语句中多次使用相同的表。 不同类型联结 自联结，自然联结，外部联结 联结包含了那些在相关表中没有关联行的行，这种联结称为外 阅读全文