打赏
2016年11月29日
Hadoop Hive概念学习系列之HDFS、Hive、MySQL、Sqoop之间的数据导入导出（强烈建议去看）（十八）
摘要： Hive总结（七）Hive四种数据导入方式 （强烈建议去看） Hive几种数据导出方式 https://www.iteblog.com/archives/955 （强烈建议去看） 把MySQL里的数据导入到HDFS 1、使用MySQL工具手工导入 把MySQL的导出数据导入到HDFS的最简单方法就是 阅读全文
posted @ 2016-11-29 22:31 大数据和AI躺过的坑 阅读(1380) 评论(0) 推荐(0)
scala里的模式匹配和Case Class
摘要： 模式匹配的简介 scala语言里的模式匹配可以看作是java语言中switch语句的改进。 模式匹配的类型 包括：常量模式、变量模式、构造器模式、序列模式、元组模式以及变量绑定模式等。 常量模式匹配 常量模式匹配，就是在模式匹配中匹配常量啦。 objectConstantPattern{ def m 阅读全文
posted @ 2016-11-29 21:14 大数据和AI躺过的坑 阅读(12730) 评论(0) 推荐(0)
元组Tuple、数组Array、映射Map
摘要： 一、元组Tuple 元组Tuple是不同类型的值的聚集，元组的值将单个的值包含在圆括号中来构成，元组可以包含一个不同类型的元素 如 val riple = (100, "Scala" , "Spark")1、元组中可以包含不同类型的元素，如上，把鼠标放在riple上，IDE会自动推断出元组riple 阅读全文
posted @ 2016-11-29 20:16 大数据和AI躺过的坑 阅读(1527) 评论(0) 推荐(0)
Scala IDE里的WorkSheet的使用
摘要： 在Scala IDE中有一个很便捷的功能，那就是WorkSheet。 它类似于交互式命令行的代码测试，在Worksheet输入scala表达式，保存以后会立即得到程序运行的结果，有助于初学者学习scala。 步骤一： 新建一个WorkSheet 或者啊，先选择一个工程，比如我这里是，spark-st 阅读全文
posted @ 2016-11-29 19:52 大数据和AI躺过的坑 阅读(3516) 评论(0) 推荐(0)
初步认识kafka
摘要： Kafka是用于日志处理的分布式消息队列，Kafka使用scala语言开发的。 各个开源分布式处理系统Cloudera、Apache Storm、Spark都支持与Kafka集成。其日志处理的一个场景:Kafka采集日志以后，经过spark分布式计算，将日志数据导入到HBase中。Kafka采集的日 阅读全文
posted @ 2016-11-29 19:39 大数据和AI躺过的坑 阅读(508) 评论(0) 推荐(0)