随笔分类 -  大数据

大数据
hadoop经典案例
摘要:hadoop经典案例http://blog.csdn.net/column/details/sparkhadoopdemo.html 阅读全文

posted @ 2018-07-20 13:29 chengjunde 阅读(181) 评论(0) 推荐(0)

【大数据实战】Logstash采集->Kafka->ElasticSearch检索
摘要:【大数据实战】Logstash采集->Kafka->ElasticSearch检索 https://www.cnblogs.com/snova/p/9203425.html 阅读全文

posted @ 2018-07-08 16:51 chengjunde 阅读(110) 评论(0) 推荐(0)

java 与大数据学习较好的网站
摘要:C# C#中 Thread,Task,Async/Await,IAsyncResult 的那些事儿!https://www.cnblogs.com/doforfuture/p/6293926.htmlAsp.net缓存技术(HttpRuntime.Cache)https://www.cnblogs. 阅读全文

posted @ 2018-05-07 17:23 chengjunde 阅读(1469) 评论(0) 推荐(0)

通过HBase API进行开发
摘要:http://www.cnblogs.com/netbloomy/p/6683509.html 一、将HBase的jar包及hbase-site.xml添加到IDE 1、到安装HBase集群的任意一台机器上找到HBase的安装目录,到lib目录下下载HBase需要的jar包,然后再到conf目录下下 阅读全文

posted @ 2018-05-06 15:37 chengjunde 阅读(754) 评论(0) 推荐(0)

Java通过JDBC操作Hive
摘要:http://www.cnblogs.com/netbloomy/p/6688670.html 0、概述 使用的都是CLI或者hive –e的方式仅允许使用HiveQL执行查询、更新等操作。然而Hive也提供客户端的实现,通过HiveServer或者HiveServer2,客户端可以在不启动CLI的 阅读全文

posted @ 2018-05-06 15:36 chengjunde 阅读(309) 评论(0) 推荐(0)

sqoop数据导入到Hdfs 或者hive
摘要:用java代码调用shell脚本执行sqoop将hive表中数据导出到mysql http://www.cnblogs.com/xuyou551/p/7999773.html 用sqoop将mysql的数据导入到hive表中 https://www.cnblogs.com/xuyou551/p/79 阅读全文

posted @ 2018-05-06 15:34 chengjunde 阅读(2563) 评论(0) 推荐(0)

解决 Unable to load native-hadoop library for your platform
摘要:安装hadoop启动之后总有警告:Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 原因:Apache提供的hadoop本地库是32位的,而在64 阅读全文

posted @ 2017-11-13 17:10 chengjunde 阅读(13986) 评论(0) 推荐(0)

ETL利器Kettle实战应用解析系列一【Kettle使用介绍】
摘要:转自:https://www.cnblogs.com/zhangchenliang/p/4179775.html 本系列文章主要索引如下: 一、ETL利器Kettle实战应用解析系列一【Kettle使用介绍】 二、ETL利器Kettle实战应用解析系列二 【应用场景和实战DEMO下载】 三、ETL利 阅读全文

posted @ 2017-11-13 15:43 chengjunde 阅读(175) 评论(0) 推荐(0)

大数据知识小结
摘要:Scala 安装 http://www.runoob.com/scala/scala-install.html Eclipse 安装(Neon 版本) http://www.runoob.com/eclipse/eclipse-install.html Intellij IDEA 使用教程 http 阅读全文

posted @ 2017-06-22 09:08 chengjunde 阅读(165) 评论(0) 推荐(0)

hadoop集群安装规划
摘要:http://mp.weixin.qq.com/s?__biz=MzI5MDYxNjIzOQ==&mid=2247483999&idx=1&sn=016e4c4d0ba7bd96e9f2d2d5f8cbe0de&chksm=ec1c649fdb6bed89e74984c28859557f577cdf 阅读全文

posted @ 2017-06-13 17:50 chengjunde 阅读(2980) 评论(0) 推荐(0)

SBT搭建Spark
摘要:http://www.cnblogs.com/yongjian/p/6211007.html http://www.aboutyun.com/thread-8587-1-1.html http://blog.csdn.net/microsoft2014/article/details/5457250 阅读全文

posted @ 2017-05-31 18:28 chengjunde 阅读(132) 评论(0) 推荐(0)

Spark入门实战系列--8.Spark MLlib(上)--机器学习及SparkMLlib简介
摘要:http://www.tuicool.com/articles/n2MJ3mn 阅读全文

posted @ 2017-02-28 23:28 chengjunde 阅读(147) 评论(0) 推荐(0)

HBase入门篇
摘要:http://www.uml.org.cn/sjjm/201212141.asp#7 阅读全文

posted @ 2016-12-14 10:07 chengjunde 阅读(98) 评论(0) 推荐(0)

nginx+tomcat+redis完成session共享
摘要:Nginx 安装配置 http://www.runoob.com/linux/nginx-install-setup.html http://blog.csdn.net/grhlove123/article/details/48047735 阅读全文

posted @ 2016-12-14 09:59 chengjunde 阅读(137) 评论(0) 推荐(0)

Sqoop-1.4.4工具import和export使用详解
摘要:转自:http://blog.csdn.net/wodatoucai/article/details/46343291 Sqoop可以在HDFS/Hive和关系型数据库之间进行数据的导入导出,其中主要使用了import和export这两个工具。这两个工具非常强大,提供了很多选项帮助我们完成数据的迁移 阅读全文

posted @ 2016-12-14 09:53 chengjunde 阅读(171) 评论(0) 推荐(0)

导航