2020年8月13日
摘要：
1.Canal是什么？2.如何编写Canal客户端？3.如何编写一个数据库操作的Spark程序代码？4.开发Spark项目时容易发生哪些冲突问题？Spark中的Spark Streaming可以用于实时流项目的开发，实时流项目的数据源除了可以来源于日志、文件、网络端口等，常常也有这种需求，那就是实时 阅读全文
posted @ 2020-08-13 14:31
大码王
阅读(378)
评论(0)
推荐(0)
摘要：
sqoop 是什么：在关系数据库和hadoop之间数据的相互转换的工具。安装：原生安装：appache１．解压安装，２．重命名sqoop-1.4.5-cdh5.4.4/sqoop-env-template.sh 为sqoop-env.sh３．修改sqoop-env.sh配置：填写Hadoop，hba 阅读全文
posted @ 2020-08-13 11:41
大码王
阅读(391)
评论(0)
推荐(0)
摘要：
1.flume简介 Flume是Cloudera提供的日志收集系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 2.安装和使用说明 阅读全文
posted @ 2020-08-13 11:38
大码王
阅读(234)
评论(0)
推荐(0)
摘要：
MongoDB的文档模型自由灵活，可以让你在开发过程中畅顺无比。对于大数据量、高并发、弱事务的互联网应用，MongoDB可以应对自如。MongoDB内置的水平扩展机制提供了从百万到十亿级别的数据量处理能力，完全可以满足Web2.0和移动互联网的数据存储需求，其开箱即用的特性也大大降低了中小型网站的运 阅读全文
posted @ 2020-08-13 11:32
大码王
阅读(204)
评论(0)
推荐(0)
摘要：
各种开发环境的搭建，其实都是听简单。甚至我们可以通过命令行来开发。而且最原始的编程，其实可以通过文本或则cmd即可。还有maven，sbt等。后来的发展过程中，为了更加方便我们编程，于是发展出来了，更高级的编程工具，Java有eclipse等工具，而Scala有IntelliJ IDEA.当然ecl 阅读全文
posted @ 2020-08-13 11:30
大码王
阅读(374)
评论(0)
推荐(0)
浙公网安备 33010602011771号