随笔分类 -  大数据

摘要：基于Spark的电影推荐系统: https://blog.csdn.net/u011254180/article/details/80006453 推荐系统（Spark） 开发环境： IntelliJ IDEA + maven + git + linux 软件架构： hadoop + zookeep 阅读全文

摘要：日志采集系统flume和kafka区别及联系: https://blog.csdn.net/helloxiaozhe/article/details/79481319 日志采集系统flume和kafka有什么区别及联系，它们分别在什么时候使用，什么时候又可以结合？ 观点一： 简言之：这两个差别很大， 阅读全文

摘要：flume安装: https://blog.csdn.net/u011254180/article/details/80000763 1 运行机制 1、 Flume分布式系统中最核心的角色是agent，flume采集系统就是由一个个agent所连接起来形成 2、每一个agent相当于一个数据传递员， 阅读全文

摘要：Kafka 2.0 安装以及使用： http://www.tianshouzhi.com/api/tutorials/kafka/117 kafka实战： https://www.cnblogs.com/hei12138/p/7805475.html Kafka-PHP扩展的使用 使用python连 阅读全文

摘要： 阅读全文

摘要：史上最详细的Hadoop环境搭建： https://blog.csdn.net/hliq5399/article/details/78193113 HDFS理论及安装部署: https://www.cnblogs.com/wangweiNB/p/5711012.html 阅读全文

摘要：1、HDFS页面：50070 2、YARN的管理界面：8088 3、HistoryServer的管理界面：19888 4、Zookeeper的服务端口号：2181 5、Mysql的服务端口号：3306 6、Hive.server1=10000 7、Kafka的服务端口号：9092 8、azkaban 阅读全文