摘要： ### 为什么分层？ 复杂的问题简单化 避免重复计算 参考大厂做法 ### ods层 1. 采集到ods链路： 用户行为数据（前端埋点）：前端埋点=》Nginx=》日志服务器（springboot--落盘成log）=》flume==》kafka：topic_log 业务数据（MySQL）：mysql 阅读全文

摘要： * 一、Linux ``` 1. 常用的高级命令：ps -ef 查看进程、top、iotop、netstat -tunlp | grep 端口号、df -h 、free 、tar、rpm 2. 查看磁盘使用情况：ps -ef，查看内存：top、free、jmap -heap 进程号，查看端口号：ne 阅读全文

摘要： 数据仓库概念：1. 为企业决策提供数据支撑、存储、计算、分析。 2. 分类：业务数据、用户行为数据、爬虫数据。 数据仓库流程：数据输入：用户行为数据、业务数据、爬虫数据等 >>>数据分析：对数据进行备份、聚合、统计 >>>数据输出：报表系统、用户画像（打标签：统计类标签、规则类标签、机器学习标签）、 阅读全文

摘要： 烧结矿概述： 烧结矿属于人工况，属于熟料。 因为环境，很多国家禁止使用天然矿。 经过高温处理后的人工况。人为加入了一些CaO、MgO等原料。冶炼性能优于天然富矿。 烧结矿在生产过程中去除了S、Zn、Pb、As、K、Na等有害杂质，减少对高炉的危害。 使用烧结矿基本上消除高炉冶炼天然矿的结瘤问题，改善 阅读全文

摘要： abstract关键字 随着继承层次中一个个新子类的定义，类变得越来越具体，而父类则更一般，更通用。类的设计应该保证父类和子类能够共享特征。有时将一个父类设计的非常抽象，以至于它没有具体的实例，这样的类叫做抽象类。 使用abstract修饰的抽象类不能够被实例化。 使用abstract修饰的抽象方法 阅读全文

摘要： 什么是hive hive是由Facebook开源，基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类SQL查询功能。 FaceBook公司在使用Hadoop实现数据分析的时候，发现有个毛病：会做分析的人如业务人员、数据分析师，会用SQL；会用Hadoop实现分布式开发是 阅读全文

摘要： ### 关于Hadoop ### Hadoop崩溃集群重启 先停掉进程，sbin/stop-yarn.sh sbin/stop-dfs.sh。然后删除每个集群上datanode的信息。默认在/tmp。如果配置了该目录，就去指定目录删除。data目录和log目录，最后执行格式化namenode for 阅读全文

摘要： 关于Apache Spark 1. 2003-2006年，谷歌发表了Google filesystem、MapReduce、bigtable三篇重量级系统论文，分别讨论了大规模数据如何存储、处理及结构化组织。之后Apache Hadoop社区对这些论文进行了开源实现，开发了hdf分布式文件系统、Ha 阅读全文

摘要： Flink内部节点之间的通信是用Akka,比如jobmanager和taskmanager之间的通信。而operator之间的数据传输是用netty。一句话总结，组件之间的传递用的akka，数据之间的网络传输用的是netty。 flink通过akka进行的分布式通信的实现，在0.9版本开始使用akk 阅读全文

摘要： 程序、进程、线程 程序：是为了完成特定任务，用某种语言编写的一组指令的集合，是一段静态的代码。（程序是静态的） 进程：是程序的一次动态执行。正在运行的一个程序，进程作为资源分配的单位，在内存中会为每个进程分配不同的内存区域。（进程是动态的），进程的生命周期：有它自身的产生、存在和消亡的过程。 线程： 阅读全文