DolphinScheduler(海豚调度)

摘要： Artificial Intelligence，也就是人工智能。TensorFlow是Google在2015年底开源的项目TensorFlow的论文地址：http://download.tensorflow.org/paper/whitepaper2015.pdfTe... 阅读全文

摘要： 今天安装opencv折腾了多个小时，为以后安装少走弯路，脚本安装完整 脚本如下：#! /bin/bashsudo yum install -y gcc g++ gtk+-devel libjpeg-devel libtiff-devel jasper-devel li... 阅读全文

摘要： 举例：GDP指标的组成 阅读全文

摘要： 1.工具或者服务化平台。Hadoop基础套件的，像亚马逊云等2.数据统计分析。这一类主要是BI,既有企业自有产品,也有第三方产品3.数据交易。典型企业有数据堂,api接口的各公司4.数据挖掘。用户画像(标签：奶爸;户外达人),做广告,营销等5.报告或解决方案。做大数据... 阅读全文

摘要： 由于想在项目中使用类似yarn的事件处理机制，就看了实现。主要是由Dispatcher.java，EventHandler.java，Service.java这3个类撑起来的。 在事件处理之前，先注册相应的事件处理handler，收到事件event后，由派发事件的Di... 阅读全文

摘要： @echo off echo 正在清除系统垃圾文件，请稍等...... del /f /s /q %systemdrive%\*.tmp del /f /s /q %systemdrive%\*._mp del /f /s /q... 阅读全文

摘要： 1.修改dfs.datanode.max.transfer.threads = 4096 (如果运行hbase的话建议为16384)，指定用于在DataNode间传输block数据的最大线程数，老版本的对应参数为dfs.datanode.max.xcievers ... 阅读全文

摘要： 数据库做拆分的几种方式：1．按功能划分（垂直切分） 将不同功能相关的表放到不同的数据库中，这样做的好处是非常直观。但当某一部分的功能其数据量或性能要求超出了可控的范围，就需要继续对其进行深入的再切分。 2．按表中某一字段值的范围划分（水平切分） 当伴随着某一个表的数据量越来越大，以至于不能承受的时候 阅读全文

摘要： 在hadoop测试集群运行job的过程中发现部分运行失败，有Cannot obtain block length for LocatedBlock，使用hdfs dfs -cat ${文件}的时候也报这个错，看过代码后发现是文件未被正常关闭(flume传到hdfs上的... 阅读全文

摘要： 数据库做拆分的几种方式：1．按功能划分（垂直切分）将不同功能相关的表放到不同的数据库中，这样做的好处是非常直观。但当某一部分的功能其数据量或性能要求超出了可控的范围，就需要继续对其进行深入的再切分。2．按表中某一字段值的范围划分（水平切分）当伴随着某一个表的数据量越来... 阅读全文