dy9776

摘要： 第一种，通过配置文件 val sc = new SparkContext() sc.hadoopConfiguration.set("fs.defaultFS", "hdfs://cluster1"); sc.hadoopConfiguration.set("dfs.nameservices", " 阅读全文

摘要： 1.用的flume-log4j avrosource的整合 2.学习如何指定类打印日志 #log4j.rootLogger=INFO,flume 这个是将全部的日志会打印出来 protected static final Log logger = LogFactory.getLog("ScriptP 阅读全文

摘要： 一. fluem中出现，transactionCapacity查询一下，得出一下这些： 最近在做flume的实时日志收集，用flume默认的配置后，发现不是完全实时的，于是看了一下，原来是memeryChannel的transactionCapacity在作怪，因为他默认是100，也就是说收集端的s 阅读全文

摘要： 在用python的 matplotlib 画图的时候，在图表上面有中文乱码问题，如下的： 解决过程： 平台：windows,python2.7步骤一：打开设置文件 import matplotlib matplotlib.matplotlib_fname() 会显示matplotlibrc文件的地址 阅读全文

摘要： 一 部署本地spark环境 1.1 安装好JDK 下载并安装好jdk1.7，配置完环境变量。 1.2 Spark环境变量配置 去http://spark.apache.org/downloads.html网站下载相应hadoop对应的版本，我下载的是spark-1.6.0-bin-hadoop2.6 阅读全文

摘要： 如题：错误并不是因为字段过长而导致出错的, 1. 可能是因为数据库里的表设置的字符集不相同。 2. 也可能真是数据库字段里数据库确实过长(我是遇到的这种情况)。 例如：在同一个数据库中，存在utf8的表，也存在gbk_chinese_ci的表。 解决办法：alter table `cms_activ 阅读全文

摘要： 1.问题 java.lang.OutOfMemoryError: PermGen space java.lang.OutOfMemoryError: Java heap space 17/04/17 17:46:36 ERROR TaskSetManager: Task 1 in stage 3.0 阅读全文

摘要： #python 编译器很有意思， 故 收集一些大神们总结，最为学习的资料整理，以下都是来源于互联网 当我们编写Python代码时，我们得到的是一个包含Python代码的以.py为扩展名的文本文件。要运行代码，就需要Python解释器去执行.py文件。 由于整个Python语言从规范到解释器都是开源的 阅读全文

摘要： 链接：https://www.zhihu.com/question/40393531/answer/133242263著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 有人用python写的代码如下： #-*-coding:utf-8-*- import time def isP 阅读全文

摘要： 1. 在具体计算机上实现一种语言，首先要确定的是表示该语言语义解释的虚拟计算机，一个关键的问题是程序执行时的基本表示是实际计算机上的机器语言还是虚拟机的机器语言。这个问题决定了语言的实现。根据这个问题的回答，可以将程序设计语言划分为两大类：编译型语言和解释型语言。 2. 由编译型语言编写的源程序需要 阅读全文