会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
dy9776
博客园
首页
新随笔
联系
订阅
管理
上一页
1
···
6
7
8
9
10
11
12
13
14
···
40
下一页
2017年5月29日
Spark -14:spark Hadoop 高可用模式下读写hdfs
摘要: 第一种,通过配置文件 val sc = new SparkContext() sc.hadoopConfiguration.set("fs.defaultFS", "hdfs://cluster1"); sc.hadoopConfiguration.set("dfs.nameservices", "
阅读全文
posted @ 2017-05-29 12:00 dy9776
阅读(1736)
评论(0)
推荐(0)
2017年5月23日
log4j 日志 配置 学习
摘要: 1.用的flume-log4j avrosource的整合 2.学习如何指定类打印日志 #log4j.rootLogger=INFO,flume 这个是将全部的日志会打印出来 protected static final Log logger = LogFactory.getLog("ScriptP
阅读全文
posted @ 2017-05-23 22:41 dy9776
阅读(337)
评论(0)
推荐(0)
flume的memeryChannel中transactionCapacity和sink的batchsize需要注意事项
摘要: 一. fluem中出现,transactionCapacity查询一下,得出一下这些: 最近在做flume的实时日志收集,用flume默认的配置后,发现不是完全实时的,于是看了一下,原来是memeryChannel的transactionCapacity在作怪,因为他默认是100,也就是说收集端的s
阅读全文
posted @ 2017-05-23 20:31 dy9776
阅读(6847)
评论(0)
推荐(1)
2017年5月5日
Python画图matplotlib展示图中中文乱码
摘要: 在用python的 matplotlib 画图的时候,在图表上面有中文乱码问题,如下的: 解决过程: 平台:windows,python2.7步骤一:打开设置文件 import matplotlib matplotlib.matplotlib_fname() 会显示matplotlibrc文件的地址
阅读全文
posted @ 2017-05-05 15:42 dy9776
阅读(18587)
评论(0)
推荐(1)
2017年4月27日
Python pycharm(windows版本)部署spark环境
摘要: 一 部署本地spark环境 1.1 安装好JDK 下载并安装好jdk1.7,配置完环境变量。 1.2 Spark环境变量配置 去http://spark.apache.org/downloads.html网站下载相应hadoop对应的版本,我下载的是spark-1.6.0-bin-hadoop2.6
阅读全文
posted @ 2017-04-27 19:41 dy9776
阅读(9020)
评论(0)
推荐(0)
2017年4月19日
插入UUID,出现Data truncation: Data too long for column 'id' at row 1
摘要: 如题:错误并不是因为字段过长而导致出错的, 1. 可能是因为数据库里的表设置的字符集不相同。 2. 也可能真是数据库字段里数据库确实过长(我是遇到的这种情况)。 例如:在同一个数据库中,存在utf8的表,也存在gbk_chinese_ci的表。 解决办法:alter table `cms_activ
阅读全文
posted @ 2017-04-19 22:27 dy9776
阅读(9648)
评论(0)
推荐(0)
2017年4月18日
IDEA 开发环境中 调试Spark SQL及遇到问题解决办法
摘要: 1.问题 java.lang.OutOfMemoryError: PermGen space java.lang.OutOfMemoryError: Java heap space 17/04/17 17:46:36 ERROR TaskSetManager: Task 1 in stage 3.0
阅读全文
posted @ 2017-04-18 16:38 dy9776
阅读(12698)
评论(0)
推荐(0)
2017年4月13日
Python解释器
摘要: #python 编译器很有意思, 故 收集一些大神们总结,最为学习的资料整理,以下都是来源于互联网 当我们编写Python代码时,我们得到的是一个包含Python代码的以.py为扩展名的文本文件。要运行代码,就需要Python解释器去执行.py文件。 由于整个Python语言从规范到解释器都是开源的
阅读全文
posted @ 2017-04-13 14:37 dy9776
阅读(993)
评论(0)
推荐(1)
java、c/c++ 、python 等性能比较 杂谈(整理)
摘要: 链接:https://www.zhihu.com/question/40393531/answer/133242263著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 有人用python写的代码如下: #-*-coding:utf-8-*- import time def isP
阅读全文
posted @ 2017-04-13 14:31 dy9776
阅读(47019)
评论(1)
推荐(1)
解释器与编译器 (收集)
摘要: 1. 在具体计算机上实现一种语言,首先要确定的是表示该语言语义解释的虚拟计算机,一个关键的问题是程序执行时的基本表示是实际计算机上的机器语言还是虚拟机的机器语言。这个问题决定了语言的实现。根据这个问题的回答,可以将程序设计语言划分为两大类:编译型语言和解释型语言。 2. 由编译型语言编写的源程序需要
阅读全文
posted @ 2017-04-13 14:27 dy9776
阅读(892)
评论(0)
推荐(0)
上一页
1
···
6
7
8
9
10
11
12
13
14
···
40
下一页
公告