摘要: 命令:conda install 名称 阅读全文
posted @ 2017-01-13 15:49 CrazyData 阅读(2010) 评论(0) 推荐(0) 编辑
摘要: 在最开始阶段,我们进行初始数据的收集工作,根据不同的业务场景,可能会涉及到的一些技术领域:分散日志收集技术,诸如Scribe、Flume为代表的开源日志收集系统;数据消息传递相关的技术,各种开源的消息队列MQ,诸如ActiveMQ、RocketMQ、Kafka等;各种爬虫技术、网页解析技术;数据库数 阅读全文
posted @ 2016-12-23 14:45 CrazyData 阅读(468) 评论(0) 推荐(0) 编辑
摘要: 解决办法:在 创建main文件夹和scala文件夹的时候,注意src与这两个文件夹不能同时设置为resources,否则就会产生报错,解决办法将src文件夹的resources取消,右键。 阅读全文
posted @ 2016-09-30 09:01 CrazyData 阅读(2989) 评论(0) 推荐(0) 编辑
摘要: import sys sys.path.append("路径") import .py文件 阅读全文
posted @ 2016-06-23 14:01 CrazyData 阅读(2065) 评论(0) 推荐(0) 编辑
摘要: 1.启动zookeeper集群 对于hadoop,使用Zookeeper的事件处理确保整个集群只有一个活跃的NameNode,存储配置信息,对于HBase,使用Zookeeper的事件处理确保整个集群只有一个HMaster,察觉HRegionServer的联机和宕机,存储访问控制列表等 启动命令:c 阅读全文
posted @ 2016-06-21 14:43 CrazyData 阅读(3505) 评论(0) 推荐(0) 编辑
摘要: * String类是不可变类,只要对String进行修改,都会导致新的对象生成。 * StringBuffer和StringBuilder都是可变类,任何对字符串的改变都不会产生新的对象。 在实际使用时,如果经常需要对一个字符串进行修改,例如插入、删除等 * 但StringBuffer和String 阅读全文
posted @ 2016-06-13 09:30 CrazyData 阅读(330) 评论(0) 推荐(0) 编辑
摘要: SecondaryNameNode是用来合并fsimage和edits文件来更新NameNode和metadata的。 其工作流程为: 1.secondary通知namenode切换edits文件 2.secondary从namenode获得fsimage和edits(通过http) 3.secon 阅读全文
posted @ 2016-05-30 08:38 CrazyData 阅读(830) 评论(0) 推荐(0) 编辑
摘要: 问题: HTTP Status 500 - Error instantiating servlet class RecommenderServlet type Exception report message Error instantiating servlet class Recommender 阅读全文
posted @ 2016-05-09 09:29 CrazyData 阅读(15655) 评论(0) 推荐(2) 编辑
摘要: 数据类型的转换,分为自动转换和强制转换。 自动转换是程序执行过程中“悄然”进行的转换,不需要用户提前声明,一般是从位数低的类型向位数高的类型转换 强制转换必须在代码中声明,转换顺序不受限制 自动数据类型转换: 按照从低到高的顺序,不同类型数据间的优先关系如下: byte short char -> 阅读全文
posted @ 2016-04-26 15:16 CrazyData 阅读(387) 评论(0) 推荐(1) 编辑
摘要: crontab参数: -u:帮助其他用户建立或移除工作排程 -l:查阅crontab的工作内容 -r:移除所有的crontab的工作内容 -e:编辑crontab文件 每项工作有六个字段: * * * * * * 分钟 小时 日期 月份 周 指令 0-59 0-23 1-31 1-12 0-7 指令 阅读全文
posted @ 2016-04-22 10:13 CrazyData 阅读(5565) 评论(0) 推荐(0) 编辑