OnTheWay_duking

摘要： 使用Python访问MySQL，需要一系列安装 Linux下MySQLdb安装见 Python MySQLdb在Linux下的快速安装 http://blog.csdn.NET/wklken/article/details/7271019 以下是windows环境下的： 1. 安装数据库mysql 阅读全文

摘要： 转载至：http://blog.csdn.net/dragontang/article/details/4151660 http://www.iteye.com/topic/340548# 阅读全文

摘要： 最近在使用hadoop做apache日志分析，发现测试数据没问题，但数据一多就出问题，报 java.lang.StackOverflowError错误，最后定位为正则表达式栈溢出，发现某些行的日志数据长度超过了800，所以就会报这个错误， 最后的解决方案是把这一小部分数据舍去掉。 添加如下代码 St 阅读全文

摘要： 这个问题来的有点莫名奇妙，之前我的hadoop运行一直是正常的，某一天开始运行Mapreduce就报这个错。 试过很多种方法都没有用，比如 1.path环境变量2.Hadoop bin目录下hadoop.dll和winutils.exe3.c:\windows\system32 下的hadoop.d 阅读全文

摘要： Maven是当前流行的项目管理工具，但官方的库在国外经常连不上，连上也下载速度很慢。国内oschina的maven服务器很早之前就关了。今天发现阿里云的一个中央仓库，亲测可用。 修改${maven.home}/conf或者${user.home}/.m2文件夹下的settings.xml文件，在<m 阅读全文

摘要： 1.工具准备，最靠谱的是hadoop说明文档里要求具备的那些工具。 到hadoop官网，点击source下载hadoop-2.7.3-src.tar.gz。 解压之 tar -zxvf hadoop-2.7.3-src.tar.gz 得到hadoop-2.7.3-src文件夹。 进入hadoop-2 阅读全文

摘要： 一 下载maven bin包并解压 二 配置maven环境变量 将如下内容添加到/etc/profile中 执行source /etc/profile使环境变量生效 三 检查是否安装成功 阅读全文

摘要： 原文：http://www.cnblogs.com/reportmis/p/5939732.html ETL是BI项目最重要的一个环节，通常情况下ETL会花掉整个项目的1/3的时间，ETL设计的好坏直接关接到BI项目的成败。ETL也是一个长期的过程，只有不断的发现问题并解决问题，才能使ETL运行效率 阅读全文

摘要： 保留crt_time最新的一个数据 将查询的去重数据保存到新表t_link2中，新表比源表t_link多一列 阅读全文

摘要： 一 新建JAVA项目 并添加 hive-exec-2.1.0.jar 和hadoop-common-2.7.3.jar hive-exec-2.1.0.jar 在HIVE安装目录的lib目录下 hadoop-common-2.7.3.jar在hadoop的安装目录下的\share\hadoop\co 阅读全文