tech-me

摘要： 环境：idea 通过maven管理jar包，导入：JUnit依赖（百度：mvn JUnit） 首先，对测试的内容要有一个规范的管理和命令。 0、新建一个源代码目录来存放我们的测试代码，即将测试代码和项目业务代码分开 1、测试类所在的包名应该和被测试类所在的包名保持一致 、 2、测试类使用Test作为 阅读全文

摘要： 粘贴一下我在部门中的一次hive优化的分享。 简述 hive构建在hadoop基础上，利用分布式存储，通过mr引擎实现对大数据的计算。MR会频繁地读写磁盘而且MR任务的启动成本很高。对于hive优化显得尤为重要。而优化的核心就是更好地利用hadoop的分布式特性和hive的有点。本篇从IO、参数设置 阅读全文

摘要： 在shell开发中，我们连接FTP或者passwd或sudo等操作时，需要手动输入密码。对于自动化而言，这显然是不合适的。而expect的强交互模式解决了这个问题。工作中偶有涉及到这个，个人也是简单的了解，解决实际问题，作学习记录。 一：安装【参考地址：https://www.cnblogs.com 阅读全文

摘要： Python作为一个高级编程语言，不知从何时起就在圈子里流行起来了。个人也是图个鲜，跟上时代步伐学习了一下。“鲁迅”说过：不能学以致用，就是耍流氓。我用python对虎扑论坛作了一个爬虫。脚本写的糙了点，权作初学者交流使用，同时也方便以后查阅。本来是准备写一个虎扑的分析帖子，可后来动力不足就没有写成 阅读全文

摘要： 在了解别人hive能力水平的时候，不管是别人问我还是我了解别人，有一些都是必然会问的东西。问的问题也大都大同小异。这里总结一下我遇到的那些hive方面面试可能涉及的问题 1、行转列（列转行） 当我们建设数据仓库时，我们对来自OLAP的数据进行加工以便处理成维度模型。在维度模型设计的时候就需要面对这样 阅读全文

摘要： ETL是EXTRACT（抽取）、TRANSFORM（转换）、LOAD（加载）的简称，实现数据从多个异构数据源加载到数据库或其他目标地址，是数据仓库建设和维护中的重要一环也是工作量较大的一块。当前知道的ETL工具有informatica, datastage,kettle,ETL Automation 阅读全文

摘要： hive是Apache的一个顶级项目，由facebook团队开发，基于java开发面向分析师或BI等人员的数据工具（常用作数据仓库），它将hdfs文件组织成表，使用hive-sql调用mapreduce任务完成计算。即使你不知道它的内部机制也不懂java，却不影响你使用。 这里主要以CLI使用为主， 阅读全文

摘要： 上次我们在ubantu上安装了hadoop，那我们现在再进一步，开始我们的学习之旅--hive板块吧！ 第一步：准备！ 软件： I、一个搭建好的hadoop环境 II、hive的bin文件（前往apache官网，参考链接：http://www.apache.org/dyn/closer.cgi/hi 阅读全文

摘要： 想着将Shell与Python和Java等脚本比较比较，当一有这个念头我就放弃了。这太侮辱Shell了。（哭笑脸！） 作为一个程序员，Linux那是最基本要求。而shell脚本有时候也会显示它在Linux中独特的魅力，让我们一起来学习学习吧！！！！ 我爱学习！！ 案例一 打印九九乘法表 >循环语句（ 阅读全文

摘要： 最近在学习hadoop相关知识，就在本机上安装了hadoop，遇到了一些坑，也学到了不少。仅此记录我的安装过程，及可能遇到的问题。供参考。交流沟通见页末。 软件准备 > 虚拟机（VMware） 个人情况下，不太可能有多台电脑，装一个虚拟机来进行实验。虚拟机中我用的是Linux的ubuntu版本。 具 阅读全文