摘要： sqoop数据迁移 1. 概述 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统； 导出数据：从Hadoop的HDFS、HIVE中导出数据到关系数据库mysq 阅读全文

摘要： 数仓工具 1. 学习目标 能够使用Hue操作HDFS 能够使用Hue操作Hive 理解为什么选择Sqoop 理解Sqoop1和Sqoop2的区别 理解Sqoop抽取数据的两种方式 能够使用Sqoop导入完整数据到HDFS 能够使用Sqoop导入完整数据到Hive 能够使用Sqoop导入条件数据到HD 阅读全文

摘要： 项目介绍和需求管理 1. 学习目标 了解知行教育大数据的项目背景 了解知行教育大数据的看板划分 了解项目技术架构 了解ClouderaManager的应用场景 掌握ClouderaManager架构 能够使用Vmware虚拟机环境 2. 项目简介 知行教育大数据分析平台，突出的是“真”，此项目是传智 阅读全文

摘要： 出现以下错误：org.apache.haddop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category READ is not supported in state standby:解决办法：h 阅读全文

摘要： 在命令状态下对当前行用== （连按=两次）, 或对多行用n==（n是自然数）表示自动缩进从当前行起的下面n行。你可以试试把代码缩进任意打乱再用n==排版，相当于一般IDE里的code format。使用gg=G可对整篇代码进行排版。 vim 选择文本，删除，复制，粘贴 文本的选择，对于编辑器来说，是 阅读全文

摘要： 阅读目录 开关机命令 ifconfig 查看ip地址 用户相关 权限相关 特殊字符 重定向相关 iptables防火墙 1. ls 命令 2、cd 切换 3、pwd 查看当前工作目录路径 4、mkdir 创建文件夹 5、rm 删除文件 7、mv　移动/修改文件名 8、cp　复制 9、cat 显示文件 阅读全文

摘要： 今日内容:1) 综合案例: 需求一 和 需求二: 需求一: 统计求和需求 排序需求 需求二: 求共同好友2) MapReduce性能优化策略 简单了解3) yarn基本介绍4) yarn的基本架构介绍及其相关的组件说明 --理解即可5) yarn的运行流程 -- 清楚 掌握 最好记忆住6) yarn 阅读全文

摘要： 爬虫综合案例 一、网络爬虫基础 1. 网络爬虫介绍 随着互联网的迅速发展，网络资源越来越丰富，信息需求者如何从网络中抽取信息变得至关重要。目前，有效的获取网络数据资源的重要方式，便是网络爬虫技术。简单的理解，比如您对百度贴吧的一个帖子内容特别感兴趣，而帖子的回复却有1000多页，这时采用逐条复制的方 阅读全文

摘要： 爬虫综合案例(jd爬虫) 学习了HttpClient和Jsoup，就掌握了如何抓取数据和如何解析数据，接下来，我们完成我们的项目案例，把京东的手机数据抓取下来 一、需求分析 需求说明: 本次爬取jd商城中所有手机商品数据:主要包含 商品的名称 商品价格 商品的id 商品图片 商品的详情的地址 通过点 阅读全文

摘要： Linux操作系统 1. 计算机入门知识介绍 1.1. 计算机原理 现代计算机大部分都是基于冯.诺依曼结构，该结构的核心思想是冯将程序和数据都存放在计算机中，按存储器的存储程序首地址执行程序的第一条指令，然后进行数据的处理计算。 计算机应包括运算器、储存器、控制器、输入和输出设备五大基本部件。 计算 阅读全文