菜鸟的进击

摘要：一．八爪鱼抓取智联招聘信息 1.1 打开八爪鱼采集器==》选择快速开始==>新建任务（高级模式） 1.2点击下一步 基本流程如下点击下一步 1.3启动单机采集等待数据抓取完毕 1.4导出数据 csv格式 二．将信息导入到虚拟机 2.1 因访问外网需要建立socroueCRT映射 2.2使用Fz将数据 阅读全文

摘要：一．Spark的产生背景起源 1.spark特点 1.1轻量级快速处理 Saprk允许传统的hadoop集群中的应用程序在内存中已100倍的速度运行即使在磁盘上也比传统的hadoop快10倍，Spark通过减少对磁盘的io达到性能上的提升，他将中间处理的数据放到内存中，spark使用了rdd（res 阅读全文

摘要：实体类和实体之间的关系：一对多，多对多 数据库设计：e_r 一个实体对象就是一个表格， 如果是1对多的关系，将多方的主键拿到1方做外键。 多对多：重新建立一张新的表格，将双方的主键拿到这里做外键 1、一对多的关系映射。 班级和学生为例： 1、创建班级实体类和学生实体类 2、在班级实体类中用set集合 阅读全文

摘要：JPA：出现后，所有的ORM框架都有@注解 ，在所有的ORM框架里面是通用的，因此一般是建议大家使用注解进行配置。 实体类一般都有唯一属性，普通属性，集合属性 如何体现ORM思想的？ @Entity：用来表示这是一个实体对象。 @Table：用来描述这个实体对象所对应的是哪一个表格 @Column： 阅读全文

摘要：哈哈 阅读全文

摘要：Hibernate主要配置文件 实体配置文件 log4j日志配置为文件 阅读全文

摘要：概述： JDBC：将java和数据库连接的驱动程序加载到项目中，在代码里面，注册驱动，创建链接，创建satement对象，发送并执行sql之类，关闭连接。 hibernate :数据持久化一个框架，对JDBC的一个封装：使用的好处：可以不用手动sql指令就可以完成一定的持久化功能。 应用与Dao层。 阅读全文

摘要：Hbase特点 HBase是一个构建在HDFS上的分布式列存储系统；HBase是基于Google BigTable模型开发的，典型的key/value系统；HBase是Apache Hadoop生态系统中的重要一员，主要用于海量结构化数据存储；从逻辑上讲，HBase将数据按照表、行和列进行存储。与h 阅读全文

摘要：1 Flume架构解释 Flume概念 Flume是一个分布式 ，可靠的，和高可用的，海量的日志聚合系统 支持在系统中定制各类的数据发送方 用于收集数据 提供简单的数据提取能力 并写入到各种接受方 Flume 特点 1 可靠性 当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了 阅读全文

摘要：1 列出所有的ambari数据库中所有的表 Sqoop list-tables -connect jdbc:mysql://localhost:3306/ambari -username ambari -password ambari; 2列出mysql里所有的数据库 Sqoop list-data 阅读全文

摘要：1.hive 的导入导出 1.1 hive的常见数据导入方法 1.1.1 从本地系统中导入数据到hive表 1.创建student表 [ROW FORMAT DELIMITED]关键字，是用来设置创建的表在加载数据的时候，支持的列分隔符。[STORED AS file_format]关键字是用来设置 阅读全文