摘要：1、项目介绍： 由于大数据部门涉及到其他部门将数据传到数据中心，大部分公司采用的方式是用json文件的方式传输，因此就需要编写服务端和客户端的小程序了。而我主要实现服务端的代码，也有相应的客户端的测试代码。这里须有一个需要提到的是，我在实现接收json文件的同时，而且还需将数据写到hbase中。写... 阅读全文

摘要：1、Query（1）分区查询在查询的过程中，采用那个分区来查询是通过系统自动的决定，但是必须是在分区列上基于where子查询。SELECT page_views.*FROM page_viewsWHERE page_views.date >='2008-03-01'AND page_views.da... 阅读全文

摘要：1、创建表First, create a table with tab-delimited text file format:（1）CREATE TABLE u_data ( userid INT, movieid INT, rating INT, unixtime STRING)ROW F... 阅读全文

摘要： 阅读全文

摘要：1、sqoop的merge的工具sqoop merge 可以将hdfs上的两个文件进行合并，在increment import的过程中经常会用到，如incremenet import将数据导入到hdfs上时，第二次导入时，由于会出现文件已经存在的问题，第二次导入的hdfs的文件与之前的文件是不一样的... 阅读全文

摘要：1、通用参数说明2、export的控制参数说明3、export的Inserts vs. Updates说明：在通过sqoop导出数据到关系型的数据库时，存在两种情况：insert&update,通过指定--update-key来匹配的字段，而它仅仅是匹配数据库中的记录，更新匹配成功的记录，对于不存在... 阅读全文

摘要：1、sqoop将关系数据库导入到hbase的参数说明2、sqoop导入hbase的命令 sqoop import --connect jdbc:oracle:thin:@192.168.27.235:1521/orcl --username DATACENTER -P --table TEMP1 ... 阅读全文

摘要：1、sqoop 将关系型数据库的数据导入hive的参数说明：2、 将关系型的数据库中的表数据导入到hive的表中 sqoop import --connect jdbc:oracle:thin:@//192.168.27.235:1521/ORCL --username DATACENTER --... 阅读全文

摘要：1、import增量导入的官方说明2、测试sqoop的increment import 增量导入在企业当中，一般都是需要经常执行的，如隔一个星期就执行一次增量导入，故增量导入的方式需要多次执行，而每次执行时，又去写相应的执行命令的话，比较麻烦。而sqoop提供了一个很好的工具save job的方式... 阅读全文

摘要：1、sqoop的import的参数指定2、sqoop的命令行执行可以通过--options-file來指定相应的命令行的文件的方式来执行命令 如需要执行：sqoop list-tables --connect jdbc:oracle:thin:@192.168.27.235:1521/ORCL --... 阅读全文

摘要：错误说明： 由于我的hadoop的集群是用cloudera manager在线自动安装的，因此他们的安装路径必须遵循cloudera的规则，这里只有查看cloudera的官方文档了，请参考：http://www.cloudera.com/content/cloudera/en/documentat... 阅读全文