2016年8月9日
摘要：
private static String concat(String tag,String Time) { // TODO Auto-generated method stub // return new StringBuilder(tag.length() + Time.length()) // .append(tag).append(Time).toString(); retu... 阅读全文
posted @ 2016-08-09 17:28
山高似水深
阅读(880)
评论(0)
推荐(0)
摘要：
public static boolean isAngle(String str){ if(str.getBytes().length==str.length()){ //全是半角 return true; } return false; ... 阅读全文
posted @ 2016-08-09 17:27
山高似水深
阅读(2086)
评论(1)
推荐(1)
摘要：
public static int appearNumber(String srcText, String findText) { int count = 0; int index = 0; while ((index = srcText.indexOf(findText, index)) != -1) { index... 阅读全文
posted @ 2016-08-09 17:26
山高似水深
阅读(1969)
评论(0)
推荐(0)
摘要：
public static boolean isContainChinese(String str) { Pattern p = Pattern.compile("[\u4e00-\u9fa5a-zA-Z]"); Matcher m = p.matcher(str); if (m.find()) { return t... 阅读全文
posted @ 2016-08-09 17:25
山高似水深
阅读(268)
评论(0)
推荐(0)
摘要：
public static boolean isMobile(String str) { Pattern p = null; Matcher m = null; boolean b = false; p = Pattern.compile("^[1][3,4,5,8][0-9]{9}$"); // 验证手机号 ... 阅读全文
posted @ 2016-08-09 17:00
山高似水深
阅读(359)
评论(0)
推荐(0)
摘要：
Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。 这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooK 阅读全文
posted @ 2016-08-09 16:50
山高似水深
阅读(6205)
评论(0)
推荐(1)
摘要：
core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml hadoop-env.sh hive-env.sh hive-site.xml hbase-site.xml zoo.cfg 阅读全文
posted @ 2016-08-09 16:39
山高似水深
阅读(1324)
评论(0)
推荐(0)
摘要：
之前在网上搜索到的全部单位好像都是byte的，看起来很麻烦，然后自己看了下 hadoop fs -help hadoop fs -du -h / hadoop fs -du -h /tmp 很简单明了，前面的数字即为目录所占空间的大小，后面的因为我前期 备份数为3 后期改为2 所以可能会不一样 阅读全文
posted @ 2016-08-09 16:26
山高似水深
阅读(70166)
评论(2)
推荐(5)
摘要：
两天时间，知道现在才把这个东西解决 解决的灵感来源于百度知道一句话谢谢这个哥们 谢谢这个哥们！ 谢谢这个哥们！ 我的目录是在/home/hadoop/tmp 大家如果遇到这个问题，希望能按照我的办法去试一下 2016年1月18日04:00:49 阅读全文
posted @ 2016-08-09 16:06
山高似水深
阅读(2726)
评论(0)
推荐(0)
摘要：
zoo.cfg 1、server.1/2/3 有几台配置几个 2、配置好hosts映射之后可以用node1替代IP地址 3、dataLogDir 下面配置的logs 的目录一定要创建 4、dataDir 配置的目录下面一定要创建一个文本，里面写上server.（点）之后那个数字，每个节点都要写 5 阅读全文
posted @ 2016-08-09 16:05
山高似水深
阅读(392)
评论(0)
推荐(0)
摘要：
MySQL无法select 和 delete,update同时进行 只有将group By 出来不重复的数据进行insert到一张和之前同样类型的新表里面 转换思路，解决问题！ 阅读全文
posted @ 2016-08-09 16:04
山高似水深
阅读(438)
评论(0)
推荐(0)
摘要：
1、截取 65534条数据，进行分sheet，然后1个sheet导入一张表，最后进行整合！ 2、采用TXT导入方式，TXT的导入暂时没发现限制的数据条数，下午用TXT导入74万条数据成功 3、如果遇到log型的日志导入MySQL，可以直接复制成TXT，然后利用分隔符加上表头进行导入 阅读全文
posted @ 2016-08-09 16:03
山高似水深
阅读(6311)
评论(1)
推荐(0)
摘要：
在eclipse下配置hadoop location的时候 hadoop端口号应该与conf文件夹下的core-site.xml以及mapred-site.xml保持一致 前者对应dfs master，后者对应map-red master //这是mapred-site.xml mapred.job.tracker http://master.hadoop:90... 阅读全文
posted @ 2016-08-09 16:02
山高似水深
阅读(1766)
评论(0)
推荐(0)
摘要：
UPDATE `bj_agent_new` SET Compay= CONCAT(substring_index(`Compay`,'开发商',1),'开发商') WHERE Compay LIKE '%开发商%'; sql附上 阅读全文
posted @ 2016-08-09 16:02
山高似水深
阅读(1163)
评论(0)
推荐(0)
摘要：
log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory). log4j:WARN Please initialize the log4j system properly. log4j:WARN See http://logging.apach... 阅读全文
posted @ 2016-08-09 16:00
山高似水深
阅读(1183)
评论(0)
推荐(0)
摘要：
转载： 大数据本身是个很宽泛的概念，Hadoop生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤，你可以用小刀或者刨子去皮。但是每个工具有自己的特性，虽然奇怪的组合 阅读全文
posted @ 2016-08-09 15:59
山高似水深
阅读(7761)
评论(0)
推荐(2)
摘要：
1、数据已经load进去hdfs 2、hive、hbase已经安装成功（我用的是hadoop 2.4 hbase 0.98.12 hive 1.2.1） 3、开始！ 4、在hive建立表同时生成对应的一张Hbase表，分别在hive和hbase用show tables;和list查看是否生成对应的表 create table hive3 (key string,phone string... 阅读全文
posted @ 2016-08-09 15:58
山高似水深
阅读(788)
评论(0)
推荐(0)
摘要：
最近用本地Navicat连接集群的mysql，报了上述的错误，我认为是权限问题 之前试过赋权限给所有人，但是我这边还是连接不上，无奈，试试只分给我一个IP 开始：mysql -uroot -p //先登录mysql 我用的root用户 登录成功 mysql> 然后开始赋权限： 1、GRANT A 阅读全文
posted @ 2016-08-09 15:57
山高似水深
阅读(548)
评论(0)
推荐(0)
摘要：
oracle获取字符串长度函数length()和hengthb() lengthb(string)计算string所占的字节长度：返回字符串的长度，单位是字节 length(string)计算string所占的字符长度：返回字符串的长度，单位是字符 对于单字节字符,LENGTHB和LENGTH是一样的. 如可以用length(‘string’)=lengthb(‘string’)判断... 阅读全文
posted @ 2016-08-09 15:56
山高似水深
阅读(4659)
评论(0)
推荐(0)
摘要：
配置外网和内网的映射，内部所有配置全部用内网的IP 本地所有配置皆为外网地址 本地给服务器发指令全部由映射转换为内网指定IP，即可 阅读全文
posted @ 2016-08-09 14:16
山高似水深
阅读(26031)
评论(0)
推荐(0)
摘要：
例如：我现在要同时执行这么多语句 update community set xqmc=replace(xqmc,' ',''); update community set xqbm=replace(xqbm,' ',''); update community set dkxx=replace(dkxx,' ',''); update community set ssqy=replace(... 阅读全文
posted @ 2016-08-09 14:15
山高似水深
阅读(27399)
评论(1)
推荐(0)
摘要：
\n是换行，英文是New line，表示使光标到行首 \r是回车，英文是Carriage return，表示使光标下移一格 \r\n表示回车换行 阅读全文
posted @ 2016-08-09 14:14
山高似水深
阅读(348)
评论(0)
推荐(0)
摘要：
我是在hive删除表的时候出现这个错误的，看到这个错误应该就知道是字符集错误。 但是我用 alter database hive character set latin1; 这个命令将其改成拉丁之后还是不行，然后我想到是不是这次hive是重装的，然后还保留有上次存在的hive表结构等存在mysql的数据信息，所以果断将mysql里面的hive数据库删了，然后重新： create data... 阅读全文
posted @ 2016-08-09 14:13
山高似水深
阅读(663)
评论(0)
推荐(0)
摘要：
错误遇到的情形： hive整合hbase，hive的数据表 load，select，insert一切正常 通过hive往hbase关联表插入数据的时候报错，错误内容如下： 2016-04-18 14:00:34,721 Stage-0 map = 0%, reduce = 0% 2016-04-18 14:00:56,491 Stage-0 map = 100%, reduce = 0% ... 阅读全文
posted @ 2016-08-09 12:09
山高似水深
阅读(6105)
评论(0)
推荐(0)
摘要：
1.JDK配置 1) 安装jdk 2) 配置环境变量 JAVA_HOME、CLASSPATH、PATH等设置 2.Eclipse 1).下载eclipse-jee-juno-SR2.rar 2).解压到本地磁盘 3.Ant 1）下载 http://ant.apache.org/bindownload 阅读全文
posted @ 2016-08-09 11:59
山高似水深
阅读(27628)
评论(0)
推荐(0)
摘要：
select rand(); 这样取出来的数据是类似这样的： 0.5389902438400223 要几位自己取几位； 取得方法类似 select substr(concat("0000000",id),8,2) from workers //从第八位开始截2位 select right(concat("0000000",id),3) from workers //截取右边5位 ... 阅读全文
posted @ 2016-08-09 11:58
山高似水深
阅读(1020)
评论(0)
推荐(0)
摘要：
1 public class test2 { 2 public static void main(String []args){ 3 Timer timer=new Timer(); 4 timer.schedule(new TimerTask(){ 5 6 7 @Override 8 public void run() { 9 // TODO Auto-generated... 阅读全文
posted @ 2016-08-09 11:58
山高似水深
阅读(1007)
评论(0)
推荐(0)
摘要：
需求： 从mongoDB里面查出来数据，判断是否有该列簇，如果有则导入此条数据+列簇，如果没有，则该条数据不包含该列簇 直接贴出代码： package Test; import java.util.ArrayList; import java.util.Iterator; import java.util.List; import java.util.Set; import org.ap... 阅读全文
posted @ 2016-08-09 11:57
山高似水深
阅读(2862)
评论(0)
推荐(0)
摘要：
2016年5月11日10:08:29 hbase原本的put方式是一条一条的put，在客户端修改 AutoFlush 将HTable的setAutoFlush设为false，可以支持客户端批量更新。即当Put填满客户端flush缓存时，才发送到服务端。 默认是true。 例如： HTable hTable = new HTable(conf, tableName); hTable.setA... 阅读全文
posted @ 2016-08-09 11:56
山高似水深
阅读(1505)
评论(0)
推荐(0)
摘要：
http://pan.baidu.com/s/1nvlIw21?errno=0&errmsg=Auth%20Login%20Sucess&stoken=bb98db9f451c00ae85e239959d4c9814aa7f9a1fa02096d2d11e7e51db7d37e2d4aab936f224063386d4b7593616668c78e318b42437bcd098876c2cf8e... 阅读全文
posted @ 2016-08-09 11:41
山高似水深
阅读(1012)
评论(1)
推荐(1)
摘要：
package udf; import org.apache.hadoop.hive.ql.exec.UDF; public class helloudf extends UDF{ public String evaluate(String str){ try { return "HelloWorld " + str; } catch (Exception e) { // TODO: han... 阅读全文
posted @ 2016-08-09 11:40
山高似水深
阅读(3871)
评论(0)
推荐(0)
摘要：
类似： 在MYSQL里面我们可以这样的执行SQL select a.Community,a.PID,b.spidertime,b.comm,b.showings,b.room from lianjia_list a ,RentHouse_lianjia b where a.site = 7 and b.city='北京' and b.comm like %a.Community%; 不行... 阅读全文
posted @ 2016-08-09 11:38
山高似水深
阅读(55824)
评论(0)
推荐(2)
摘要：
conn = MysqlJdbcUtils.getConnection(); Statement ps=conn.createStatement(); ps.addBatch("truncate QB_ShowCount_Asite_copy"); ps.executeBatch(); String SrcSql = "select convert(unhex(hex(convert(Commu... 阅读全文
posted @ 2016-08-09 11:38
山高似水深
阅读(3559)
评论(0)
推荐(0)
摘要：
就是简单的一个字符串拼接，意义和所用场景自己体会下 insert into table agent_library1 select concat_ws(':',collect_set(name)) as name,contact,concat_ws(':',collect_set(company)) as company,concat_ws(':',collect_set(stores))as... 阅读全文
posted @ 2016-08-09 11:35
山高似水深
阅读(26484)
评论(0)
推荐(0)
摘要：
经过测试其中匹配双字节字符(包括汉字在内)：[^\x00-\xff]非常好用推荐一下 两外推荐个网址http://mscenter.edu.cn/blog/yongsheng/archive/2004/11/19/308.html 这个家伙收录的正则很多，呵呵 关键字：正则表达式 模式匹配 Java 阅读全文
posted @ 2016-08-09 11:34
山高似水深
阅读(5561)
评论(0)
推荐(0)
摘要：
function chkHalf(str){ for(var i=0;i { strCode=str.charCodeAt(i); if((strCode>65248)||(strCode==12288)){ ale... 阅读全文
posted @ 2016-08-09 11:31
山高似水深
阅读(800)
评论(0)
推荐(0)
摘要：
executeQuery : 用于实现单个结果集，例如： Select 一般使用executeQuery 就是来实现单个结果集的工具 executeUpdate 用于执行 INSERT、UPDATE 或 DELETE 语句以及 SQL DDL（数据定义语言）语句，例如 CREATE TABLE 和 阅读全文
posted @ 2016-08-09 11:29
山高似水深
阅读(3344)
评论(0)
推荐(0)
浙公网安备 33010602011771号
