qingfeng68

摘要： Redis做集群拆分数据时，是按key拆分的，所以单个key存储的数据不易过大，否则无法拆分； 过期时间是和key一一对应的，此时也不宜将大量过期时间不同的数据存放到一个key 阅读全文

摘要： ``` !/bin/bash login rundateE=$2 rundateStart=$1 rundate= rundateEnd= 加入所执行程序所在目录 cd /usr/web/script/sqlserver2hdfs trap "exec 1000 & ;exec 1000testfi 阅读全文

摘要： 出现com.alibaba.fastjson.JSONException: syntax error, expect {, actual error, pos 1这种类型的错误 一般是数据格式问题 阅读全文

摘要： 2.2 KAFKA命令行操作 1）查看当前服务器中的所有topic 2）创建topic 3）删除topic 4）生产消息 5）消费消息 6）查看某个Topic的详情 7）修改分区数 8) bin/kafka consumer groups.sh –bootstrap server Hadoop102 阅读全文

摘要： substring_index(str,delim,count) str:要处理的字符串 delim:分隔符 count:计数 例子：str=www.wikibt.com 阅读全文

摘要： ``` /* * 将时间转换为时间戳 */ public static String dateToStamp(String s) throws ParseException{ String res; SimpleDateFormat simpleDateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); Date date = simpleD 阅读全文

该文被密码保护。 阅读全文

摘要： System.setProperty("HADOOP_USER_NAME","qingfeng") 阅读全文

摘要： replace into和on duplcate key update都是只有在primary key或者unique key冲突的时候才会执行。如果数据存在， replace into则会将原有数据删除，再进行插入操作，这样就会有一种情况，如果某些字段有默认值，但是replace into语句的字 阅读全文

摘要： 1. 概述 "Spark 以及 spark streaming 核心原理及实践" Spark Streaming用于流式数据的处理。Spark Streaming支持的数据输入源很多，例如： Kafka、Flume、Twitter、ZeroMQ、简单的TCP套接字等等。 数据输入后可以用Spark的 阅读全文