疯吻IT

摘要： 1. 取kylin 数据import requestsimport pandas as pddef getDtu(dtuid,addr): sqlData = '{ "sql":"select * from dtu where dtuid=\'%s\' and addr=\'%s\' order by DTUTIME desc", "project":"yongli" , "offset":... 阅读全文

摘要： 1. 首先要创建 Project2. 再把Hive 表加载进来：3. 创建model3.1. 首先选择或者创建一个project3.2.创建一个新modle3.3. 选择数据库3.4 选择dimension (需要用到的列）3.5. 选择 measure 用作过滤，聚合 6 4. 创建cube4.1.选择model4.2.输入cube名称自动生成dimension:全选：这里... 阅读全文

摘要： 1. 全景图2. 合并根据attribute合并flowfile:合并 json, 并增加code，message等：3. 计算方差：在ExecuteScript里只能用纯python, 很多第三方包都不能用；并把计算的值插入到json里，输出。import simplejson as json #from scipy.stats import f_onewayimport java.io... 阅读全文

摘要： 全景图：1. ListHDFS & FetchHDFS:ListHDFS:FetchHDFS:2. EvaluateJsonPath:{"status": {"code":500,"message":"FAILED","detail":"DTU ID not exists"}}如果json里有数组，需要先用SplitJson分隔：3. RouteOnContent:4. Replac... 阅读全文

摘要： 全景图：1. ListHDFS & FetchHDFS:ListHDFS:FetchHDFS:2. EvaluateJsonPath:{"status": {"code":500,"message":"FAILED","detail":"DTU ID not exists"}}如果json里有数组，需要先用SplitJson分隔：3. RouteOnContent:4. Replac... 阅读全文

摘要： 1. 全景图2. 用ListHDFS获取所有文件名如果想重新再取一次，右健view state：点击 clear state, 再运行，即可再次采集数据了。3. 用FetchHDFS 取出json 数据4. 用ExecuteScript 转换import org.apache.commons.io.IOUtils import java.nio.charset.* import java... 阅读全文

摘要： 1. 通过Hive viewCREATE EXTERNAL TABLE if not exists finance.json_serde_optd_table ( retCode string, retMsg string, data array>)ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe'LOCATION 'hdfs... 阅读全文

摘要： 首先，用http://groovyconsole.appspot.com/测试下面的代码，发现引用总是失败.下载了GGTS：https://spring.io/tools/ggts测试成功：@Grapes( @Grab(group='org.ccil.cowan.tagsoup', module='tagsoup', version='1.2') )import org.ccil.cow... 阅读全文

摘要： 1. 备份copy 下面的文件到本地：conf/flow.xml.gz2. 恢复新安装一个nifi的环境，把这个文件copy到conf文件夹下运行nifi， 在界面上create template，然后再导出template在原来的nifi界面里导入template即可NIFI 中国社区 QQ群：595034369 阅读全文

摘要： 1. 全景图.2. 用ListHDFS获取所有文件名如果想重新再取一次，右健view state：点击 clear state, 再运行，即可再次采集数据了。3. 用FetchHDFS 取出json 数据4. 用ExecuteScript 转换import org.apache.commons.io.IOUtilsimport java.nio.charset.*import jav... 阅读全文