摘要：
有这样一组搜索结果数据： 租户,平台, 登录用户, 搜索关键词, 搜索的商品结果List 现在需要统计每个商品被哪些关键词搜索到，最终结果如下： 这里最关键的是sku对应到命中的关键词： 操作步骤1: 将给出的数据goodslist一列转为多行结构如下，重点用到了lateral view explo 阅读全文
posted @ 2018-12-24 16:31
硅谷工具人
阅读(733)
评论(0)
推荐(0)
摘要：
mac安装完docker后，显示无效的命令。 在应用程序中找到docker安装的路径，将该路径写到/etc/paths里面 阅读全文
posted @ 2018-12-22 14:01
硅谷工具人
阅读(1135)
评论(0)
推荐(0)
摘要：
https://github.com/b3log/xiaov XiaoV（小薇）是一个用 Java 写的 QQ 聊天机器人 Web 服务，可以用于社群互动： 监听多个 QQ 群消息，发现有“感兴趣”的内容时通过图灵机器人或百度机器人进行智能回复 监听到的 QQ 群消息可以配置推送到论坛某个接口上，以 阅读全文
posted @ 2018-12-14 15:15
硅谷工具人
阅读(822)
评论(0)
推荐(0)
摘要：
分组统计 1. groups sets(field1,field2,field3, (field1,field2)) 样例如下： 结果显示如下： 阅读全文
posted @ 2018-12-13 22:18
硅谷工具人
阅读(377)
评论(0)
推荐(0)
摘要：
oracle、hive都存在with as的用法。用于将重复的查询结果复用。 今天做统计分析时用到，使用例子如下： 1. 直接查询 2. 多表计算结果join 注意点： with as 最后必须跟sql语句结束，不允许单独使用。 阅读全文
posted @ 2018-12-13 22:15
硅谷工具人
阅读(21086)
评论(0)
推荐(0)
摘要：
1. 修改/etc/my.cnf, 在mysqld中增加一行skip-grant-tables，记得改完密码，将这行再删除。 保存，重启mysql 2. 使用一下命令直接进入，修改root密码 3. 重启mysql 将/etc/my.cnf 文件中修改的部分还原，然后重启mysql 阅读全文
posted @ 2018-12-12 18:23
硅谷工具人
阅读(201)
评论(0)
推荐(0)
摘要：
1. 创建临时function （这里两个包都是hive自带的，不需要自己开发的，可以根据名称查找对应的版本） 2. dboutput使用方法 准备一张hive表记录如下，然后在mysql中创建相同字段的表. 根据上面到规则，完整的hive脚本如下, 保存到script.q文件中： 这里只能inse 阅读全文
posted @ 2018-12-11 13:22
硅谷工具人
阅读(592)
评论(0)
推荐(1)
摘要：
1. 出错信息如下： 在启动配置中心的客户端时，报以下错误信息： 2. 度娘查了下，发现很多人碰到这个坑。 首先我提交到git上到配置文件名称为下面两个文件 遵循配置中心配置文件的规则 /{application}-{profile}.properties 所以在cloud-config-clien 阅读全文
posted @ 2018-11-30 10:41
硅谷工具人
阅读(918)
评论(0)
推荐(0)
摘要：
自己练习创建到多个项目，想同步到gitee上一个仓库中。 1. 首先在gitee上创建项目springtest 2. 在eclipse默认项目存放到地方创建文件夹springtest，用来同步gitee仓库。 我的电脑上是/Users/king/workspace/workspace_j2ee2/s 阅读全文
posted @ 2018-11-29 15:37
硅谷工具人
阅读(1846)
评论(0)
推荐(0)
摘要：
沙箱环境的文档都是错的，直接使用以下地址： 输入淘宝测试账号： sandbox_c_1 密码： taobao1234 https://login.tbsandbox.com/member/login.jhtml api接口测试调用地址： http://open.taobao.com/apitools 阅读全文
posted @ 2018-11-21 23:27
硅谷工具人
阅读(1769)
评论(0)
推荐(0)
摘要：
hive.exec.mode.local.auto 决定 Hive 是否应该自动地根据输入文件大小，在本地运行（在GateWay运行） true hive.exec.mode.local.auto.inputbytes.max 如果 hive.exec.mode.local.auto 为 true， 阅读全文
posted @ 2018-11-16 00:27
硅谷工具人
阅读(7149)
评论(0)
推荐(0)
摘要：
由于官方的1.8版本hdfs-sink不能在每天的0点滚动文件，所以修改了flume-hdfs-sink源码。 flume-hdfs-sink中修改了HDFSEventSink.java文件，其他文件未改动。 使用该程序打包，替换掉官方到flume-hdfs-sink.jar(建议备份一份), 也可 阅读全文
posted @ 2018-11-15 13:14
硅谷工具人
阅读(1120)
评论(0)
推荐(0)
摘要：
azkaban的工作流中的参数可以分为如下几个类型：azkaban UI 页面输入参数， 环境变量参数， job作业文件中定义的参数，工作流的用户定义的属性文件，上游作业传递给下游的参数，工作流运行时产生的系统参数，job的common参数等。 参数的作业范围分类，对当前job有效局部有效，对整个工 阅读全文
posted @ 2018-11-14 20:28
硅谷工具人
阅读(4921)
评论(2)
推荐(0)
摘要：
flume到hdfsSink： type hdfs path 写入hdfs的路径，需要包含文件系统标识，比如：hdfs://namenode/flume/webdata/ 可以使用flume提供的日期及%{host}表达式。 filePrefix 默认值：FlumeData 写入hdfs的文件名前缀 阅读全文
posted @ 2018-11-14 09:26
硅谷工具人
阅读(2430)
评论(0)
推荐(0)
摘要：
mac快捷键 快捷键说明 ⌘ + F 在当前窗口查找 ⌘ + ⇧ + F 在全工程查找 ⌘ + ⇧ + ⌥ + N 查找类中的方法或变量 F3 / ⇧ + F3 移动到搜索结果的下/上一匹配处 ⌘ + R 在当前窗口替换 ⌘ + ⇧ + R 在全工程替换 ⌘ + ⇧ + V 可以将最近使用的剪贴板内 阅读全文
posted @ 2018-11-13 12:16
硅谷工具人
阅读(1649)
评论(0)
推荐(1)
摘要：
注册码： 安装步骤： 然后保存即可。 阅读全文
posted @ 2018-11-06 13:47
硅谷工具人
阅读(1055)
评论(0)
推荐(0)
摘要：
1. 直接删除目录(不放入回收站) 2. 清空回收站 阅读全文
posted @ 2018-11-06 10:12
硅谷工具人
阅读(1510)
评论(0)
推荐(0)
摘要：
一、第一部分 1、spark2.1与hadoop2.7.3集成，spark on yarn模式下，需要对hadoop的配置文件yarn-site.xml增加内容，如下： 2、spark的conf/spark-defaults.conf配置 如果你是运行在yarn之上的话，就要告诉yarn，你spar 阅读全文
posted @ 2018-11-05 20:54
硅谷工具人
阅读(3911)
评论(0)
推荐(0)
摘要：
1. maven设置 除了阿里云库，还需要引入 cdh, spring库。需要修改maven下面的配置文件setting.xml, 参考下面设置。 2. 在项目文件pom.xml中引入的是cdh对应版本的包 设置cdh库，spring库。 依赖包需要加入cdh版本的 其他的依赖包正常添加即可。 附上 阅读全文
posted @ 2018-11-01 20:01
硅谷工具人
阅读(2049)
评论(0)
推荐(0)
浙公网安备 33010602011771号