摘要： org.apache.spark.sql.catalyst.analysis.UnresolvedException: Invalid call to dataType on unresolved object, tree: 'goodsid 出错部分代码： Column column_combin 阅读全文

摘要： z这个类似问题解决好几次了。。经常忘记这里记录下 1.记得maven compile或者build一下，因为你class需要生成source里面的配置文件，你直接运行可能没生成（我出现过一次直接运行提示找不到资源问题，按理直接跑应该会自动去编译class才对） 2.修改java的版本（我用的是jav 阅读全文

摘要： ES文本搜索有两个概念文本召回率文本准确率对于用户的搜索我们要尽量保证高的召回率,然后再保证准确率以防止一些结果查询遗漏，但是准确率低的可以通过es的搜索模型打分让其靠后。#使用function score解决排序模型 GET /shop/_search { "_source": "*", #显示出 阅读全文

摘要： mysql到es的全量更新方案可以通过 logstash来实现 logstash可以做基于全量的定时更新，也可以做基于时间的定时更新。 logstash的使用方式如下（本人用的是logstash-7.6.1,不同版本在使用上应该有细微区别,区别百度可解决） 1.https://artifacts.e 阅读全文

摘要： 有个需求是纬度表需要秒出数据,首先表刚好也是1-1批对的情况,首先想到了利用hbase的索引机制。（表数据大概在4--30E之间） 虽然网上有很多直接建立hive表,自动创建hbase表的例子,但是这种情况不能进行hbase表的region预分区,导致热点问题比较严重。所以hive和hbase表要分 阅读全文

摘要： 原因：操作系统缺少 msvcr120.dll文件 下载地址：链接：https://pan.baidu.com/s/1RsVgWDEtZfn22_gPWIEw4g提取码：9emm 放置dll:32位\msvcr120.dll 粘贴到 C:\Windows\System32目录中64位\msvcr120 阅读全文

摘要： DELETE /test PUT /test { "settings": { "number_of_shards": 10, "number_of_replicas": 1 }} DELETE /employee##非结构化新建索引 PUT /employee{ "settings": { "num 阅读全文

摘要： 以前搭建过ES6感觉挺容易的，没想到今天重新学ES7的时候，自己三台linux折腾到半夜两点多。。配置文件和6和7.1有点区别。。这次贴个自己测试可用的 除了linux一些线程数的设置（这个网上比较容易找）,还有不能用root用户（自己新建个,记得赋权限）,必须JDK11（这个可以向下兼容,不过会报 阅读全文

摘要： //暂停kafka的消费 暂停分区的分配consumer.unsubscribe();//此处不取消订阅暂停太久会出现订阅超时的错误consumer.pause(consumer.assignment());//重新消费分区,此处不重新分配会出错 this.open(null,null,null); 阅读全文

摘要： 1.spark环境记得拷贝进hive.xml 2.SparkSession.builder().enableHiveSupport()记得加上enableHiveSupport 3.window记得winutils.exe这个工具放上（具体用法可以百度） 阅读全文