摘要: 1、NIO:selector、byteBuffer、channel 2、netty:EventLoop、Channel、Futrue、Pipline、Handler、ByteBuf 3、粘包半包、协议设计、序列化知识 4、常见参数以及源码 阅读全文
posted @ 2021-12-19 10:33 Wind_LPH 阅读(1) 评论(0) 推荐(0) 编辑
摘要: 有Low Level REST Client和High Level REST Client。 Low Level REST Client需要自己拼接所有的语句,需要自己解析结果。 High Level REST Client基于 Low Level REST Client。 pom如下。 <depe 阅读全文
posted @ 2021-12-02 22:04 Wind_LPH 阅读(33) 评论(0) 推荐(0) 编辑
摘要: 相关性评分排序默认情况下,返回的结果是按照 相关性 进行排序的——最相关的文档排在最前。 首先看看 sort 参数以及如何使用它。为了按照相关性来排序,需要将相关性表示为一个数值。在 Elasticsearch 中, 相关性得分 由一个浮点数进行表示,并在搜索结果中通过 _score 参数返回, 默 阅读全文
posted @ 2021-12-01 23:20 Wind_LPH 阅读(155) 评论(0) 推荐(0) 编辑
摘要: Elasticsearch中的所有的查询都会触发相关度得分的计算。对于那些不需要相关度得分的场景下,Elasticsearch以过滤器的形式提供了另一种查询功能,过滤器在概念上类似于查询,但是它们有非常快的执行速度,执行速度快主要有以下两个原因: 1、过滤器不会计算相关度的得分,所以它们在计算上更快 阅读全文
posted @ 2021-12-01 21:34 Wind_LPH 阅读(4) 评论(0) 推荐(0) 编辑
摘要: 复合搜索(compound query)布尔搜索(bool query)bool 查询用bool操作来组合多个查询子句为一个查询。 可用的关键字:must:必须满足filter:必须满足,对集合包含/排除的简单检查,计算速度非常快,不参与、不影响评分should:或must_not:必须不满足,在f 阅读全文
posted @ 2021-11-30 23:07 Wind_LPH 阅读(15) 评论(0) 推荐(0) 编辑
摘要: 可以使用term-level queries根据结构化数据中的精确值查找文档。结构化数据的值包括日期范围、IP地址、价格或产品ID。与全文查询不同,term-level queries不分析搜索词。相反,词条与存储在字段级别中的术语完全匹配。 词条搜索(term query)term 查询用于查询指 阅读全文
posted @ 2021-11-30 21:49 Wind_LPH 阅读(62) 评论(0) 推荐(0) 编辑
摘要: match、match_phrase、query_string POST /lagou-company-index/_search { "query":{ "match_all": {} } } # or关系 # match 类型查询,会把查询条件进行分词,然后进行查询,多个词条之间是or的关系 P 阅读全文
posted @ 2021-11-30 21:33 Wind_LPH 阅读(20) 评论(0) 推荐(0) 编辑
摘要: var token="eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJhdWQiOiJhZG1pbiIsImlzcyI6IjEifQ.Vrr3ZSo3KVcjPFoMABbN6ir_ApGD47HsPDdoeo5gG84";var xhr=new XMLHttpReq 阅读全文
posted @ 2021-11-15 17:56 Wind_LPH 阅读(16) 评论(0) 推荐(0) 编辑
摘要: 动态规划是求解最优化问题的一种常用策略。 1、将复杂的原问题拆解成若干个简单的子问题 2、每个子问题仅仅解决一次,并保存他们的解 3、最后推导出原问题的解 应用场景: 最优解 有后效性和无后效性 使用步骤: 1、定义状态,状态是原问题所拆解成的子问题的解,例如dp(i),递归思想 2、设定初始状态, 阅读全文
posted @ 2021-10-20 22:40 Wind_LPH 阅读(20) 评论(0) 推荐(0) 编辑
摘要: 文章:https://mp.weixin.qq.com/s/5rxIQk2nWVlvaK7Swf9Srw MP+MP Join 阅读全文
posted @ 2021-09-05 14:12 Wind_LPH 阅读(12) 评论(0) 推荐(0) 编辑
摘要: 输出到MySQL: --input-null-string '\\N' --input-null-non-string '\\N' mysql连接参数: tinyInt1isBit:false useUnicode:true characterEncoding:utf8 阅读全文
posted @ 2021-08-23 10:36 Wind_LPH 阅读(145) 评论(0) 推荐(0) 编辑
摘要: 当集群部署在阿里云或者腾讯云或者其他云上的时候,使用本地客户端访问会出现问题,解析的时候是内网地址,需要使用如下参数进行转换。 增加配置hdfs-site.xml 1 <configuration> 2 <property> 3 <name>dfs.client.use.datanode.hostn 阅读全文
posted @ 2021-08-17 09:22 Wind_LPH 阅读(10) 评论(0) 推荐(0) 编辑
摘要: dolphin 1.6已经增加了企业微信的功能。 公司用的钉钉,那么增加功能到钉钉指定分组,可以针对分组将错误的任务或者被杀死的任务进行提示。 alert模块,增加配置: 1 enterprise.dingtalk.enable=true 2 enterprise.dingtalk.secret=钉 阅读全文
posted @ 2021-08-12 15:32 Wind_LPH 阅读(179) 评论(0) 推荐(0) 编辑
摘要: 1 import numpy as np 2 3 # 可以将python中list列表转换为Numpy数组 4 l = [1,2,3,4] 5 6 # Numpy数组 7 ndl = np.array(l) # 输入一部分,可以使用tab不全 8 print(ndl) 9 display(ndl) 阅读全文
posted @ 2021-07-29 00:34 Wind_LPH 阅读(12) 评论(0) 推荐(0) 编辑
摘要: 1、设置块大小 sc.hadoopConfiguration.setLong(fs.local.block.size,128x1024x1024) 2、读取csv 1 val schema = "name string, age int, job string" 2 val df3 = spark. 阅读全文
posted @ 2021-07-12 19:01 Wind_LPH 阅读(6) 评论(0) 推荐(0) 编辑
摘要: 连接方式 hive://hive:hive@ip:10000/default?auth=LDAP hive://hive@ip:10000/default hive://username:passwd@ip:port/db?auth=KERBEROS&kerberos_service_name=hi 阅读全文
posted @ 2021-06-21 18:05 Wind_LPH 阅读(96) 评论(0) 推荐(0) 编辑
摘要: Error: Error while compiling statement: FAILED: SemanticException Line 1:23 Invalid path '"/root/testtt.dat"': No files matching path file:/root/testt 阅读全文
posted @ 2021-05-25 12:55 Wind_LPH 阅读(270) 评论(0) 推荐(0) 编辑
摘要: dolphin scheduler 默认的swagger 端口:http://host:12345/dolphinscheduler/doc.html?language=zh_CH&lang=cn 阅读全文
posted @ 2021-04-19 16:03 Wind_LPH 阅读(281) 评论(0) 推荐(0) 编辑
摘要: fatal: unable to access 'https://github.com/lidreamwind/mapreduce.git/': OpenSSL SSL_read: SSL_ERROR_SYSCALL, errno 10054 git config --global http.ssl 阅读全文
posted @ 2021-04-04 13:06 Wind_LPH 阅读(168) 评论(0) 推荐(0) 编辑
摘要: <build> <plugins> <!-- 跳过测试代码--> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-surefire-plugin</artifactId> <configuration> < 阅读全文
posted @ 2021-03-29 21:31 Wind_LPH 阅读(227) 评论(0) 推荐(0) 编辑