Wind_LPH

摘要： match、match_phrase、query_string POST /lagou-company-index/_search { "query":{ "match_all": {} } } # or关系 # match 类型查询，会把查询条件进行分词，然后进行查询,多个词条之间是or的关系 P 阅读全文

摘要： var token="eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJhdWQiOiJhZG1pbiIsImlzcyI6IjEifQ.Vrr3ZSo3KVcjPFoMABbN6ir_ApGD47HsPDdoeo5gG84";var xhr=new XMLHttpReq 阅读全文

摘要： 动态规划是求解最优化问题的一种常用策略。 1、将复杂的原问题拆解成若干个简单的子问题 2、每个子问题仅仅解决一次，并保存他们的解 3、最后推导出原问题的解 应用场景： 最优解 有后效性和无后效性 使用步骤： 1、定义状态，状态是原问题所拆解成的子问题的解，例如dp（i），递归思想 2、设定初始状态， 阅读全文

摘要： 31、generateSerialVersionUID 32、UUID generator 33、DTO generator 34、 SequenceDiagram ，代码调用链路插件 文章：https://mp.weixin.qq.com/s/5rxIQk2nWVlvaK7Swf9Srw MP+M 阅读全文

摘要： 输出到MySQL： --input-null-string '\\N' --input-null-non-string '\\N' mysql连接参数： tinyInt1isBit:false useUnicode:true characterEncoding:utf8 mysql的jdbc字符串， 阅读全文

摘要： 当集群部署在阿里云或者腾讯云或者其他云上的时候，使用本地客户端访问会出现问题，解析的时候是内网地址，需要使用如下参数进行转换。 增加配置hdfs-site.xml 1 <configuration> 2 <property> 3 <name>dfs.client.use.datanode.hostn 阅读全文

摘要： dolphin 1.6已经增加了企业微信的功能。 公司用的钉钉，那么增加功能到钉钉指定分组，可以针对分组将错误的任务或者被杀死的任务进行提示。 alert模块，增加配置： 1 enterprise.dingtalk.enable=true 2 enterprise.dingtalk.secret=钉 阅读全文

摘要： 1 import numpy as np 2 3 # 可以将python中list列表转换为Numpy数组 4 l = [1,2,3,4] 5 6 # Numpy数组 7 ndl = np.array(l) # 输入一部分，可以使用tab不全 8 print(ndl) 9 display(ndl) 阅读全文

摘要： 1、设置块大小 sc.hadoopConfiguration.setLong(fs.local.block.size,128x1024x1024) 2、读取csv 1 val schema = "name string, age int, job string" 2 val df3 = spark. 阅读全文

摘要： 连接方式 hive://hive:hive@ip:10000/default?auth=LDAP hive://hive@ip:10000/default hive://username:passwd@ip:port/db?auth=KERBEROS&kerberos_service_name=hi 阅读全文

摘要： Error: Error while compiling statement: FAILED: SemanticException Line 1:23 Invalid path '"/root/testtt.dat"': No files matching path file:/root/testt 阅读全文

摘要： dolphin scheduler 默认的swagger 端口：http://host:12345/dolphinscheduler/doc.html?language=zh_CH&lang=cn 阅读全文

摘要： fatal: unable to access 'https://github.com/lidreamwind/mapreduce.git/': OpenSSL SSL_read: SSL_ERROR_SYSCALL, errno 10054 git config --global http.ssl 阅读全文

摘要： <build> <plugins> <!-- 跳过测试代码--> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-surefire-plugin</artifactId> <configuration> < 阅读全文

摘要： for i in yarn application -list | grep -w ACCEPTED | awk '{print $1}' | grep application_; do yarn application -kill $i; done 阅读全文

摘要： 以表的操作和单条记录的增删改查为基础。 批量操作，需要进行进一步封装。 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.clie 阅读全文

摘要： useradd hive | echo hive | passwd --stdin hive 阅读全文

摘要： 系统redhat7.5，如下图所示： 大数据集群，Ambari2.7.5+HDP3.1.5。 当配置启用Kerberos(当使用系统包自带的kerberos)的时候，服务会启动不了，如下图所示。 点开具体错误如下所示： 查看日志如下所示，此处是重点： 原因，这是因为Redhat7.5默认的KDC版本 阅读全文

摘要： 服务启动失败： systemctl start network 需要查看：systemctl status NetworkManager 若其运行，则需要终止。 systemctl stop NetworkManager systemctl disable NetworkManager 硬件地址参考 阅读全文

摘要： 版本：ambari2.7.5 HDP3.1.5 hive 3.1.0 spark 2.3.0 配置spark-sql命令行方式处理Hive数据。 参考：https://docs.cloudera.com/HDPDocuments/HDP3/HDP-3.1.5/integrating-hive/con 阅读全文