Wind_LPH

摘要： 使用Stack对大JSON进行识别。基本功能完成，需要考虑特殊情况。 public HashMap<String,JSONObject> analyseFileToPutJSONInMysql(String filepath){ HashMap<String,JSONObject> rs = new 阅读全文

摘要： import numpy as npimport pandas as pdindex = pd.date_range('1/1/2000',periods=8)s = pd.Series(np.random.randn(5),index = ['a','b','c','d','e'])df = pd 阅读全文

摘要： import numpy as npimport pandas as pd# # 目录# 生成数据# 查看数据# 选择# 缺失值# 运算-apply# 合并# 分组# 重塑-reshape# 数据透视表# 时间序列# 类别-Category# csv数据输入/输出# s = pd.Series([1 阅读全文

摘要： mrbs是一个开源的会议室管理软件，面向区域多会议室预定软件。 官网：https://mrbs.sourceforge.io/ mrbs是一款php+MySQL/postSQL的架构模式，本人不会php，只谈部署经验-以记录部署过程和所遇问题。 部署环境，centos7.4 + mrbs1.4.10 阅读全文

摘要： 代码参考git。git地址：https://github.com/lidreamwind/Java-Jpa-Data one to many是一张表的一条记录对应另一张表的多条记录。 Many to one 是一张表的多条记录对应另一张表的一条记录。 两张表之间以外键关系关联在一起。 文档参考：ht 阅读全文

摘要： 近期由于工作需要，使用Spring boot来进行项目开发，现总结如下。 Spring boot简介，https://blog.csdn.net/qq_32403063/article/details/87948084 Spring boot项目创建，https://www.cnblogs.com/ 阅读全文

摘要： https://blog.csdn.net/guyan0319/article/details/81188977 阅读全文

摘要： spark未序列化问题虽然不难，但资料却不系统，现总结如下： 问题发生原因 当spark算子在使用外部变量时，就会发生序列化问题，如下图所示： 上述图中算子map会在各个节点运行，属于不同jvm间数据交换，需要对交换的内容进行序列化。这就是为什么需要序列化的原因。 方法 1） 序列化类，并使用bro 阅读全文

摘要： 回调函数 有两个类，A,B,在类A中调用B，在B中调用A的方法完成A的工作，那么这个在B类中调用的A的函数就称为回调函数。 异步回掉函数：类A将自己的工作交给类B后，继续执行剩下的程序，而B继续完成A交给的工作。 使用方法： 1、定义一个接口 2、A可以直接继承此接口，也可以定义一个内部类继承此接口 阅读全文

摘要： 代码如下： val conf = new SparkConf().setAppName("testMysqlToHiveJdbc") .setMaster("local") val spark = SparkSession.builder() .config(conf) .enableHiveSup 阅读全文

摘要： authentication disabled; ui acls disabled; users with view permissions: Set(yanfabu); groups with view permissions: Set(); users with modify permissio 阅读全文

摘要： 1、查看免密登录日志 tail -f /var/log/secure 2、编辑ssh配置文件,参考配置 vi /etc/pam.d/system-auth vi /etc/pam.d/password-auth 3、修改/etc/ssh/sshd_config 参考值 PermitRootLogin 阅读全文

摘要： TYPE="Ethernet"PROXY_METHOD="none"BROWSER_ONLY="no"BOOTPROTO="none"DEFROUTE="yes"IPV4_FAILURE_FATAL="no"IPV6INIT="yes"IPV6_AUTOCONF="yes"IPV6_DEFROUTE 阅读全文

摘要： 快速排序的思想： 先以一个元素作为标准，找到这个元素的位置，这个位置前的数据都比这个元素小，这个元素后的数据都比这个元素大。 下面代码适用场景，没有大量重复元素的数据。 由于比较懒，盗个图吧: 第一版代码如下: 代码如下： 阅读全文

摘要： 1、数据源读取 使用的时候，需要加载驱动 --jars 或者添加到classpath中 或scaddjar Spark对Oracle数据库读取，代码如下： Spark 对Mongo读数据 2、机器学习算法转换 机器学习算法有两类不能直接添加到spark中： 1) 包中含有复杂依赖关系的，如scipy 阅读全文

摘要： 自顶向下的递归 归并排序的思想是先二分数组，然后再对每一部分进行二分，最后递归至每一部分只有一个元素，然后再进行组合。 优点：速度快 缺点：空间消耗较大 实现步骤：三个函数，一个总接口调用函数，一个递归函数，一个归并函数 优化一：数据近乎是有序数据时： 当middle的值大于middle+1位置的值 阅读全文

摘要： 1、选择排序 1) 循环所有元素，找到最小元素的下标 2) 最小元素下标和当前元素互换位置 阅读全文

摘要： 如给www.baidu.com/id=生活进行编码为 增加JavaScript控件，增加如下代码即可： var url='www.baidu.com/id=生活'var url2=encodeURI(url) 参考网址：https://stackoverflow.com/questions/3328 阅读全文

摘要： 1、 org.apache.hadoop.hive.metastore.HiveMetaException: Failed to get schema version.Underlying cause: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxError 阅读全文

摘要： yum源卸载： yum -y remove java java-1.8.0-openjdk.x86_64 阅读全文