摘要: 最近在工作中遇到一个很难解析的JSON,他是一个嵌套的JSON数组的JSON,要使用Hive来进行解析,用Presto写了一次,逻辑就很清晰,因为Presto自带了JSON数据类型,转换数组就很方便,而Hive解析完JSON数组后是一个字符串,只能使用split方法来对string类型的数据进行切分 阅读全文
posted @ 2020-05-29 11:03 harrylyx 阅读(7381) 评论(0) 推荐(3) 编辑
摘要: 搭建完Hadoop,想学一下MapReduce,又想使用IDEA远程向伪分布式搭建的Hadoop提交MapReduce作业,,所以就折腾了一下,本文以WordCount为例,中途遇到很多问题,如权限问题、配置问题等等,在文章都有一一解决的办法,如果有什么问题,可以再评论区提出来,一起讨论。 阅读全文
posted @ 2020-05-14 15:07 harrylyx 阅读(1075) 评论(0) 推荐(1) 编辑
摘要: 新装maven建的第一个项目报错,下载失败,错误大概如下,就是无法下载jar包 [ERROR] Plugin org.apache.maven.plugins:maven-clean-plugin:2.5 or one of its dependencies could not be resolve.. 阅读全文
posted @ 2020-05-13 15:09 harrylyx 阅读(382) 评论(2) 推荐(0) 编辑
摘要: | 逻辑运算 | 规则 | 符号 | | : : | : : | | | 与 | 只有1 and 1 = 1,其他均为0 | & | | 或 | 只有0 or 0 = 0,其他均为1 | \| | | 非 | 也就是取反 | ~ | | 异或 | 相异为1相同为0 | ^ | | 同或 | 相同为1 阅读全文
posted @ 2020-03-07 12:01 harrylyx 阅读(675) 评论(0) 推荐(0) 编辑
摘要: 输出时左对齐与右对齐,补全 C语言 在C语言中我们可以这样来实现左右对齐 这样得到的结果就是 如果像补零的话,就这样写 如果保留多少个空格是一个变量的话,则变量部分使用 来代替 C++ 在C++中是要引入 这个头文件,然后 使用 来控制间距 使用 来控制左右对齐 使用 来控制补什么字符 最后我们使用 阅读全文
posted @ 2020-03-05 17:06 harrylyx 阅读(522) 评论(0) 推荐(0) 编辑
摘要: 运行C++的终端中如何结束输入 有时候我们运行程序的时候,是以EOF结束程序,可是在终端中,输入空格,TAB和回车符都是无法结束输入的,所以这时我们使用其他方式。 1. 在Windows中,输入完成后先按Enter键,再按Ctrl+Z键,最后再按Enter键即可结束输入。 2. 在Linux中,输入 阅读全文
posted @ 2020-03-05 17:05 harrylyx 阅读(472) 评论(0) 推荐(0) 编辑
摘要: 神经元 想一想便知道,当一个人捏你一下以至于你会痛得叫起来的力度便是神经元的阈值,而我们构建的时候也是把这种现象抽象成一个函数,叫作 激活函数 。 而这里便是我们使用 sigmoid函数 的原因,它是一个很简单的函数,平滑更接近显示。 ​ $$y=\frac{1}{1+e^{ x}}$$ 神经网络传 阅读全文
posted @ 2020-03-04 13:54 harrylyx 阅读(2137) 评论(0) 推荐(0) 编辑
摘要: matplotlib是python中的一个画图库,继承了matlib(从名字上也看得出来)的优点和语法,所以对于熟悉matlib的用户来说是十分友好的。 pylab和pyplot 关于pylab和pyplot,人们做过不少的讨论。这两个模块有哪些不同呢?pylab模块跟matplotlib一起安装, 阅读全文
posted @ 2020-03-03 10:28 harrylyx 阅读(1297) 评论(0) 推荐(1) 编辑
摘要: 刚开学便被拉去参加了研究生数模比赛,赛题是一个航班排班的优化问题,所以第一反映便是遗传算法,比赛期间三个问题都使用单目标遗传算法,趁着还比较熟悉,特此记录,以便后续复习。本篇文章使用Python进行实现。 启发式算法 启发式算法是一种技术,这种技术使得在可接受的计算成本内去搜寻最好的解,但不一定能保 阅读全文
posted @ 2020-03-02 18:41 harrylyx 阅读(2310) 评论(0) 推荐(0) 编辑
摘要: Mistune——更快的markdown解析器 在Python中有很多markdown解析器,以前我一直使用的是 "Python markdown" ,一个纯Python实现的markdown解析器,别的不说,慢的要死倒是真的。每次点击保存后,都要响应很久,我开始一直以为是我的vps在国外导致的,后 阅读全文
posted @ 2020-03-02 13:47 harrylyx 阅读(2528) 评论(0) 推荐(0) 编辑