code never lies

摘要： redis是单线程的(4.0之前)，keys查询键类似hbase的全表扫描（也可以理解为select *），大数据量时非常耗时，因此官方给出了scan,使用scan类似数据库分页，可以指定查询多少个元素，官网的说明是scan是一种遍历,只不过可以用count指定每次查询多少个元素 语法：scan c 阅读全文

摘要： maven 1 <properties> 2 <jedis.version>3.0.1</jedis.version> 3 <junit.verion>4.12</junit.verion> 4 <log4j.verison>2.12.1</log4j.verison> 5 <slf4j.versi 阅读全文

摘要： 说明: 1.清晰度的选择要登录,暂时还没做,目前下载的视频清晰度都是默认的480P 2.进度条仿linux的,参考了一些博客修改了下,侵删 3.其他评论,弹幕之类的相关爬虫代码放在了https://github.com/teleJa/bilibili 4.判断sys.argv那个地方是因为一些爬虫调 阅读全文

摘要： 1.vultr账号,密码,充值好大洋之后准备部署 2.点击deploy new server 3.选择server location 4.选择套餐,服务器的系统用的是centos 需要注意的是选择完之后要去看下面的additional features,如果有enable ipv6说明默认给你分配的 阅读全文

摘要： 需求:将前些日子采集的评论存储到hbase中 思路: 先用fastjson解析评论,然后构造rdd,最后使用spark与phoenix交互,把数据存储到hbase中 部分数据: 1 [ 2 { 3 "referenceName": "Apple iPhone XR 64GB 黑色 移动联通电信4G全 阅读全文

摘要： 除此之外还需要导入phoenix-5.0.0-HBase-2.0-client.jar 把以下文件拷贝到resources文件夹下 阅读全文

摘要： 栈: 队列: 双向队列: 队列的头尾选择与list的头尾对应关系应根据实际需要,如入队的频率高(在队尾添加元素),则队列的的尾就是list的尾,因为append的的复杂度为O(1),反之出队的频率高(从队头删除一个元素),则队列的头部为list的尾部,pop的复杂度为O(1) 阅读全文

摘要： 1 # -*- coding: utf-8 -*- 2 # @author: Tele 3 # @Time : 2019/04/23 下午 6:54 4 # 单向循环列表 5 # 单向循环列表与单向列表的不同之处在于最后一个元素的next为头节点 6 class SingleCycleNode: 7 def __init__(self, data, next... 阅读全文

摘要： 1 # -*- coding: utf-8 -*- 2 # @author: Tele 3 # @Time : 2019/04/23 下午 3:19 4 # 双向链表的实现 5 # 双向链表的每个节点包含三个部分:上一个节点的链接区,数据区,下一个节点的链接区 6 # 通过双向链表中的任意节点都能访问全部节点 7 class DoubleNode: 8 ... 阅读全文

摘要： 1 # -*- coding: utf-8 -*- 2 # @author: Tele 3 # @Time : 2019/04/22 下午 3:17 4 # 单向链表的实现 5 # 每个节点包含两部分,数据区和指向下个节点的链接 6 # 单向列表:每个节点包含两部分:数据区与链接区(指向下一个节点),最后一个元素的链接区为None 7 # 单向列表只要找到头节点,就... 阅读全文