摘要:算法评估 如何评估 如何评估一个算法, 是摆在算法研究首位的问题. 如果我们没有统一的, 可行的标准, 去衡量一个算法, 那么对于算法本身的研究, 是意义不大的. 有这样几个方面可以用来评估一个算法: 正确性 即能够处理 一般情况/特殊情况的数据, 能够正确处理大规模的数据, 也能够对任意合法输入做 阅读全文
posted @ 2020-06-03 17:22 千江月09 阅读(35) 评论(0) 推荐(0) 编辑
摘要:SparkConfiguration 这一章节来看看 Spark的相关配置. 并非仅仅能够应用于 SparkStreaming, 而是对于 Spark的各种类型都有支持. 各个不同. 其中中文参考链接版本是2.2, 而当前文档的版本是2.4.4 另外就是 关于Python R Spark SQL的相 阅读全文
posted @ 2020-01-15 18:27 千江月09 阅读(655) 评论(0) 推荐(0) 编辑
摘要:Redis Cluster linux下批量删除键 说明 使用时不支持传入参数 , 如 redis_batch_del.sh , 因为在linux下 会自动将 解析为当前目录下所有文件名, 目前还没有想到好的解决办法。 如果需要flushall 可以自行加入参数判断, 执行flushall。 代码 阅读全文
posted @ 2020-01-13 17:12 千江月09 阅读(228) 评论(0) 推荐(0) 编辑
摘要:SparkStreaming(1) ~ SparkStreaming编程指南 之所以写这部分内容的原因是, 无论是网络上可以直接找到的资料, 还是出版的书籍种种, 版本大都在1.6~2.0不等, 且资源零零散散, 需要到处百度, 搜罗资源. 但根据个人开发了一段时间的感觉来看, 会遇到的绝大多数问题 阅读全文
posted @ 2019-11-13 16:56 千江月09 阅读(131) 评论(0) 推荐(0) 编辑
摘要:Spark调优 写在前面 对于调优, 我觉得是没有放之四海而皆准的办法. 很多时候, 调优显得没有必要, 即使不进行调优, 程序也能够顺利执行. 在没有出现问题的时候, 不进行调优, 即使是在大数据中, 这也是我常常采用的原则. 并且, 针对问题再进行调优, 往往是更为合适的. 比如, 明明资源充足 阅读全文
posted @ 2019-10-04 12:39 千江月09 阅读(80) 评论(0) 推荐(0) 编辑
摘要:Spark 集群相关 来源于官方, 可以理解为是官方译文, 外加一点自己的理解. 版本是2.4.4 本篇文章涉及到: 集群概述 master, worker, driver, executor的理解 打包提交,发布 Spark application standalone模式 SparkCluste 阅读全文
posted @ 2019-09-27 18:16 千江月09 阅读(2491) 评论(0) 推荐(0) 编辑
摘要:SparkStreaming Kafka集成 参考链接: "Spark Streaming + Kafka Integration Guide" 文章基本是官方的翻译, 最多再加入了一小部分自己的思考在内, 如果能看懂官方文档, 也可以自行查看官网。 另外就是提供了自己实现的 zk + kafka 阅读全文
posted @ 2019-09-24 15:19 千江月09 阅读(797) 评论(0) 推荐(0) 编辑
摘要:计算机中的网络安全 在本篇中介绍了以下几个方面: 1. 机密性 密码学 对称加密算法(DES, 3DES, AES) 公开秘钥算法 RSA大素数的获取 2. 完整性 散列函数(MD5, SHA 1, 并没有提及算法实现) 报文鉴别(MAC) 数字签名 3. 端点鉴别 4. 应用 SSL(TCP网络安 阅读全文
posted @ 2019-08-14 10:02 千江月09 阅读(758) 评论(0) 推荐(0) 编辑
摘要:Java位域 这个概念是在 Effective Java中了解到的, 可以通过EnumSet来代替位域这种方式表达. 并不是很常见的概念, 因此记录下. 如果在这之前恰好了解过 bitmap这种数据结构就更好了。 不了解也没有关系。 bitmap 就是用bit的每一位来代表一个特殊的状态值, 或者说 阅读全文
posted @ 2019-07-03 22:22 千江月09 阅读(594) 评论(0) 推荐(0) 编辑
摘要:链路层 当数据从网络层发送下来, 又是如何定位到另一台主机或路由器中的呢? 从之前的了解,不难发现,当数据从网络层发送时,此时我们指定了目的地的IP地址,并且无论是本机还是路由器都能够根据IP转发表决定我们将要发送的下一个端口是什么,该以哪一条链路进行发送。 但在链路层呢?当脱离了IP地址,又如何从 阅读全文
posted @ 2019-06-16 17:27 千江月09 阅读(155) 评论(0) 推荐(0) 编辑