摘要：
1.背景 最近在处理一个数据量级在1亿左右的数据，没办法mysql不好处理，只能把数据放到大数据集群进行处理，处理好后再把这亿级数据导入本地Mysql。 2.实践 （1）把需要处理的数据手动传到集群，上传的数据只有一万条左右，经过笛卡尔积以及各种运算后，结果数据条数有一亿左右，文件大小有5G左右。 阅读全文
摘要：
1.背景 最近公司看板要搞月切看板，没法只有把每个月的最后一份数据存储下来，由于看板使用的是存储引擎是mysql，所以并不想每次都推送所有月份数据到mysql，尤其是每个月数据量较大的时候，只好使用增量的方式进行数据推送。采用增量的方式一种是用delete删除最新月份数据，然后再推最新月份数据，但这 阅读全文
摘要：
1.背景 底层引擎采用的是Tez，为了快速定位自己的脚本是哪一段性能较差，首先需要在脚本里面设置脚本名称，命令如下： set tez.job.name=dws_contract_detail_info_s_d; 这是我的一个例子，设置好名称后，开始执行脚本，等脚本执行完成后就可以开始排查问题。 2. 阅读全文
摘要：
区块链是一种分布式的、不可篡改的记录数据的技术。它是由一系列数据块（Blocks）组成的链式结构，每个数据块包含了一定数量的交易信息和与之相关的元数据。每个数据块都通过密码学哈希函数与前一个数据块连接起来，形成了一个不断增长的链式结构。 下面用代码来理解一下区块链，首先创建一个块信息对象。块信息主要 阅读全文
摘要：
1.背景 最近在使用instr进行字符截取时出现了字符截断的情况，案例是需要获取出"红河哈尼族矫族自治州(xxxx（红河)有限公司)"里面的"xxxx（红河)有限公司"内容，结果获取到的内容是"xxxx（红河"，该语句针对只有一对括号时没有问题，当出现这种有两个括号时就会出现截断的问题,原始语句如下 阅读全文
摘要：
Docker 是一种容器化平台，可以轻松地将应用程序及其依赖项打包为容器，以便在不同的环境中运行。 1.为什么使用容器 （1）更高效的利用系统资源 （2）一致的运行环境 （3）持续交付 （4）快速部署 （5）弹性扩容 2.容器特点 （1）容器和虚拟机的区别，通过下图可以很明显看出，虚拟机是模拟出一套 阅读全文
摘要：
1.背景 最近看同事在搞自动化测试，便想着自己在本地搭建一个自动化点击页面环境。主要是Selenium操作谷歌游览器进行访问百度，然后搜索关键词，获取搜索的内容。 2.环境准备 （1）查看本地谷歌游览器版本号，点击游览器右上角->设置-关于chrome即可获取，目前我的游览器是最新版本的。 （2）下 阅读全文
摘要：
上一篇介绍了逻辑回归算法，发现分类效果不好，通过这次的svm发现是因为训练数据不行，于是网上找了部分训练数据，发现实际上分类效果还可以。 训练数据，第一个值是标签，下面的数据是某种花的相关特征。 1|5.1,3.5,1.4,0.2 1|4.9,3,1.4,0.2 1|4.7,3.2,1.3,0.2 阅读全文
摘要：
本地小数据量测试了一下Spark的LogisticRegressionWithSGD算法，效果不尽如人意。 数据样例如下，竖杠前的0,1代表两种类型，后面逗号隔开的是两个特征，两个特征只要有一个大于等于0.6就会被分为1这一类，否则就是0。 1|0.3,0.6 0|0.2,0.1 1|0.5,0.6 阅读全文
摘要：
1.背景 最近整理以前的文件，发了一篇有意思的关于极验验证码破解思路的文章。现在回过头来思考感觉挺有意思的，分享给大家。 百度百科对极验的定义如下： 极验验证是一种在计算机领域用于区分自然人和机器人的，通过简单集成的方式，为开发者提供安全、便捷的云端验证服务。与以往传统验证码不同的是，极验通过分析用 阅读全文