摘要： 前言 最近公司要求基于公司的hadoop平台做一个关于电信移动网络的数据分析平台，整个项目需求大体分为四大功能模块：数据挖掘分析、报表数据查询、GIS地理化展示、任务监控管理。由于页面功能较复杂，所以采用前后端分离方式开发。前端采用webpack+vue+vue-router+axios技术栈，后端 阅读全文

摘要： parallelStream默认使用了fork-join框架，其默认线程数是CPU核心数。 通过测试实践，发现有两种方法来修改默认的多线程数量： 1、全局设置 在运行代码之前，加入如下代码： 2、代码块内部设置 parallelStream对多线程做了部分优化，如果是java7或之前版本还是老老实实 阅读全文

摘要： 项目需求 本项目从impala获取到的数据为用户地理位置数据，每小时的数据量大概在8000万条，数据格式如下： 公司要求对这些用户按照聚集程度进行划分，将300米范围内用户数大于200的用户划分为一个簇，并计算这个簇的中心点和簇的边界点。 附模拟的数据：https://files.cnblogs.c 阅读全文

摘要： 项目中有一处功能需求是：需要在历史数据查询页面进行查询字段的选择，然后由后台数据库动态生成对应的excel表格并下载到本地。 如果文件较小，解决办法是先将要传送的内容全生成在内存中，然后再一次性传入Response对象中； 如果文件较大时，我们可以考虑向HttpResponse传递一个迭代器，流式的 阅读全文

摘要： 本项目实现了任务执行的实时进度查询 实现方式 前端websocket + 后端websocket + 后端redis订阅/发布 实现原理 任务执行后，假设用变量num标记任务执行的进度，然后将num发布为订阅的消息保存到redis队列，比如 redis_helper.public('当前任务进度为  阅读全文

摘要： 前面已经将项目环境搭建好了，下面进入实战环节。这里挑选项目中涉及到的几个重要的功能模块进行讲解。 celery执行异步任务和任务管理 Celery 是一个专注于实时处理和任务调度的分布式任务队列。由于本项目进行数据分析的耗时比较长，所以采用异步方式执行任务。本项目中Broker使用redis，Res 阅读全文

摘要： 在开始项目之前，假设你已了解以下知识：webpack配置、vue.js、django。这里不会教你webpack的基本配置、热更新是什么，也不会告诉你如何开始一个django项目，有需求的请百度，相关的文章已经很多了。 下面开始一步一步构建完整的项目： 1、开发环境准备 win7 x64 pytho 阅读全文

摘要： 安装Anaconda的绕道 这里介绍如何在windows下安装numpy/scipy/matplotlib/pandas/scikit_learn等数据分析相关包 相关环境： win7 64位 python3.4 安装步骤： 1、pip install numpy-1.13.1+mkl-cp34-c 阅读全文

摘要： 年前无聊，想自己搭建一个后台管理框架，对比了easyui、Extjs、H-ui、H+UI、layui几个框架，easyui和Extjs虽然功能强大但是界面实在是接受不了，H+UI和layuiAdmin是收费的，layui界面确实做的不错，于是想着用layui做一个极简的后台（菜单+选项卡）。 先上图 阅读全文

摘要： 大数据分析中，我们经常需要使用pandas工具读取各类数据源并将结果保存到数据库中。 本文总结了一些读取和写入常用数据库数据的一些方法，包括mysql，oracle，impala等。 其中读取数据库数据有两种方法，一种是DBAPI2 connection，另一种是SQLAlchemy engine。 阅读全文