摘要： parallelStream默认使用了fork-join框架，其默认线程数是CPU核心数。 通过测试实践，发现有两种方法来修改默认的多线程数量： 1、全局设置 在运行代码之前，加入如下代码： 2、代码块内部设置 parallelStream对多线程做了部分优化，如果是java7或之前版本还是老老实实 阅读全文

摘要： 安装Anaconda的绕道 这里介绍如何在windows下安装numpy/scipy/matplotlib/pandas/scikit_learn等数据分析相关包 相关环境： win7 64位 python3.4 安装步骤： 1、pip install numpy-1.13.1+mkl-cp34-c 阅读全文

摘要： 大数据分析中，我们经常需要使用pandas工具读取各类数据源并将结果保存到数据库中。 本文总结了一些读取和写入常用数据库数据的一些方法，包括mysql，oracle，impala等。 其中读取数据库数据有两种方法，一种是DBAPI2 connection，另一种是SQLAlchemy engine。 阅读全文

摘要： 环境：window7 x64、python3.4、django1.10 一、pip install xadmin安装报错 1、使用pip install xadmin命令安装可能报如下错误： 2、解决方案 亲测使用 二、django项目中配置xadmin settings.py配置 urls.py配 阅读全文

摘要： 目前用的比较多的富文本插件有百度的ueditor、ckeditor、kindeditor等，其中ueditor和kindeditor比较美观，ckeditor的皮肤较少。但是ueditor加载较慢，kindeditor样式与django后台样式相冲突，ckeditor与django耦合较好且配置简单 阅读全文

摘要： 爬虫的基本步骤分为：获取，解析，存储。假设这里获取和存储为io密集型（访问网络和数据存储），解析为cpu密集型。那么在设计多线程爬虫时主要有两种方案：第一种方案是一个线程完成三个步骤，然后运行多个线程；第二种方案是每个步骤运行一个多线程，比如N个线程进行获取，1个线程进行解析（多个线程之间切换会降低 阅读全文

摘要： Python对Excel的读写主要有xlrd、xlwt、xlutils、openpyxl、xlsxwriter几种。 如下分别利用xlwt和openpyxl将mysql数据库中查询的数据保存到excel中（注意：xlwt不支持.xlsx文件）： 一、从mysql查询数据 二、分别利用xlwt和ope 阅读全文

摘要： 貌似最新的scrapy已经支持python3，但是错误挺多的，以下为在win7中的安装步骤： 1、首先需要安装Scrapy的依赖包，包括parsel, w3lib, cryptography, pyOpenSSL,twisted,lxml 其中，twisted和lxml的安装包可以在http://w 阅读全文

摘要： 参考http://www.mamicode.com/info-detail-1523356.html1.远端执行:vi /etc/profile添加一行：PYTHONPATH=$SPARK_HOME/python/:$SPARK_HOME/python/lib/py4j-0.9-src.zip或者P 阅读全文

摘要： 相关环境如下: Python3.4 Win7 64位 参照官网https://github.com/cloudera/impyla中的安装步骤执行： 1、pip install six 2、pip install bit_array 3、pip install thriftpy ## thrift 阅读全文