摘要：
如题，系统架构升级引入消息机制，php 安装还是挺麻烦的，网上各种文章有的东拼西凑这里记录下来做个备忘，有需要的同学可以自行参考安装亲测可行 1 zookeeper扩展安装 1.安装zookeeper 我之前有一篇是写的zookeeper与kafka的安装，如果有问题的可以找出来看看 2.wget 阅读全文
摘要：
该文的前提是已经可以在控制台运行成功，有些时候想放在tomcat里运行 大致分为如下几步 1.配置文件更改 需要移除以前的启动包添加web启动，并移除自带的然后添加如下 然后将 <packaging>jar</packaging>改成 <packaging>war</packaging> 将该包放入 阅读全文
摘要：
背景：系统的数据量越来越大，日志不能再简单的文件的保存，如此日志将会越来越大，也不方便查找与分析，综合考虑下使用了flume来收集日志，收集日志后向kafka传递消息，下面给出具体的配置 启动方式： bin/flume-ng agent --conf conf --conf-file conf/ka 阅读全文
摘要：
由于项目要使用新闻,大量的数据所以想到了python的scrapy 下面大致讲一讲如何安装使用，直到整个新闻采集模块完成，网址什么的自己找 这里只是示范这里的项目环境是python 2.66 centos 1.Scrapy安装 1.１查看python版本因为官网上已经写清楚了要求２．７所以第一步升级 阅读全文
摘要：
写python的时候经常会有提示indent expected错误很常见，比如同一个文件有的是用空格敲出来的，有的是用tab键出来的这时候错误很难排查，这里说说在notepad++跟sublime下的处理方式 notepad++ 下选择视图->显示符号->选中第一个显示空格以及制表符 这时候再空格就 阅读全文
摘要：
使用python 提交表单包括图片以及参数信息，详见代码 urlib2 cookielib 这个库是本来就有的，MultipartPostHandler 这个库需要安装 安装方法如下： 1.先安装工具 如下: wget https://bootstrap.pypa.io/ez_setup.py -O 阅读全文
摘要：
1.安装zookeeper 在此之前在先新建文件夹以及权限设置这种 4.启动 进入到bin目录 执行./zkServer.sh start 然后ps-ef|grep zoo能看到进程说明已经启动成功 5.测试 在bin目录下执行./zkCli.sh -server 127.0.0.1 然后下面会出现 阅读全文
摘要：
Protocol buffers 是一个由谷歌开发的开源的编码机制用于将结构化的数据序列化或者反序列化，被设计成语言以及平台中立，protobuff比xml更简单比json还要紧凑一些，网上有一些关于对比他与一些序列化的对比这里就不再赘述。这里主要说一下在C#/dotNet里是怎么运行的。 1.下载 阅读全文
摘要：
protobuff 是谷歌开发的，在性能上要比Json xml好很多，对性能要求比较高的时候这个是一个不错的选择，但是这个目前只是一个序列化反序列化的东西，以前原生的只有几种语言的现在在github 上有多种语言有需要的可以自行查看。 这里将protobuff集成进去，可以自己写一个格式化的也可以安 阅读全文
摘要：
巴拉巴拉，实际场景是这样，因为有需要，所以想用django 做个rest服务给其他平台提供服务，发现以前正常的页面都无法运行，奇怪发现有一个页面提示连接不上mysql 难道mysql挂了，打开phpmyadmin 提示如标题，进入到init.d 准备查看下状态 提示 ERROR 2002 (HY00 阅读全文