12 2016 档案

python Scrapy
摘要：由于项目要使用新闻,大量的数据所以想到了python的scrapy 下面大致讲一讲如何安装使用，直到整个新闻采集模块完成，网址什么的自己找 这里只是示范这里的项目环境是python 2.66 centos 1.Scrapy安装 1.１查看python版本因为官网上已经写清楚了要求２．７所以第一步升级 阅读全文
posted @ 2016-12-30 10:42 有没有人知道 阅读(605) 评论(0) 推荐(0)
sublime Text 2 制表符
摘要：写python的时候经常会有提示indent expected错误很常见，比如同一个文件有的是用空格敲出来的，有的是用tab键出来的这时候错误很难排查，这里说说在notepad++跟sublime下的处理方式 notepad++ 下选择视图->显示符号->选中第一个显示空格以及制表符 这时候再空格就 阅读全文
posted @ 2016-12-19 09:28 有没有人知道 阅读(1180) 评论(0) 推荐(0)
python post
摘要：使用python 提交表单包括图片以及参数信息，详见代码 urlib2 cookielib 这个库是本来就有的，MultipartPostHandler 这个库需要安装 安装方法如下： 1.先安装工具 如下: wget https://bootstrap.pypa.io/ez_setup.py -O 阅读全文
posted @ 2016-12-15 19:12 有没有人知道 阅读(154) 评论(0) 推荐(0)
centos install kafka and zookeeper
摘要：1.安装zookeeper 在此之前在先新建文件夹以及权限设置这种 4.启动 进入到bin目录 执行./zkServer.sh start 然后ps-ef|grep zoo能看到进程说明已经启动成功 5.测试 在bin目录下执行./zkCli.sh -server 127.0.0.1 然后下面会出现 阅读全文
posted @ 2016-12-14 16:00 有没有人知道 阅读(224) 评论(0) 推荐(0)
C#/net 使用Protocol Buffers入门
摘要：Protocol buffers 是一个由谷歌开发的开源的编码机制用于将结构化的数据序列化或者反序列化，被设计成语言以及平台中立，protobuff比xml更简单比json还要紧凑一些，网上有一些关于对比他与一些序列化的对比这里就不再赘述。这里主要说一下在C#/dotNet里是怎么运行的。 1.下载 阅读全文
posted @ 2016-12-07 11:10 有没有人知道 阅读(1845) 评论(0) 推荐(0)
asp.net WebApi and protobuff
摘要：protobuff 是谷歌开发的，在性能上要比Json xml好很多，对性能要求比较高的时候这个是一个不错的选择，但是这个目前只是一个序列化反序列化的东西，以前原生的只有几种语言的现在在github 上有多种语言有需要的可以自行查看。 这里将protobuff集成进去，可以自己写一个格式化的也可以安 阅读全文
posted @ 2016-12-06 23:48 有没有人知道 阅读(480) 评论(0) 推荐(0)