03 2016 档案

python macos scrapy ,gevent module
摘要:easy_install pip pip install scrapy pip install ipython ImportError: No module named items https://groups.google.com/forum/#!msg/scrapy-users/aYrpirKB 阅读全文

posted @ 2016-03-30 14:26 szllq2000 阅读(277) 评论(0) 推荐(0)

Casperjs中fill提交表单遇到的问题
摘要:1.if you access internet with proxy please add --ignore-ssl-errors=true --ssl-protocol=any 2.casper.then* and casper.wait* 都是异步执行的 他们的调用,都是按堆栈中的顺序来执行; 阅读全文

posted @ 2016-03-30 10:04 szllq2000 阅读(487) 评论(0) 推荐(0)

work_log
摘要:机房搬迁 1. 虚拟机-à实体机 2. ldap 服务器 3. 考勤数据服务器 4. glpi 权限管理. 5. 备份脚本. 6. 试验jira重新启动. Luke 1,报价文档,相关技术者,技术背景信息, 项目经理简历,实施经理简历, 2,项目投入预算与实际跟踪, 3,持续集成如何保证客户的项目可 阅读全文

posted @ 2016-03-29 09:58 szllq2000 阅读(238) 评论(0) 推荐(0)

buffer/interger overflow /return-to-libc攻击实验
摘要:buffer/interger overflow /return-to-libc攻击实验 http://blog.sina.com.cn/s/blog_70dd16910100rdgn.html http://en.wikipedia.org/wiki/Return-to-libc_attack 阅读全文

posted @ 2016-03-29 09:57 szllq2000 阅读(161) 评论(0) 推荐(0)

国内java,oa,weixin opensource framework www.jeecg.org
摘要:Soap/rest 为API生,为框架死,为Debug奋斗一辈子!吃符号的亏,上大小写的当,最后死在需求上! 阅读全文

posted @ 2016-03-29 09:53 szllq2000 阅读(239) 评论(0) 推荐(0)

devops model
摘要:1,自动部署() 2,在线监控 (可视化,智能化) 3,故障诊断 (故障识别,故障隔离) 4,快速定位 (识别环境与程序,数据等问题) 评测工具开发 统计条目增加大项目; BI中权限―拨测数据查看; 代码行统计:新增,注释行比例; Sonarqube,fortify 代码检查―更加应该找出无效代码 阅读全文

posted @ 2016-03-29 09:36 szllq2000 阅读(221) 评论(0) 推荐(0)

Threaten Model
摘要:探测(扫描器,情报搜集)--入侵(vul,exp)--潜伏(RATS,setmft,AFSET)--横向入侵(admin cert,RATS)---信息泄漏(vpn,rats,通讯通道)--删除踪迹(destover)--退出(公布数据,清除,恶意程序) Threat classification: 阅读全文

posted @ 2016-03-29 09:35 szllq2000 阅读(157) 评论(0) 推荐(0)

iass,pass,cass,sass,vm,container
摘要:分布式存储hdfs 大文件,swift 对象存贮。 为七牛的CDN系统目前大部分还不是自建的,采用的是整合其它CDN的方式做的。也就是说出了七牛的文件分发使用的是网宿和蓝汛的老牌CDN的分发节点,自身只做技术。 分布式存储hdfs 大文件,swift 对象存贮。 为七牛的CDN系统目前大部分还不是自 阅读全文

posted @ 2016-03-29 09:02 szllq2000 阅读(545) 评论(0) 推荐(0)

closure--- 闭包与并行运算
摘要:闭包有效的减少了函数所需定义的参数数目。这对于并行运算来说有重要的意义。在并行运算的环境下,我们可以让每台电脑负责一个函数,然后将一台电脑的输出和下一台电脑的输入串联起来。最终,我们像流水线一样工作,从串联的电脑集群一端输入数据,从另一端输出数据。这样的情境最适合只有一个参数输入的函数。闭包就可以实 阅读全文

posted @ 2016-03-28 16:56 szllq2000 阅读(662) 评论(0) 推荐(0)

python and 我爱自然语言处理
摘要:曾经因为NLTK的 缘故开始学习Python,之后渐渐成为我工作中的第一辅助脚本语言,虽然开发语言是C/C++,但平时的很多文本数据处理任务都交给了Python。离 开腾讯创业后,第一个作品课程图谱也 是选择了Python系的Flask框架,渐渐的将自己的绝大部分工作交给了Python。这些年来,接 阅读全文

posted @ 2016-03-28 16:35 szllq2000 阅读(398) 评论(0) 推荐(0)

Linux Shell 文本处理工具集锦--Awk―sed―cut(row-based, column-based),find、grep、xargs、sort、uniq、tr、cut、paste、wc
摘要:本文将介绍Linux下使用Shell处理文本时最常用的工具:find、grep、xargs、sort、uniq、tr、cut、paste、wc、sed、awk;提供的例子和参数都是最常用和最为实用的;我对shell脚本使用的原则是命令单行书写,尽量不要超过2行;如果有更为复杂的任务需求,还是考虑py 阅读全文

posted @ 2016-03-28 10:04 szllq2000 阅读(353) 评论(0) 推荐(0)

ACME[free https] Linux中使用curl命令访问https站点4种常见错误和解决方法
摘要:free https certification generator https://github.com/Neilpang/acme.sh/wiki/%E8%AF%B4%E6%98%8E 每一种客户端在处理https的连接时都会使用不同的证书库。IE浏览器和FireFox浏览器都可以在本浏览器的控 阅读全文

posted @ 2016-03-21 15:26 szllq2000 阅读(2156) 评论(0) 推荐(0)

php composer,update-ca-trust
摘要:安装 ComposerComposer 需要 PHP 5.3.2+ 才能运行。 $ curl -sS https://getcomposer.org/installer | php这个命令会将 composer.phar 下载到当前目录。PHAR(PHP 压缩包)是一个压缩格式,可以在命令行下直接运 阅读全文

posted @ 2016-03-21 09:19 szllq2000 阅读(390) 评论(0) 推荐(0)

bootloader,kernel,initrc
摘要:http://www.ibm.com/developerworks/cn/linux/l-k26initrd/index.html http://www.68idc.cn/help/server/linux/20150707426047.html http://www.ibm.com/develop 阅读全文

posted @ 2016-03-19 22:00 szllq2000 阅读(186) 评论(0) 推荐(0)

linux devcie lspci,lscpu,blkdiscard,fstrim,parted,partprobe,smartctl
摘要:blkdiscard/sparse/thin-provisioned device,like ssdfstrim discard unused blocks on a mounted filesystemparted,partprobe(remount the partition table) sm 阅读全文

posted @ 2016-03-18 18:03 szllq2000 阅读(359) 评论(0) 推荐(0)

剖析Docker文件系统:Aufs与Devicemapper
摘要:http://www.infoq.com/cn/articles/analysis-of-docker-file-system-aufs-and-devicemapper 典型的Linux文件系统由bootfs和rootfs两部分组成,bootfs(boot file system)主要包含 boo 阅读全文

posted @ 2016-03-18 16:27 szllq2000 阅读(658) 评论(0) 推荐(0)

Linux 内核中的 Device Mapper 机制
摘要:http://www.68idc.cn/help/server/linux/20141127133367.html 简介: 本文结合具体代码对 Linux 内核中的 device mapper 映射机制进行了介绍。Device mapper 是 Linux 2.6 内核中提供的一种从逻辑设备到物理设 阅读全文

posted @ 2016-03-18 16:26 szllq2000 阅读(790) 评论(0) 推荐(0)

jenkins-cli, plugin/extracolumns
摘要:++++++++++++++++++++++++++++++++++++++++++++++++ echo "构建地址:${BUILD_URL}" >> xxx.logecho "SVN地址:${SVN_URL}" >> xxx.log svn log -r${SVN_REVISION} >> xx 阅读全文

posted @ 2016-03-17 11:07 szllq2000 阅读(417) 评论(0) 推荐(0)

在ubuntu上部署Kubernetes管理docker集群示例, vxlan,gre
摘要:http://www.chenshake.com/openstack-folsom-guide-for-ubuntu-12-04/   http://www.cnblogs.com/sammyliu/p/4627230.html 阅读全文

posted @ 2016-03-15 17:50 szllq2000 阅读(195) 评论(0) 推荐(0)

PXE,ipmi,bare metal
摘要:IPMI(Intelligent Platform Management Interface)是一个智能平台管理接口。 用户可以利用IPMI 监视服务器等设备的物理特征,如各部件的温度、电压、风扇工作状态、电源供应以及机箱入侵等。   阅读全文

posted @ 2016-03-15 16:01 szllq2000 阅读(404) 评论(0) 推荐(0)

linux, sysrq,acpi,apci,uio,subsystem daemon
摘要:linux, sysrq,acpi,apci    UIO(linux Userspace I/O子系统)用户空间设备驱动I/O技术介绍(由www.169it.com搜集整理)     UIO(Userspace I/O)是运行在用户空间的I/O技术。Linux系统中一般的驱动设备都是运行在内核空间 阅读全文

posted @ 2016-03-15 11:11 szllq2000 阅读(441) 评论(0) 推荐(0)

关于VFS文件系统中的superblock、inode、d_entry和file数据结构
摘要:      阅读全文

posted @ 2016-03-15 10:57 szllq2000 阅读(273) 评论(0) 推荐(0)

container,algorith,iterate
摘要:\ http://morningspace.51.net/resource/stlintro/stlintro.html   C++标准容器分为序列容器和关联容器,对于序列容器,C++提供的基本序列有 vector 支持随机访问,不适合做插入和删除操作频繁的场景 list 双向链表,适合做元素的插入 阅读全文

posted @ 2016-03-14 15:38 szllq2000 阅读(235) 评论(0) 推荐(0)

UEFI,BIOS,MBR,
摘要:UEFI启动是一种新的主板引导项,正被看做是有近20多年历史的BIOS 的继任者。顾名思义,快速启动是可以提高开机后操作系统的启动速度。由于开机过程中UEFI的介入 第一:安全性更强 UEFI启动需要一个独立的分区,它将系统启动文件和操作系统本身隔离,可以更好的保护系统的启动。即使系统启动出错需要重 阅读全文

posted @ 2016-03-14 14:12 szllq2000 阅读(313) 评论(0) 推荐(0)

cross-compler toolchains--clfs
摘要:http://www.cnblogs.com/leaven/archive/2010/11/17/1879679.html     阅读全文

posted @ 2016-03-14 09:48 szllq2000 阅读(113) 评论(0) 推荐(0)

llvm,gcc
摘要:在XCode中,我们经常会看到这些编译选项(如下图),有些人可能会有些茫然,本文将对GCC4.2、LLVM GCC 4.2、LLVM compliler 2.0三个编译选项进行一个详细的介绍。   GCC     GCC(GNU Compiler Collection,GNU编译器套装),是一套由 阅读全文

posted @ 2016-03-14 09:43 szllq2000 阅读(295) 评论(0) 推荐(0)

smp,numa,mpp,umam,olap,dss,oltp,greenplum,presto
摘要:从系统架构来看,目前的商用服务器大体可以分为三类,即对称多处理器结构 (SMP : Symmetric Multi-Processor) ,非一致存储访问结构 (NUMA : Non-Uniform Memory Access) ,以及海量并行处理结构 (MPP : Massive Parallel 阅读全文

posted @ 2016-03-14 09:35 szllq2000 阅读(552) 评论(0) 推荐(0)

lsof,fuser,xargs,print0,cut,paste,cat,tac,rev,exec,{},双引号,单引号,‘(字符串中执行命令)
摘要:cut用来从文本文件或标准输出中抽取数据列或者域,然后再用paste可以将这些数据粘贴起来形成相关文件。 粘贴两个不同来源的数据时,首先需将其分类,并确保两个文件行数相同。paste将按行将不同文件行信息放在一行。缺省情况下, paste连接时,用空格或tab键分隔新行中不同文本,除非指定-d选项, 阅读全文

posted @ 2016-03-11 11:22 szllq2000 阅读(467) 评论(0) 推荐(0)

bash characters
摘要:linux shell通配符(wildcard) 通配符是由shell处理的(不是由所涉及到命令语句处理的,其实我们在shell各个命令中也没有发现有这些通配符介绍), 它只会出现在 命令的“参数”里(它不用在 命令名称里, 也不用在 操作符上)。当shell在“参数”中遇到了通配符时,shell会 阅读全文

posted @ 2016-03-11 10:10 szllq2000 阅读(229) 评论(0) 推荐(0)

SNORT--install ---dependency-resolve
摘要:# ./configure 遇到ERROR: checking for pfring_open in -lpcap... no ERROR! Libpcap library/headers (libpcap.a (or .so)/pcap.h) not found, go get it from h 阅读全文

posted @ 2016-03-10 11:32 szllq2000 阅读(1192) 评论(0) 推荐(0)

Linux SA--HugePage,HPET
摘要:(High Precision Event Timer) 阅读全文

posted @ 2016-03-09 14:31 szllq2000 阅读(155) 评论(0) 推荐(0)

linux UIO
摘要:UIO(linux Userspace I/O子系统)用户空间设备驱动I/O技术介绍(由www.169it.com搜集整理) UIO(Userspace I/O)是运行在用户空间的I/O技术。Linux系统中一般的驱动设备都是运行在内核空间,而在用户空间用应用程... UIO(linux Users 阅读全文

posted @ 2016-03-09 11:28 szllq2000 阅读(2790) 评论(0) 推荐(0)

java generic super, extend
摘要://Apple Orange 都继承自Fruit类,同时Jonathan是Apple的子类 List<? extends Fruit> list = new ArrayList<Apple>(); //list.add(new Apple());Error //list.add(new Fruit( 阅读全文

posted @ 2016-03-08 13:53 szllq2000 阅读(254) 评论(0) 推荐(0)

linux dpdk DDOS清洗和流量行为分析
摘要:http://www.linuxidc.com/Linux/2014-09/106285.htm http://www.th7.cn/system/lin/201403/51652.shtml DDOS清洗和流量行为分析 阅读全文

posted @ 2016-03-08 09:50 szllq2000 阅读(1412) 评论(0) 推荐(0)

虚拟网卡 TUN/TAP 驱动程序设计原理
摘要:简介 虚拟网卡Tun/tap驱动是一个开源项目,支持很多的类UNIX平台,OpenVPN和Vtun都是基于它实现隧道包封装。本文将介绍tun/tap驱动的使用并分析虚拟网卡tun/tap驱动程序在linux环境下的设计思路。 tun/tap驱动程序实现了虚拟网卡的功能,tun表示虚拟的是点对点设备, 阅读全文

posted @ 2016-03-08 09:42 szllq2000 阅读(369) 评论(0) 推荐(0)

Tilera--100核cpu
摘要:市场对多核的需求越来越多,主要是因为单核处理能力不可能像以往那样不断地提升。从上世纪90 年代开始,整个产业遵循摩尔定律,即芯片上可容纳的晶体管数目每隔18个月便会增加一倍,性能也提升一倍。随着时间的推移,频率越来越快,运营指令不断提 升,这让芯片设计越来越多碰到瓶颈,特别是功耗的瓶颈,因此对多核的 阅读全文

posted @ 2016-03-08 09:02 szllq2000 阅读(588) 评论(0) 推荐(0)

python console
摘要:在设置了这个环境变量时 通过 set PYTHONIOENCODING=utf-8 或(PowerShell 下) $env:PYTHONIOENCODING = "utf-8" PYTHONIOENCODING 指定的编码方式会覆盖原来的 sys.stdout.encoding 。如果将 PYTH 阅读全文

posted @ 2016-03-07 17:33 szllq2000 阅读(753) 评论(0) 推荐(0)

windows accounts
摘要:Some built-in groups are used for management purposes. You control which > users belong to these groups, and they exist to allow you to easily > contr 阅读全文

posted @ 2016-03-07 15:39 szllq2000 阅读(277) 评论(0) 推荐(0)

packages managers
摘要:nodejs npm/bower/component ...rubygemsperl cpanpython pipOS X homebrewsublime text的package-control 那个repository添加插件的方式还得pull request 阅读全文

posted @ 2016-03-02 17:18 szllq2000 阅读(177) 评论(0) 推荐(0)

1.1 VGA(图像显示卡),Graphics Card(图形加速卡),Video Card(视频加速卡),3D Accelerator Card 和 GPU(图形处理器)
摘要:1.1 VGA(图像显示卡),Graphics Card(图形加速卡),Video Card(视频加速卡),3D Accelerator Card 和 GPU(图形处理器) 对这些概念之前也没怎么了解,这次正好自己梳理一下。从一篇古老的文章中,找到所谓的显卡从 VGA 到 GPU 发展史: 第一代显 阅读全文

posted @ 2016-03-02 14:47 szllq2000 阅读(2367) 评论(0) 推荐(0)

Gartner提出的7种多租户模型
摘要:下面,我们就来看看在SaaS应用搭建过程中,可以采用什么样的多租户模型。从而能较为清晰地了解未来使用PaaS平台开发的SaaS,可以为用户提供哪些多租户的服务。 Gartner提出了7种多租户的部署和实现方式模型,该模型可以作为任何多租户环境的参考模型。在具体的实施中以及大型企业中,可以根据自身的需 阅读全文

posted @ 2016-03-02 11:11 szllq2000 阅读(3951) 评论(0) 推荐(0)

MICRO-SERVICE
摘要:这个缩放立方体 (scale cube) 演示了各种可用的缩放选项: 缩放立方体 X 轴缩放 分担了应用程序的多个副本之间的工作负载,通常会使用一个负载平衡器或一个集群管理器。 Y 轴缩放 将应用程序拆分成多个不同的服务。每个服务负责一个或多个紧密相关的功能。 Z 轴缩放 根据每个记录的属性拆分一组 阅读全文

posted @ 2016-03-02 10:47 szllq2000 阅读(208) 评论(0) 推荐(0)

IBM DEVOPS IN CLOUD--chaos monkey
摘要: 阅读全文

posted @ 2016-03-02 10:39 szllq2000 阅读(357) 评论(0) 推荐(0)

etcd
摘要:etcd 是一个高可用的 Key/Value 存储系统,主要用于分享配置和服务发现。etcd 的灵感来自于 ZooKeeper 和 Doozer,侧重于: 简单:支持 curl 方式的用户 API (HTTP+JSON) 安全:可选 SSL 客户端证书认证 快速:单实例可达每秒 1000 次写操作 阅读全文

posted @ 2016-03-01 16:05 szllq2000 阅读(234) 评论(0) 推荐(0)

海量存储的一致性和高可用
摘要:海量存储的一致性和高可用 为了更好的描述一致性,我们通过以下的场景来进行,这个场景中包括三个组成部分: 存储系统 存储系统可以理解为一个黑盒子,它为我们提供了可用性和持久性的保证。 Process A ProcessA主要实现从存储系统write和read操作 Process B 和ProcessC 阅读全文

posted @ 2016-03-01 16:02 szllq2000 阅读(426) 评论(0) 推荐(0)