摘要: 1、主要思路 获取京东所有商品列表:https://www.jd.com/allSort.aspx,大概有分类1190条 连接格式为:https://list.jd.com/list.html?cat=xxx 页面如下: 此页面可以从该页面直接获取商品价格、商品标题、商品URL、商品ID、商品品牌、 阅读全文
posted @ 2018-01-23 16:52 杜先生的博客 阅读(5026) 评论(0) 推荐(1)
摘要: wget https://www.python.org/ftp/python/3.4.4/Python-3.4.4.tgz ls tar xf Python-3.4.4.tgz mkdir /usr/local/python3 cd Python-3.4.4 ls ./configure --prefix=/usr/local/python3 make all make install mak... 阅读全文
posted @ 2018-01-09 16:19 杜先生的博客 阅读(1531) 评论(0) 推荐(0)
摘要: 1、问题出现 最近公司上线前端H5页面,使用npm打包,特别奇怪的是每次打包发现css和js文件与Windows下打包不一致(网页使用Windows环境开发),导致前端页面功能不正常。 2、问题排查 ① 更换服务器:无用 ② 更换npm版本:无用 ③ 在另一台Windows上打包:无用 ④ 等等网上 阅读全文
posted @ 2018-01-04 19:13 杜先生的博客 阅读(5058) 评论(0) 推荐(1)
摘要: 1、阐述 内部架构:Tomcat应用程序 > nginx > 其他Tomcat应用程序,内部Tomcat应用通过nginx调用其他应用。 HTTP插件:HttpClient 4.2.3 关闭连接的代码:httpClient.getConnectionManager().closeIdleConnec 阅读全文
posted @ 2018-01-02 19:23 杜先生的博客 阅读(19666) 评论(2) 推荐(3)
摘要: 1、下载相关包,需要和之前用到的依赖包保持一致 wget http://nginx.org/download/nginx-1.12.2.tar.gz wget https://bitbucket.org/nginx-goodies/nginx-sticky-module-ng/get/08a395c66e42.zip wget https://github.com/yaoweibin/ngin... 阅读全文
posted @ 2017-12-19 10:42 杜先生的博客 阅读(3215) 评论(0) 推荐(0)
摘要: 1、优化前查询速度 2、优化后查询速度 3、优化配置 innodb_buffer_pool_size=4Ginnodb_log_file_size=4Gmax_connections=1024innodb_log_buffer_size=32Mquery_cache_size = 0skip_nam 阅读全文
posted @ 2017-12-05 09:58 杜先生的博客 阅读(340) 评论(0) 推荐(0)
摘要: #!/usr/bin/env python #coding=utf-8 import requests from urllib2 import urlopen # import lxml.html from bs4 import BeautifulSoup import subprocess import sys,os reload(sys) sys.setdefaultencoding('u... 阅读全文
posted @ 2017-11-23 16:44 杜先生的博客 阅读(2412) 评论(0) 推荐(0)
摘要: #!/usr/bin/env python # coding : utf8 import re import os,sys #import fileinput # read text f = open(sys.argv[1],'rb') text = f.readlines() f.close() c = [] for i in text: # match Chinese Char = ... 阅读全文
posted @ 2017-11-21 14:02 杜先生的博客 阅读(475) 评论(0) 推荐(0)
摘要: 1、下载OpenSSL wget https://www.openssl.org/source/openssl-1.1.0e.tar.gz 2、解压编译安装 tar xf openssl-1.1.0e.tar.gz cd openssl-1.1.0e ./config shared zlib mak 阅读全文
posted @ 2017-11-14 17:01 杜先生的博客 阅读(1873) 评论(0) 推荐(0)
摘要: 1、介绍 本教程使用Compose、Machine、Swarm工具把WordPress部署在OpenStack上。 本节采用Consul作为Swarm的Discovery Service模块,要利用Consul实现服务的注册与发现,需要建立Consul Cluster。在Consul方案中,每个提供 阅读全文
posted @ 2017-10-17 21:56 杜先生的博客 阅读(3370) 评论(0) 推荐(0)