2017年5月24日
简单抓取安居客房产数据，并保存到Oracle数据库
摘要： 思路和上一篇差不多，先获取网站html文件，使用BeautifulSoup进行解析，将对应属性取出，逐一处理，最后把整理出的记录保存到oracle中，持久化储存。 '''Created on 2017年2月20日 @author: Administrator'''from urllib import parse, requestfrom bs4 import BeautifulSoupfrom s... 阅读全文
posted @ 2017-05-24 09:12 Tony(iHqq) 阅读(409) 评论(0) 推荐(0)
2017年4月5日
Python开发网络爬虫抓取某同城房价信息
摘要： 前言： 苦逼的我从某某城市换到另一个稍微大点的某某城市，面临的第一个问题就是买房，奋斗10多年，又回到起点，废话就不多说了，看看如何设计程序把某同城上的房价数据抓取过来。 方案：方案思路很简单，先把网页内容获取下来，通过一定规则对内容解析，保存成想要的格式 难点是对网页的解析，是一个比较细致的活，必须边输出，边调试。 具体实现： 获取网页内容： def get_page(url): hea... 阅读全文
posted @ 2017-04-05 20:18 Tony(iHqq) 阅读(616) 评论(0) 推荐(0)
2017年3月8日
svn的安装(整合apache、ldap)包括错误解决post commit FS processing had error
摘要： 2013年12月5日 admin 发表评论 阅读评论 以下是centos环境下，以yum安装apache及其相关软件。svn使用源码包编译，使用官网最新的1.8.5版本。 一、安装apache openldap及其相关模块yum -y install httpd httpd-devel openldap openldap-devel mod_authz_ldap openssl openss... 阅读全文
posted @ 2017-03-08 15:31 Tony(iHqq) 阅读(4776) 评论(0) 推荐(0)
SVN安装中遇到的问题
摘要： 新的版本：1.9.5 必须使用Apache Portable Runtime Utility 1.5.4 Released没有安装的话需要先安装 需要安装apr、apr-util sqlite zlib，python 2.7以上版本。。。装的东西好多然后 make make install Linux很多地方编译的时候都会用到apr如果找不到apr就会报错 configure: WARNING... 阅读全文
posted @ 2017-03-08 14:20 Tony(iHqq) 阅读(835) 评论(0) 推荐(0)
Linux环境源码编译安装SVN
摘要： 作者：zhoulf出处：http://www.cnblogs.com/zhoulf/ 安装说明 安装环境：Red Hat Enterprise Linux安装方式：源码安装软件：apr-1.5.0.tar.gz、apr-iconv-1.2.1.tar.gz、apr-util-1.5.3.tar.gz、sqlite-amalgamation-201311181848.zip、subversion-1... 阅读全文
posted @ 2017-03-08 14:03 Tony(iHqq) 阅读(312) 评论(0) 推荐(0)
[转]SVN安装问题The Apache Portable Runtime (APR) library cannot be found
摘要： http://blog.csdn.net/ckwer2008/article/details/47972601 Linux很多地方编译的时候都会用到apr 如果找不到apr就会报错 configure: WARNING: APR not found The Apache Portable Runtime (APR) library cannot be found. Please in... 阅读全文
posted @ 2017-03-08 11:17 Tony(iHqq) 阅读(1478) 评论(0) 推荐(0)
2016年12月30日
Python使用TuShare将股票数据保存到Oracle数据
摘要： TuShare是个获取股票数据的模块包，我们进行分析，需要将股票数据保存到本地，避免每次都从网上获取，由于本机装有ORCALE，以ORACLE为例介绍如何保存股票数据到本地。 一、大致思路：我们先获取沪深的所有股票信息，保存到数据库中，主要使用的是dataframe的to_sql函数。 to_sql 阅读全文
posted @ 2016-12-30 14:19 Tony(iHqq) 阅读(3585) 评论(0) 推荐(0)
2016年12月28日
深入浅出数据分析-脑图
摘要： 《深入浅出数据分析》以类似“章回小说”的活泼形式，生动地向读者展现优秀的数据分析人员应知应会的技术：数据分析基本步骤、实验方法、最优化方法、假设检验方法、贝叶斯统计方法、主观概率法、启发法、直方图法、回归法、误差处理、相关数据库、数据整理技巧；正文以后，意犹未尽地以三篇附录介绍数据分析十大要务、R工具及ToolPak工具，在充分展现《深入浅出数据分析》目标知识以外，为读者搭建了走向下一步深入研究的... 阅读全文
posted @ 2016-12-28 11:40 Tony(iHqq) 阅读(863) 评论(0) 推荐(0)
2016年12月9日
Python3.5在Windows 7下连接ORACLE数据库
摘要： 1、首先需要安装好oracle数据库，本机适用plsql连接数据库正常，记录下数据库名称 2、安装cx_oracle模块 pip install cx_Oracle 3、python中引入模块 import cx_Oracle as cx 4、测试 conn = cx.connect('sys/password@localhost/orcl') cursor = conn.cursor (... 阅读全文
posted @ 2016-12-09 15:22 Tony(iHqq) 阅读(2052) 评论(0) 推荐(0)
2016年12月5日
Python3.5之TuShare
摘要： 这部分是直接搬运过来的，官方网站http://tushare.waditu.com/ TuShare是一个免费、开源的python财经数据接口包。主要实现对股票等金融数据从数据采集、清洗加工 到 数据存储的过程，能够为金融分析人员提供快速、整洁、和多样的便于分析的数据，为他们在数据获取方面极大地减轻工作量，使他们更加专注于策略和模型的研究与实现上。考虑到Python pandas包在金融量化分析中... 阅读全文
posted @ 2016-12-05 09:32 Tony(iHqq) 阅读(3397) 评论(0) 推荐(0)