随笔分类 -  财经数据

Tushare、JoinQuant、财经爬虫
财经数据（6）-Python多进程爬虫东方财富个股盘口异动数据
摘要：1、先上个图看下网页版数据、mysql结构化数据 2、分析思路： 该网页主要采用动态加载来实现的，通过刷新页面查看URL，最终发现想要的数据，在js链接当中，进行头文件分析，构造URL，完成数据获取 数据存储方式上，尝试了Python单条读写mysql、利用Pandas构造DataFrame存储，2 阅读全文
posted @ 2020-01-07 22:50 麦小秋 阅读(3109) 评论(0) 推荐(0)
财经数据（5）-开盘啦股票标签数据爬虫
摘要：本次主要是抓取开盘啦股票概念数据 采用多进程、requests完成数据的爬取 采用Pandas库完成数据比对，实现mysql数据存储 具体代码如下： # -*- coding: utf-8 -*- import pandas as pd import tushare as ts import tim 阅读全文
posted @ 2020-01-07 00:07 麦小秋 阅读(3752) 评论(2) 推荐(1)
财经数据（4）-Tushare金融接口数据获取
摘要：Tushare接口数据请求：分当天、历史两种情况。通过flag标签控制 由于部分接口请求限制,采用offset限制每次请求数量,time.sleep控制请求间隔时间 部分数据才用drop_duplicates(keep=False)去除所有重复数据 数据利用pandas写入mysql数据库。 数据表 阅读全文
posted @ 2019-12-27 17:48 麦小秋 阅读(1198) 评论(0) 推荐(0)
财经数据（3）-金融可视化本地数据字典
摘要：stock_basic_data：股票列表 stk_code varchar(12) not null primary key unique 股票代码，有后缀symbol varchar(12) 股票代码，无后缀 stk_name varchar(30) 股票名称 city varchar(60) 阅读全文
posted @ 2019-12-26 20:24 麦小秋 阅读(845) 评论(0) 推荐(0)
财经数据（3）-Pandas加载csv文件
摘要：数据来源：问财 请求问句：所属同花顺行业，所属概念 下载文件，利用Pandas读取，解析，存储 # -*- coding: utf-8 -*- import pandas as pd import time from sqlalchemy import create_engine # 股票所属概念、 阅读全文
posted @ 2019-12-26 18:15 麦小秋 阅读(429) 评论(0) 推荐(0)
财经数据（2）-聚宽数据
摘要：1、目标：利用JoinQuant获取竞价数据并实现Mysql存储 参考文献：https://www.joinquant.com/help/api/help?name=JQData#%E6%95%B0%E6%8D%AE%E8%B0%83%E7%94%A8%E6%96%B9%E6%B3%95 Tusha 阅读全文
posted @ 2019-12-26 01:56 麦小秋 阅读(764) 评论(0) 推荐(0)
财经数据（1）-开盘啦营业部标签及龙虎榜数据爬虫
摘要：目标：爬取开盘啦特色营业部标签数据及每日龙虎榜数据 上代码： # -*- coding: utf-8 -*- import requests import json import pandas as pd from sqlalchemy import create_engine import tim 阅读全文
posted @ 2019-12-20 12:43 麦小秋 阅读(2625) 评论(0) 推荐(0)