02 2020 档案

DATAX 从scv到csv 从csv到mysql
摘要：csv到csv 1 { 2 "setting": {}, 3 "job": { 4 "setting": { 5 "speed": { 6 "channel": 2 7 } 8 }, 9 "content": [ 10 { 11 "reader": { 12 "name": "txtfileread 阅读全文
posted @ 2020-02-28 17:46 博二爷 阅读(720) 评论(0) 推荐(0)
DATAX避坑点——MySQL到MYSQL，某个垃圾教程（简书）中，误导新手
摘要：如果出现不能连接MYSQL时，可以从以下三点考虑 1，不要用local host！！！！！千万不要用，要用127.0.0.1就可以了 2，换mysql-connector包 换掉 datax->plugins->reader->mysqlreader->libs->mysql-connector-5 阅读全文
posted @ 2020-02-27 17:43 博二爷 阅读(1097) 评论(0) 推荐(0)
DATAX 按照官方实例 python datax.py ./stream2stream.json 乱码
摘要：乱码现象： 只需要在控制台输入CHCP 65001 就没有乱码现象了 阅读全文
posted @ 2020-02-27 15:13 博二爷 阅读(673) 评论(0) 推荐(0)
Python中plot使用方法小白的福音
摘要：直接上代码： 1 import numpy as np 2 import matplotlib.pyplot as plt 3 from pylab import * 4 5 mpl.rcParams['font.sans-serif'] = ['SimHei'] 6 def sigmoid(t): 阅读全文
posted @ 2020-02-24 17:09 博二爷 阅读(2175) 评论(0) 推荐(0)
Python 最简实现逻辑回归，针对二维数据进行机器学习
摘要：话不多说，直接上代码 1 ''' 2 logistic regression 3 ''' 4 5 #导入需要的包 6 import pandas as pd 7 #建立数据集 8 from collections import OrderedDict 9 #是否通过考试用0和1表示，0表示未通过，1 阅读全文
posted @ 2020-02-24 16:59 博二爷 阅读(1058) 评论(0) 推荐(0)
Python使用pylab绘制图像中文乱码问题解决方案
摘要：乱码： 只需要加一行： 1 from pylab import * 2 3 mpl.rcParams['font.sans-serif'] = ['SimHei'] 阅读全文
posted @ 2020-02-24 16:42 博二爷 阅读(483) 评论(0) 推荐(1)
python 中 np.arange()的使用
摘要：np.arange()函数返回一个有终点和起点的固定步长的排列，如[1,2,3,4,5]，起点是1，终点是5，步长为1。参数个数情况： np.arange()函数分为一个参数，两个参数，三个参数三种情况1）一个参数时，参数值为终点，起点取默认值0，步长取默认值1。2）两个参数时，第一个参数为起点，第 阅读全文
posted @ 2020-02-24 16:27 博二爷 阅读(25654) 评论(0) 推荐(0)
以博客园为例质量属性的六个常见属性场景
摘要：1.可用性 场景设想：全体高校老师布置作业，所有高校软件学生同时发表博文，导致系统崩溃 刺激源：用户 刺激：很多用户同时进行登录、查询、写博文、发表博文操作 环境：用户正常操作 制品：系统服务器 响应：系统响应人数过多，系统检测到事件，记录故障，通知系统 响应度量：一定时间后，排除故障、系统恢复正常 阅读全文
posted @ 2020-02-23 15:44 博二爷 阅读(228) 评论(0) 推荐(0)
中国地图点击下钻到省份（含html源码，可直接运行，令含各省份json,全国json）
摘要：话不多说直接上源码： <!DOCTYPE html> <html lang="en"> <head> <meta charset="utf-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge"> <meta name="viewport" 阅读全文
posted @ 2020-02-20 16:06 博二爷 阅读(3801) 评论(0) 推荐(1)
阅读《架构漫谈》有感
摘要：通过阅读了王概凯老师的《架构漫谈》，我对架构的产生，架构的作用，技术和架构之间的关系，以及架构师有了更加清楚地了解。 文章中很清楚，通俗易懂的讲述了架构产生的由来，以及概念的由来，让晦涩难懂的知识点，变得通俗易懂，架构就是把一个整体切分成不同部分，有不同角色完成这些分功，通过建立不同部分相互沟通的机 阅读全文
posted @ 2020-02-19 17:42 博二爷 阅读(146) 评论(0) 推荐(0)
新型冠状病毒数据统计成果展示（含有地域展示图，各类型数据可视化，河北省历史数据查看，石家庄市确诊病例活动轨迹（数据和真实情况可能有较大差距），河北省确诊病例，新增确诊病例走向（最小二乘法））含源码
摘要：主页： 最小二乘法（预测河北省新增确诊病例，确诊病例走向） 折线图： 饼状图： 河北省最全数据统计： 多维度统计： 城市疫情走线图： 历史地域图： 仅路线数据存在不真实 DEMO (仅供练习，切不可当作官方数据) 源码下载 阅读全文
posted @ 2020-02-12 23:15 博二爷 阅读(474) 评论(0) 推荐(0)
信息领域热词查询统计（成果展示）
摘要：开场： 搜索： 主页： 分类搜索 词云图： 联系图： 文档下载： 文档： DEMO 阅读全文
posted @ 2020-02-11 00:24 博二爷 阅读(570) 评论(0) 推荐(0)
卫生健康委员会新型冠状病毒文本爬取文本分析（含源码）
摘要：政府公文有一定的格式，观察一阵不难发现规律，例如： 第一段是新增 第二段是确诊 第三段是密切接触者 下面是代码： 1 from lxml import etree 2 import re 3 import requests #导入requests包 4 5 import 肺炎.SQL as SQL 阅读全文
posted @ 2020-02-09 11:34 博二爷 阅读(340) 评论(0) 推荐(0)
新型冠状病毒 疫情 数据爬取（Java 含源码）
摘要：代码： 1 package 疫情; 2 3 4 import java.text.SimpleDateFormat; 5 import java.util.ArrayList; 6 import java.util.Date; 7 import java.util.List; 8 9 import 阅读全文
posted @ 2020-02-08 14:53 博二爷 阅读(322) 评论(0) 推荐(0)
Java 正则表达式 regex 提取字符
摘要：直接上代码： 1 @Test 2 3 public void contextLoads() { 4 5 /*String str="this is （Tom） and \"Eric\"， this is \"Bruce lee\", he is a chinese, name is \"李小龙\"。 阅读全文
posted @ 2020-02-08 12:41 博二爷 阅读(1562) 评论(0) 推荐(0)
Java生成word文档 最简上手教程
摘要：先要配置环境： 下载地址： 1，Free Spire.Doc for Java 下载网址：https://www.e-iceblue.cn/Downloads/Free-Spire-Doc-JAVA.html 2，因为我的是java 9.0 所以运行代码的时候会报一些错误：网上的解决办法大多是要降版 阅读全文
posted @ 2020-02-07 23:50 博二爷 阅读(1270) 评论(0) 推荐(0)
Echart 词云图 上手代码 同含（echarts-wordcloud.js）最简单的教程 复制可用
摘要：先上示例图： 这是自定义图片的示例图 先给最简单的非自定义图代码 1 <html> 2 <head> 3 <meta charset="utf-8"> 4 <!-- <script src='https://cdn.bootcss.com/echarts/3.7.0/echarts.simple.j 阅读全文
posted @ 2020-02-07 09:24 博二爷 阅读(4207) 评论(0) 推荐(0)
爬虫使用真实浏览器打开网页进行爬取
摘要：直接可以用python的第三方库webbroswer 代码： 1 import webbrowser 2 chromePath = r'你的浏览器目录' # 例如我的：D:\Google\Chrome\Application\chrome.exe 3 webbrowser.register('chr 阅读全文
posted @ 2020-02-06 10:45 博二爷 阅读(1070) 评论(0) 推荐(0)
jsoup 模拟登陆github网页（源代码）亲测可用 直接复制就能用
摘要：参考博文：https://blog.csdn.net/dietime1943/article/details/73294442 全部代码： 1 package Pa; 2 import java.util.HashMap; 3 import java.util.List; 4 import java 阅读全文
posted @ 2020-02-05 17:22 博二爷 阅读(727) 评论(0) 推荐(0)
拷贝虚拟电脑 Ubuntu 系统 含hadoop hive hbase mysql spark eclipse
摘要：下载地址： 链接：https://pan.baidu.com/s/1F-xV-MFbutxF8pzfTocs3w 提取码：khx5 密码请私信 阅读全文
posted @ 2020-02-03 15:57 博二爷
Python 连接MySQL 增删改查 直接可用（最简易，含源码）
摘要：直接上源码： 1 import pymysql 2 3 db = pymysql.connect(host='localhost', 4 port=3306, 5 user='root', 6 passwd='zb753951', 7 db='pareci') 8 def select_db(): 阅读全文
posted @ 2020-02-03 15:48 博二爷 阅读(537) 评论(0) 推荐(0)
Python 中文词频统计，热词统计，简要分析（含上手源码）
摘要：jieba库有三种模式 精确模式、全模式、搜索引擎模式 - 精确模式：把文本精确的切分开，不存在冗余单词 - 全模式：把文本中所有可能的词语都扫描出来，有冗余 - 搜索引擎模式：在精确模式基础上，对长词再次切分 应用实例： 代码： 1 import jieba 2 3 file = open('E: 阅读全文
posted @ 2020-02-02 23:16 博二爷 阅读(2113) 评论(0) 推荐(0)
百度百科简介爬取（含源代码、信息领域词频数据csv格式）
摘要：百度百科特征： https://baike.baidu.com/item/+“信息” 切记不要在要查找的字后面加‘/’ 简介代码XPATH： 1 String htmls=page.getHtml().xpath("//div[@class='lemma-summary']/html()").get 阅读全文
posted @ 2020-02-02 18:30 博二爷 阅读(830) 评论(0) 推荐(0)
博客园博文爬取 标签爬取（含源代码）
摘要：爬取思路： 1，在首页上爬取这些推荐博文：https://www.cnblogs.com/ 2，根据这些推荐博文进一步到发布这些推荐博文的博主主页中： 3，爬取标签的话可以查看这些博主的标签 只用在博主主页后加一个/tag/就可以跳转到标签页中 4，如果要爬取内容的话，就可以进入这些博主的所有页面中 阅读全文
posted @ 2020-02-01 22:49 博二爷 阅读(393) 评论(0) 推荐(0)