03 2020 档案

打基础之Numpy使用
摘要：Numpy库相当于矩阵的使用，包括构建矩阵，运算，排序，变换矩阵结构，获取最大最小值，以及矩阵的切割等。 Jupyter Notebook笔记：https://github.com/HxYyWw/Artificial-intelligence-learning-library 阅读全文
posted @ 2020-03-31 18:06 余鱼瑜渔 阅读(126) 评论(0) 推荐(0)
数据分析（二）
摘要：一、科研项目成果分组 设计思路：使用kmeans，根据项目简介提取的关键对科研项目成果进行分组。 1 stop_hanzi = get_stop_words() #获取停词库 2 datas = getData(); #获取数据 3 analyzer = ClusterAnalyzer() #初始化 阅读全文
posted @ 2020-03-21 21:03 余鱼瑜渔 阅读(179) 评论(0) 推荐(0)
数据分析练习报告二
摘要：一、今天完成了行业代码匹配，还有数据没有展示 二、文本匹配，添加行业代码。 设计思路：首先，我们需要将完全相同的行业代码进行匹配，其次将相似的行业代码进行文本相似匹配，选取符合要求的前面几个行业，追加行业代码。 判断完全相同的部分就不解释了，主要解释如何使用word2vec模式进行文本相似的匹配。 阅读全文
posted @ 2020-03-13 23:58 余鱼瑜渔 阅读(222) 评论(0) 推荐(0)
数据分析练习报告
摘要：一、项目进展 项目功能完成了追加规范地域，行政区划代码两字段，完成了关键字的提取，行业分类。还有行业代码没有对应以及数据展示没有完成。 二、追加规范地域，行政区划代码两字段（参考博客：https://www.cnblogs.com/zlc364624/p/12482427.html） 1 #!/us 阅读全文
posted @ 2020-03-12 23:55 余鱼瑜渔 阅读(329) 评论(0) 推荐(0)
机器学习一之决策树
摘要：一、决策树算法的主要思想 它主要就是构建一个决策树表，通过数据集训练，递归选择最优特征，构成一个决策树。然后再通过这个决策树判断给定实例。 1 # -*- coding: UTF-8 -*- 2 from math import log 3 import operator 4 5 """ 6 函数说 阅读全文
posted @ 2020-03-09 23:47 余鱼瑜渔 阅读(190) 评论(0) 推荐(0)
kettle数据导入踩点
摘要：一、Access表格输入使用 步骤：选择文件添加、选择内容、获取表格、最后查看字段 二、表输出 步骤：先在数据库中创建一张任意的表（可以只包含一个字段）、在选择目标表中选择该表、勾选指定字段、点击获取字段、最后打开sql语句、修改sql语句（只保留追加字段的sql语句）、执行sql语句 阅读全文
posted @ 2020-03-08 14:05 余鱼瑜渔 阅读(168) 评论(0) 推荐(0)
DataX分别使用Java代码实现和python代码实现
摘要：一、Java代码实现（代码出处：https://www.cnblogs.com/smartisn/p/12390964.html） 1 package datax; 2 3 import java.io.BufferedReader; 4 import java.io.BufferedWriter; 阅读全文
posted @ 2020-03-04 22:19 余鱼瑜渔 阅读(2413) 评论(0) 推荐(0)
DataX:json文件编写解读（csv-->mysql）
摘要：一、JSON文件（将csv文本导入MySQL中） { "job": { "setting": { "speed": { "channel": 3 } }, "content": [ { "reader": { "name": "txtfilereader", "parameter": { "path 阅读全文
posted @ 2020-03-03 19:18 余鱼瑜渔 阅读(1730) 评论(0) 推荐(0)
datax安装（Windows版）
摘要：一、安装datax 下载地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 将其解压即可。 二、测试安装是否成功 1,打开cmd界面（同时按下Windows键+R键） 2,输入CHCP 65001 防止中文乱码 3 阅读全文
posted @ 2020-03-03 18:45 余鱼瑜渔 阅读(6066) 评论(2) 推荐(1)
提高软件的可测试性
摘要：一、可测试性概念 管理输入输出：1、记录/回放：将模块的输入事件和响应事件储存起来，作为模块的输入输出的测试数据。比如说我们常见的日志记录。 2、将接口与实现分离：我们常用的Servlet调用Service层方法，Servlet是接口，Service是实现。 3、特化访问路线/接口：简单有编程时使用 阅读全文
posted @ 2020-03-02 23:07 余鱼瑜渔 阅读(366) 评论(0) 推荐(0)