mrliqifeng

摘要：最近用Python写了一个爬虫项目，为了方便，用Java做了一个控制端，然后用RabbitMq将他们串起来首先Java端的代... 阅读全文

posted @ 2019-02-07 18:05 mrliqifeng 阅读(66) 评论(0) 推荐(0)

摘要： Kafka生产者 import org.apache.kafka.clients.producer.*;import org.apa... 阅读全文

posted @ 2018-12-26 23:08 mrliqifeng 阅读(46) 评论(0) 推荐(0)

摘要： KNN（近邻）算法 KNN算法可能是标准数据挖掘算法中最为直观的一种。为了对新个体进行分类，它查找训练集，找到与新个体最相似的那些个... 阅读全文

posted @ 2018-09-10 19:29 mrliqifeng 阅读(46) 评论(0) 推荐(0)

摘要：导语最近新学习了Spark中RDD的核心用法，为了巩固学习成果，于是使用Spark写了一个数据清洗的代码，正好之前使用过pytho... 阅读全文

posted @ 2018-08-27 10:40 mrliqifeng 阅读(80) 评论(0) 推荐(0)

摘要：还有一个月结束大二生活，以下仅为本人自大一从一个小白开始学习，至今不到两年的学习与工作当中总结的一些经验与见解。不足之处请在评论区留... 阅读全文

posted @ 2018-06-15 10:05 mrliqifeng 阅读(22) 评论(0) 推荐(0)

摘要：数据模型简介在python官方文档中对于数据模型是这样介绍的对象是Python对数据的抽象。Python程序中所有数据都由... 阅读全文

posted @ 2018-06-13 21:11 mrliqifeng 阅读(10) 评论(0) 推荐(0)

摘要：此代码实现将dict写入mysql指定表中。如果指定表不存在，则根据dict中key的字段创建表，然后将dict写入表中 impo... 阅读全文

posted @ 2018-06-13 12:34 mrliqifeng 阅读(113) 评论(0) 推荐(0)

摘要：框架简述此框架基于scrapy框架与xslt技术构建，通过一个包含xslt样式和xpath语法的xml文件来对网页上的内容... 阅读全文

posted @ 2018-06-10 13:18 mrliqifeng 阅读(12) 评论(0) 推荐(0)

摘要： import jsonimport memcachefrom kafka import KafkaConsumerclass Kaf... 阅读全文

posted @ 2018-04-27 13:49 mrliqifeng 阅读(11) 评论(0) 推荐(0)

摘要：工作已经20天了，20天之前的校招，我纯粹抱着学习的心态去各个公司咨询的，没想到有三家公司愿意要我，一番衡量之后选择了我现在的公... 阅读全文

posted @ 2017-12-04 22:58 mrliqifeng 阅读(8) 评论(0) 推荐(0)