Python - 随笔分类 - LestatZ

摘要：文章目录前言准备工作创建一个新的Scrapy项目定义一个爬虫Spider导出抓取数据保存数据到数据库(MongoDB)前言之前用python写了一个简单的爬虫项目用来抓取上海链家上的一些房价信息，整理了下代码，特此记录准备工作安装Scrapy创建一个新的Sc... 阅读全文

posted @ 2019-03-02 12:06 LestatZ 阅读(501) 评论(0) 推荐(0)

摘要：文章目录什么是ObjectIdObjectId的构造方法ObjectId实例方法ObjectId与Timestamp的转换shellpythonjavascript什么是ObjectIdObjectId是MongoDB文档的默认主键，通常位于插入文档的_id... 阅读全文

posted @ 2019-02-25 10:22 LestatZ 阅读(3078) 评论(0) 推荐(0)

摘要：文章目录读取MongoDB数据到Pandas中不含嵌套数据含有嵌套数据读取MongoDB数据到Pandas中我们可以通过pymongo包连接mongodb进行数据处理，然后将数据存储到pandas的dataframe里面。例子中的student表的数据结构如... 阅读全文

posted @ 2019-02-23 20:42 LestatZ 阅读(639) 评论(0) 推荐(0)

摘要：简单总结一下pymongo中与index操作相关一些函数, 常用的有：create_indexdrop_indexindex_information其中最主要的是create_index, 可以用它来为mongo的collection建立索引。以下操作一些简... 阅读全文

posted @ 2019-02-21 15:21 LestatZ 阅读(2733) 评论(0) 推荐(0)

摘要：PigLatin中没有类似于if-else的控制结构。如果需要完成类似的控制结构，则需要使用embedded pig来完成。例如我们可以在Python中嵌入Pig Latin语句和Pig命令（请确保Jython jar包含在类路径中）。以下例子为判断pig作... 阅读全文

posted @ 2019-02-20 16:24 LestatZ 阅读(138) 评论(0) 推荐(0)

摘要：文章目录问题概述主要思路NotesUse external python packageRPM packageUsing rpm2cpio (Recommended)Test python package using `export PYTHONPATH`B... 阅读全文

posted @ 2019-02-16 12:09 LestatZ 阅读(724) 评论(2) 推荐(0)

LestatZ