专注it - 博客园

2018年4月29日

摘要：在讨论这个问题前，我们先来了解一下物理端口、逻辑端口、端口号等计算机概念。端口相关的概念：在网络技术中，端口（Port）包括逻辑端口和物理端口两种类型。物理端口指的是物理存在的端口，如ADSL Modem、集线器、交换机、路由器上用于连接其他网络设备的接口，如RJ-45端口、SC端口等等。逻辑阅读全文

posted @ 2018-04-29 15:48 专注it 阅读(104352) 评论(0) 推荐(3)

2018年4月15日

MySQL简单优化

摘要：公司升级了服务器的配置，内存吃紧的问题得以解决，由此想到了几个优化MySQL的简单方法。首先明确两件事，我们的业务场景是常见的高并发web服务，查询速度是重中之重。还有就是优化前一定要备份数据库，不然出问题就只能跑路了。 1.使用固态硬盘这个优化方法毫无技术含量，完全就是花钱买性能，但是不得不说这阅读全文

posted @ 2018-04-15 19:15 专注it 阅读(367) 评论(0) 推荐(0)

2018年4月1日

数据探索之数据质量分析

摘要：数据质量分析的主要任务是检查原始数据中是否存在脏数据，脏数据一般指的是不符合要求，以及不能直接进行相应分析的数据。数据的质量分析侧重于脏数据的发现，而数据清洗则是对这些脏数据的修正或者丢弃。一般情况下，数据的质量分析与数据清洗是相伴而行的，在分析出脏数据的时候伴随着数据的清洗。常见的脏数据包括如下阅读全文

posted @ 2018-04-01 19:49 专注it 阅读(1116) 评论(0) 推荐(0)

数据分析与数据挖掘概述

摘要： 1.什么是数据分析与数据挖掘技术? 所谓数据分析，即对已知的数据进行分析，然后提出一些有价值的信息。比如统计出平均数、标准差等信息,数据分析的数据量有可能不会太大。而数据挖掘，是指对大量的数据进行分析和挖掘，得到一些未知的有价值的信息等，比如从网站的用户或用户行为数据中挖掘出潜在需求信息，从而对网站阅读全文

posted @ 2018-04-01 19:47 专注it 阅读(800) 评论(0) 推荐(0)

scrapy框架系列 (5) Spider类

摘要： Spider Spider类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。换句话说，Spider就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方。 class scrapy.Spider是最基本的类，所有编写阅读全文

posted @ 2018-04-01 19:46 专注it 阅读(924) 评论(0) 推荐(0)

scrapy框架系列 (4) Scrapy Shell

摘要： Scrapy Shell Scrapy终端是一个交互终端，我们可以在未启动spider的情况下尝试及调试代码，也可以用来测试XPath或CSS表达式，查看他们的工作方式，方便我们爬取的网页中提取的数据。如果安装了 IPython ，Scrapy终端将使用 IPython (替代标准Python终端阅读全文

posted @ 2018-04-01 19:45 专注it 阅读(176) 评论(0) 推荐(0)

scrapy框架系列 (3) Item Pipline

摘要： item pipeline 当Item在Spider中被收集之后，它将会被传递到Item Pipeline，这些Item Pipeline组件按定义的顺序处理Item。每个Item Pipeline都是实现了简单方法的Python类，比如决定此Item是丢弃而存储。以下是item pipeline 阅读全文

posted @ 2018-04-01 19:43 专注it 阅读(518) 评论(0) 推荐(0)

scrapy框架系列 (2) 一个简单案例

摘要：学习目标创建一个Scrapy项目定义提取的结构化数据(Item) 编写爬取网站的 Spider 并提取出结构化数据(Item) 编写 Item Pipelines 来存储提取到的Item(即结构化数据) 一. 新建项目(scrapy startproject) 在开始爬取之前，必须创建一个新的S 阅读全文

posted @ 2018-04-01 19:42 专注it 阅读(631) 评论(0) 推荐(0)

scrapy框架系列 (1) 初识scrapy

摘要： Scrapy 框架 Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。 Scrapy 使用了 Twisted['twɪstɪd](其主要对手阅读全文

posted @ 2018-04-01 19:39 专注it 阅读(207) 评论(0) 推荐(0)

STM32启动文件深度解析

摘要： STM32启动过程全面解析，包括启动过程的介绍、启动代码的陈列以及深入解析。相对于ARM上一代的主流ARM7/ARM9内核架构，新一代Cortex内核架构的启动方式有了比较大的变化。ARM7/ARM9内核的控制器在复位后，CPU会从存储空间的绝对地址0x000000取出第一条指令执行复位中断服务程序阅读全文

posted @ 2018-04-01 19:33 专注it 阅读(1001) 评论(0) 推荐(0)

公告