小怪兽的技术博客

摘要： 简介： MongoDB 是一个由 C++ 语言编写的基于分布式文件存储的数据库，是目前最像关系型数据库的非关系型数据库。 最近写爬虫, 思来想去觉得还是用 MongoDB 比较方便。 一、安装 # 官方文档：https://docs.mongodb.com/manual/administration 阅读全文

摘要： """ 抓取今日头条街拍美图 """ import os import time import requests from hashlib import md5 class SpiderToutiao(object): def __init__(self): # 指定下载目录 self.download_dir = os.path.join(os... 阅读全文

摘要： """ 抓取猫眼电影TOP100 """ import re import time import requests from bs4 import BeautifulSoup class SpiderMaoyan(object): def __init__(self): # 通过分析URL可以发现 阅读全文

摘要： 简介： 今天老大提需求, 需要一台 Windows 服务器, 需要安装最新版的 SQL Server 数据库。额, 上次搞 Windows 服务器还是4年前的事。 一、啥也没查, 直接下载操作系统、做U盘启动、然后安装操作系统、激活、下载最新版 SQL Server 数据库, 安装时才发现不支持该系 阅读全文

摘要： 简介： Mongodb 是一个由 C++ 语言编写的基于分布式文件存储的数据库，是目前最像关系型数据库的非关系型数据库。 下载地址：https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel62-3.6.3.tgz 一、直接安装吧，CentO 阅读全文

摘要： 简介： SoftEther VPN Server 下载地址：http://www.softether-download.com/en.aspx?product=softether 一、安装 VPN 服务端 二、安装 VPN 管理软件 (win/mac) # 还在刚才那个下载页面，选择 SoftEth 阅读全文

摘要： 简介： MySQLReport 一、安装 二、使用 阅读全文

摘要： # 故障描述 有一个需求是实时分析API接口访问日志，提取token去数据库查询对应的uid，然后收集一些指标存入到hbase中。 当程序执行一会后会被系统杀死 Killed ! # 故障排查 1、CPU平均负载0.06、内存空闲29G 2、查看系统日志 /var/log/messages 提示：kernel: TCP: time wait bucket table overf... 阅读全文

摘要： 简介： Supervisor 进程管理工具 一、安装 二、配置 三、启动 四、启动一个自定义脚本 阅读全文

摘要： 简介： 接到一个任务，需要从 hive 中读取数据，生成报表。 于是找到了官方文档：https://cwiki.apache.org/confluence/display/Hive/Setting+Up+HiveServer2#SettingUpHiveServer2-PythonClientDri 阅读全文

摘要： # 故障描述： # 报错信息： # 原因分析： 解决方法： 阅读全文

摘要： 简介： Apache Kafka 是一个 Scala 语言编写的可扩展、分布式、高性能的容错消息发布、订阅系统。 官网地址：http://kafka.apache.org 中文教程：http://www.orchome.com/kafka/index 下载地址：http://mirror.bit.e 阅读全文

摘要： 简介： Apache hive 存储方式跟压缩格式！ 1、Text File # 创建一张 Text File 存储格式、不压缩的外部表 # 原始文件 9.8G，加载到该表中需要花费 1015.974 秒 ( 这里可以优化，不使用 load 指令，直接 put 文件到数据表目录 ) # 总共 271 阅读全文

摘要： 简介： Nginx 反向代理模块：ngx_http_proxy_module、ngx_http_upstream_module 后端检测模块：nginx_http_upstream_check_module 前者是官方提供的，安装 Nginx 的时候默认就内置了，可以直接使用，地址：http://n 阅读全文

摘要： 简介： flask_sqlalchemy 是 Flask Web 框架的一个扩展。 使 Web 服务器以 (ORM: Object Relational Mapping) 对象关系映射的方式与数据库交互。 一、安装 flask_sqlalchemy 二、配置 flask_sqlalchemy 连接数 阅读全文

摘要： # 故障描述 # 报错信息如下： # 故障原因 据我分析：pip install numpy 的时候, windows 下下载的包是 .whl 的没有问题, 但下载的 scipy 确是 .tar.gz 的包。 # 解决方法 1、http://www.lfd.uci.edu/~gohlke/pytho 阅读全文

摘要： 简介: 记录 CentOS 6.x Python 环境的安装步骤。 一、安装依赖包 一、安装 Python 2.7 二、安装 Python 3.5 三、安装 Virtualenv 四、创建不同的 Python 环境 1、Python 2.x 2、Python 3.x # End 阅读全文

摘要： 问题描述： # 系统默认 glibc 所支持的版本太低 解决方法： 1、检查当前 glibc 版本 # 现有 glibc 支持的最高版本为 2.12，我们需要至少 2.15 2、下载所需 glibc ( Linux 系统及指令都依赖该库，损坏将导致操作系统无法工作 ) # 需要几分钟时间、耐心等待 阅读全文

摘要： 简介： Mydumper、Myloader 是一个第三方的、开源的 MySQL 逻辑备份工具。 支持多线程，比起 mysqldump 要快很多，也能解决 innobackupex 备份工具对 MyISAM 引擎备份的不便。 多线程快速逻辑备份，恢复速度不咋地，支持快照功能。 呃，虽然这样好、那样好， 阅读全文

摘要： 问题描述： 安装完 hadoop，执行 hdfs dfs -ls 命令时，报警告如下： 解决方法： 1、根据你 hadoop 的版本，来 http://dl.bintray.com/sequenceiq/sequenceiq-bin/ 下载一个对应版本的 hadoop-native-64 包 2、解 阅读全文