2020 年 4月随笔档案 - 守护式等待

使用spring template操作数据库

摘要：pox.xml 导入包 <dependency> <groupId>junit</groupId>  <artifactId>junit</artifactId> <version>4.11</version> <scope>test</scope> </depend 阅读全文

posted @ 2020-04-28 17:50 守护式等待阅读(487) 评论(0) 推荐(0)

scrapy 429 处理

摘要：429 Too Many Requests (太多请求) 当你需要限制客户端请求某个服务的数量，也就是限制请求速度时，该状态码就会非常有用。在此之前，有一些类似的状态码。例如“509 Bandwidth Limit Exceeded”。如果你希望限制客户端对服务的请求数，可使用 429 状态码，同阅读全文

posted @ 2020-04-28 15:01 守护式等待阅读(1564) 评论(0) 推荐(1)

java 获取当前时间（年月日时分秒）

摘要：获取当前时间（年月日时分秒） Date d = new Date(); SimpleDateFormat sbf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); System.out.println(sbf.format(d)); 或 System.ou 阅读全文

posted @ 2020-04-28 14:50 守护式等待阅读(42194) 评论(0) 推荐(0)

模拟qq登入获取cookie 处理验证码和扫描登入

摘要：sentemail.py 发邮件 import os import smtplib from email.header import Header from email.mime.image import MIMEImage from email.mime.multipart import MIME 阅读全文

posted @ 2020-04-23 09:52 守护式等待阅读(607) 评论(0) 推荐(0)

Java测试类

摘要：1.添加依赖 <dependency> <groupId>junit</groupId>  <artifactId>junit</artifactId> <version>4.11</version> <scope>test</scope> </dependency> 阅读全文

posted @ 2020-04-21 16:38 守护式等待阅读(841) 评论(0) 推荐(0)

java 数据操作

摘要：Collection集合集合：集合是java中提供的一种容器，可以用来存储多个数据。 Collection 常用功能 public boolean add(E e); // 把给定的对象添加到当前集合中 public void clear(); // 清空集合中所有的元素 public boole 阅读全文

posted @ 2020-04-20 15:36 守护式等待阅读(167) 评论(0) 推荐(0)

java 数据流操作

摘要：File类概述文件和目录路径名的抽象表示，主要用于文件和目录的创建、查找和删除等操作。构造方法 public File(String pathname); // 通过将给定的路径名字符串转换为抽象路径名来创建新的 File实例。 public File(String parent, Strin 阅读全文

posted @ 2020-04-20 15:34 守护式等待阅读(304) 评论(0) 推荐(0)

java 基础概念

摘要：类型强制转换 // byte、short、char 运算时直接提升为 int int i = (int)1.5; // double类型数据强制转成int类型，直接去掉小数点。 long up = Long.parseLong(lines[lines.length-3]); // string转为l 阅读全文

posted @ 2020-04-20 15:29 守护式等待阅读(175) 评论(0) 推荐(0)

clickhouse 优化

摘要：max_table_size_to_drop 1.此参数在 /etc/clickhouse-server/config.xml 中, 应用于需要删除表或分区的情况, 默认 50GB。 2.如果你要删除的分区或表, 数据量达到了此参数值大小, 会删除失败。 3.建议修改为 0, 代表无论数据多大, 都阅读全文

posted @ 2020-04-15 17:04 守护式等待阅读(52) 评论(0) 推荐(0)

clickhouse 表引擎

摘要：TinyLog: 1.数据存在磁盘中 2.不支持索引 3.没有并发控制 4.表占用空间比较小 5.适用于小表 6.适用于这个表数据基本不变的情况 7.数据保存在/var/lib/clickhouse/data目录中目录结构是库名称表名称字段名 CREATE TABLE t(a UInt16, 阅读全文

posted @ 2020-04-15 16:58 守护式等待阅读(46) 评论(0) 推荐(0)

clickhouseSQL语法

摘要：1 CREATE #方式1 CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster] ( name1 [type1] [DEFAULT|MATERIALIZED|ALIAS expr1], name2 [type2] [DEF 阅读全文

posted @ 2020-04-15 16:55 守护式等待阅读(181) 评论(0) 推荐(0)

tabix 安装配置连接clickhouse

摘要：1.环境准备: mkdir -p /usr/local/tabix cd /usr/local/tabix 2.下载tabix git clone https://github.com/smi2/tabix.ui # 下载需要安装git 3.安装配置nginx https://www.cnblog 阅读全文

posted @ 2020-04-15 14:29 守护式等待阅读(1188) 评论(0) 推荐(0)

clickhouse 单机和集群安装

摘要：1.centos7 取消打开文件限制 ulimit -n # 查看打开文件下载 ulimit -a # 查看详情 vim /etc/security/limits.conf * soft nofile 1024000 * hard nofile 1024000 hive - nofile 10240 阅读全文

posted @ 2020-04-15 09:38 守护式等待阅读(167) 评论(0) 推荐(0)

zookeeper 单机和集群安装

摘要：1.创建文件 mkdir /usr/local/zookeeper # 创建文件 mkdir /usr/local/zookeeper/data # 存储目录 mkdir /usr/local/zookeeper/datalog # 日志目录 cd /usr/local/zookeeper # 进入阅读全文

posted @ 2020-04-14 20:45 守护式等待阅读(52) 评论(0) 推荐(0)

获取class 信息 java

摘要：对Class类的理解：Class类包含了类的信息，如构造方法、方法、属性，可用于反射。以下是所有方法取Class类对象的几种方法： Test test = new Test(); (1).test.getClass(); 在运行时确定，所以运行实例才是该类对象。super.getClass()不能阅读全文

posted @ 2020-04-11 15:40 守护式等待阅读(129) 评论(0) 推荐(0)

HDFS Jave API 基本查找

摘要：1.maven 创建项目项目环境 2.配置hadoop环境依赖 https://mvnrepository.com/ // maven 网上仓库配置 pom.xml <properties>  <hadoop.version>2.6.0-cdh5.9.0</ha 阅读全文

posted @ 2020-04-11 11:25 守护式等待阅读(28) 评论(0) 推荐(0)

maven 多模块开发

摘要：父子工程(聚合工程) 创建项目的时候选择站点模式 org.apache.maven.archetypes:maven-archetype-site-simple 阅读全文

posted @ 2020-04-10 15:50 守护式等待阅读(121) 评论(0) 推荐(0)

maven 基本使用

摘要：阅读全文

posted @ 2020-04-10 15:43 守护式等待阅读(128) 评论(0) 推荐(0)

创建maven项目

摘要：阅读全文

posted @ 2020-04-10 15:42 守护式等待阅读(124) 评论(0) 推荐(0)

maven 安装

摘要：windows 安装maven 1.下载地址:http://maven.apache.org/download.cgi wget http://apache.communilink.net/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar 阅读全文

posted @ 2020-04-10 15:40 守护式等待阅读(136) 评论(0) 推荐(0)

HDFS 命令行操作

摘要：HDFS 命令行操作 1.hadoop fs -ls / 查看根目录下的文件 2.hadoop fs -lsr / lsr表示递归显示根路径下的文件 3.hadoop fs -mkdir /hdfsapi 在根路径下新建一个upload文件夹 4.hadoop fs -put word.txt /u 阅读全文

posted @ 2020-04-09 19:12 守护式等待阅读(34) 评论(0) 推荐(0)

centos 搭建单机 Hadoop(HDFS)环境

摘要：1.Hadoop(HDFS)环境搭建使用的Hadoop相关的版本:CDH CDH相关资源下载地址 https://archive.cloudera.com/cdh5/cdh/5/ Hadoop版本:hadoop-2.6.0-cdh5.16.2 Hadoop下载: wget https://arch 阅读全文

posted @ 2020-04-09 19:11 守护式等待阅读(144) 评论(0) 推荐(0)

ssh 免密码登入

摘要：1.安装依赖 yum install -y openssl openssh-server 2.修改配置文件 vim /etc/ssh/sshd_config # 修改配置文件 PermitRootLogin yes # 允许root登录 PermitEmptyPasswords no # 不允许空密阅读全文

posted @ 2020-04-09 19:05 守护式等待阅读(35) 评论(0) 推荐(0)

Centos7安装Java

摘要：1.创建目录 mkdir -p /usr/local/java1.8 cd /usr/local/java1. 2.下载Java jdk http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.ht 阅读全文

posted @ 2020-04-09 19:01 守护式等待阅读(4027) 评论(0) 推荐(1)

创建scala项目

摘要：阅读全文

posted @ 2020-04-07 11:33 守护式等待阅读(112) 评论(0) 推荐(0)

windows 安装scala 和maven

摘要：windows 安装scala 1.下载地址:https://www.scala-lang.org/download/ 2.下载后安装: 3.配置环境变量新建:SCALA_HOME D:\06-scala\01-software\01-scala # 安装地址 PATH 添加 D:\06-scal 阅读全文

posted @ 2020-04-07 11:21 守护式等待阅读(157) 评论(0) 推荐(0)

idea 没有新建 scala class

摘要：阅读全文

posted @ 2020-04-05 11:24 守护式等待阅读(308) 评论(0) 推荐(0)

隐语义模型(Latent Factor Model)

摘要：对于某个用户，首先得到他的兴趣分类，然后从分类中挑选他可能喜欢的物品。总结一下，这个基于兴趣分类的方法大概需要解决3个问题。如何给物品进行分类？如何确定用户对哪些类的物品感兴趣，以及感兴趣的程度？对于一个给定的类。选择哪些属于这个类的物品推荐给用户，以及如何确定这些物品在一个类中的权重？隐含阅读全文

posted @ 2020-04-02 17:57 守护式等待阅读(163) 评论(0) 推荐(0)

协同过滤推荐算法的原理及实现

摘要：一、协同过滤算法的原理及实现协同过滤推荐算法是诞生最早，并且较为著名的推荐算法。主要的功能是预测和推荐。算法通过对用户历史行为数据的挖掘发现用户的偏好，基于不同的偏好对用户进行群组划分并推荐品味相似的商品。协同过滤推荐算法分为两类，分别是基于用户的协同过滤算法(user-based collabo 阅读全文

posted @ 2020-04-02 11:27 守护式等待阅读(1205) 评论(0) 推荐(0)

python训练work2vec词向量

摘要：训练语料格式语料需要处理为可迭代的列表见word2vec教程语料处理,形成我们的参数“sentences” 模型训练 1.安装gensim pip3.6 install gensim gensim中封装了包括了word2vec, doc2vec等模型，word2vec采用了CBOW(Contin 阅读全文

posted @ 2020-04-02 10:39 守护式等待阅读(196) 评论(0) 推荐(0)

word2vec词向量中文语料处理

摘要：python gensim训练 word2vec的中文语料格式是什么样的呢？很多经验贴或是忽略了这个地方，或是没有详细说明，此博文详细说明及实践语料的处理方式，并汇总数种语料加载方式。从文章word2vec词向量训练使用（python gensim）对word2vec的介绍，我们了解到Word2V 阅读全文

posted @ 2020-04-02 10:30 守护式等待阅读(296) 评论(0) 推荐(0)

04 2020 档案