10 2018 档案

[ES]ES查询指南
摘要：curl 'localhost:9200/_cat/health?v' 绿色表示一切正常, 黄色表示所有的数据可用但是部分副本还没有分配,红色表示部分数据因为某些原因不可用. 2.通过如下语句，我们可以获取集群的节点列表： 3。通过如下语句，列出所有索引： 4.创建索引 现在我们创建一个名为“cus 阅读全文

posted @ 2018-10-30 16:14 深圳私塾 阅读(645) 评论(0) 推荐(0)

ES线程池
摘要：每个Elasticsearch节点内部都维护着多个线程池，如index、search、get、bulk等，用户可以修改线程池的类型和大小，线程池默认大小跟CPU逻辑一致 一、查看当前线程组状态 curl -XGET 'http://localhost:9200/_nodes/stats?pretty 阅读全文

posted @ 2018-10-30 11:53 深圳私塾 阅读(238) 评论(0) 推荐(0)

ES开发的一些坑（一）
摘要：一、ES-Hadoop导数据的时候报"Could not write all entries"异常 ES-Hadoop是一个开源的数据导入项目，支持数据从hdfs，hive，spark，storm等其它大数据服务中导入ES。 使用的时候经常报："org.elasticsearch.hadoop.Es 阅读全文

posted @ 2018-10-30 11:48 深圳私塾 阅读(415) 评论(0) 推荐(0)

[Spark]What's the difference between spark.sql.shuffle.partitions and spark.default.parallelism?
摘要：From the answer here, spark.sql.shuffle.partitions configures the number of partitions that are used when shuffling data for joins or aggregations. sp 阅读全文

posted @ 2018-10-30 11:44 深圳私塾 阅读(169) 评论(0) 推荐(0)

补课：Shell命令${}
摘要：Shell中的${}、##和%%使用范例: 代码如下:file=/dir1/dir2/dir3/my.file.txt可以用${ }分别替换得到不同的值：${file#*/}：删掉第一个 / 及其左边的字符串：dir1/dir2/dir3/my.file.txt${file##*/}：删掉最后一个 阅读全文

posted @ 2018-10-29 11:59 深圳私塾 阅读(127) 评论(0) 推荐(0)

分类与回归的区别
摘要：分类与回归有什么区别 其实回归问题和分类问题的本质一样，都是针对一个输入做出一个输出预测，其区别在于输出变量的类型。 分类问题是指，给定一个新的模式，根据训练集推断它所对应的类别（如：+1，-1），是一种定性输出，也叫离散变量预测； 回归问题是指，给定一个新的模式，根据训练集推断它所对应的输出值（实 阅读全文

posted @ 2018-10-25 14:40 深圳私塾 阅读(750) 评论(0) 推荐(0)

导航