曹明 - 博客园

2017年12月25日

摘要：【数据挖掘】数据挖掘工程师是做什么的？ 2016-08-10 17:16 【数据挖掘】数据挖掘工程师是做什么的？ 2016-08-10 17:16 数据挖掘，从字面上理解，就是在数据中找到有用的东西，哪些东西有用就要看具体的业务目标了。最简单的就是统计应用了，比如电商数据，如淘宝统计过哪个省购买泳衣阅读全文

posted @ 2017-12-25 12:59 曹明阅读(739) 评论(0) 推荐(0)

2017年12月23日

Java学习

摘要： Java学习 Java学习标签： java 2016-11-12 08:36 1021人阅读评论(3) 收藏举报标签： java 2016-11-12 08:36 1021人阅读评论(3) 收藏举报分类： Java开发（37）分类： Java开发（37） Java工程师成神之路一，基阅读全文

posted @ 2017-12-23 19:21 曹明阅读(238) 评论(0) 推荐(0)

2017年12月18日

shuffle的过程分析

摘要： shuffle的过程分析 shuffle阶段其实就是之前《MapReduce的原理及执行过程》中的步骤2.1。多个map任务的输出，按照不同的分区，通过网络copy到不同的reduce节点上。 Map端： 1、在map端首先接触的是InputSplit，在InputSplit中含有DataNode中阅读全文

posted @ 2017-12-18 09:22 曹明阅读(453) 评论(0) 推荐(0)

2017年12月17日

Hadoop 原理总结

摘要： Hadoop 原理总结一、Hadoop技术原理 Hdfs主要模块：NameNode、DataNode Yarn主要模块：ResourceManager、NodeManager 常用命令： 1）用hadoop fs 操作hdfs网盘,使用Uri的格式访问（URI格式：secheme://author 阅读全文

posted @ 2017-12-17 18:39 曹明阅读(18478) 评论(0) 推荐(2)

很全的 Python 面试题

摘要：很全的 Python 面试题很全的 Python 面试题 Python语言特性 1 Python的函数参数传递看两个例子: Python 1 2 3 4 5 a = 1 def fun(a): a = 2 fun(a) print a # 1 Python 1 2 3 4 5 a = [] de 阅读全文

posted @ 2017-12-17 16:57 曹明阅读(358) 评论(0) 推荐(0)

python考点

摘要： Python考点 1.Python类继承，内存管理（阿里）答：内存管理机制包括：引用计数机制，垃圾回收机制，内存池机制 a = 1，1就是对象，a就是引用，引用a指向对象1。 2.Python装饰器，适配器。装饰器是一种特殊的函数，要么接受函数作为输入参数，并返回一个函数，要么接受一个类作为输入阅读全文

posted @ 2017-12-17 16:50 曹明阅读(452) 评论(0) 推荐(0)

Java 多线程并发编程一览笔录

摘要： Java 多线程并发编程一览笔录 Java 多线程并发编程一览笔录知识体系图： 1、线程是什么？线程是进程中独立运行的子任务。 2、创建线程的方式方式一：将类声明为 Thread 的子类。该子类应重写 Thread 类的 run 方法方式二：声明实现 Runnable 接口的类。该类然后实现阅读全文

posted @ 2017-12-17 15:40 曹明阅读(230) 评论(0) 推荐(0)

hadoop进阶

摘要： Java 多线程安全机制 1、操作系统有两个容易混淆的概念，进程和线程。进程：一个计算机程序的运行实例，包含了需要执行的指令；有自己的独立地址空间，包含程序内容和数据；不同进程的地址空间是互相隔离的；进程拥有各种资源和状态信息，包括打开的文件、子进程和信号处理。线程：表示程序的执行流程，是CPU 阅读全文

posted @ 2017-12-17 15:33 曹明阅读(538) 评论(0) 推荐(0)

2017年12月16日

Quorum机制与NRW算法总结

摘要： Quorum机制与NRW算法总结 1.Quorum机制 Quorum，原指为了处理事务、拥有做出决定的权力而必须出席的众议员或参议员的数量（一般指半数以上）。 2.NRW算法 NRW算法是基于Quorum机制的是一种CP(Consistency&Partion tolerance)算法。用于在数据一阅读全文

posted @ 2017-12-16 16:34 曹明阅读(918) 评论(0) 推荐(0)

2017年12月13日

GBDT（MART）迭代决策树入门教程 | 简介

摘要： GBDT（MART）迭代决策树入门教程 | 简介转载 2012年11月29日 19:12:19 131012 转载 2012年11月29日 19:12:19 131012 在网上看到一篇对从代码层面理解gbdt比较好的文章，转载记录一下： GBDT(Gradient Boosting Decis 阅读全文

posted @ 2017-12-13 22:02 曹明阅读(188) 评论(0) 推荐(0)