浪道

摘要： 1.什么是大数据(4v) 解决大量的数据进行存储和分析计算的方法模式 大量Volume:人类印刷文本大概200PB 历史总数据大概5EB 高速Velocity:IDC报告2025年数据使用量会达到163ZB,效率很重要 多样Variety:结构化数据\非结构化数据,包括音视频等多类型处理 低价值密度 阅读全文

摘要： 定义:分布式运算程序的编程框架 核心功能:将用户编写的业务逻辑代码和自带组件整合成一个分布式运算程序,并发运行在hadoop集群上 优点:高容错,任务计算失败会重启4次 适合离线数据 缺点:不善于实时和流式计算即有(DAG)向图计算: 思想就是多个MR串联,不断的进行输入输出到下一个MR,耗费资源, 阅读全文

摘要： shell 常用命令 基本与Linux相同, 但也有不同的地方 1.比如流程控制语句if if [ condition ] then 程序 elif else fi(反向if,代表结束) 2.判断表达式[ condition ](括号前后要空格) 和 计算表达式 $[ 5+6 ] example [ 阅读全文

摘要： 1.JavaEE开发构建工具历史走向 自动化构建工具 Make> Ant> Maven >Gradle 2.构建的概念和环节 Java必须经过编译得到.class文件 清理:删除以前编译结果,为重新编译做好准备 编译:JAVA编译为字节码文件 测试:关键点测试 报告:,展示测试结果 打包:java含 阅读全文