文章分类 - 大数据相关
大数据相关
摘要：本文是徐桢虎在线直播中主题《数据中台初探与应用实践》内容整理。 — 1 — 为什么需要数据中台 当企业发展到一定规模时，数据是否能够创造价值显得尤为重要。如果没有从业务的角度对数据进行规划，再多的数据也没有用。一个企业业务与数据双中台的战略地位是相辅相成的，需要打造数据与业务的闭环。 数据增值：对数
阅读全文
摘要：来源于 https://www.cnblogs.com/yxwkf/p/5180451.html Hive实现oracle的Minus函数 在Oracle中minus运算的主要功能是： 在进行两个表格或者两个查询结果的时候，返回在第一个表格/查询结果中与第二个表格/查询结果不同样的记录。 结果不同样
阅读全文
摘要：来源于 https://www.cnblogs.com/datacloud/p/3588120.html 4.3 抽样（Sampling） 用基于MapReduce的程序来处理TB级的数据集，要花费的时间可能是数以小时计。仅仅是优化代码是很难达到良好的效果。 在开发和调试代码的时候，没有必要处理整个
阅读全文
摘要：来源于 https://www.jianshu.com/p/f5f0dc99d5ab DataX3.0离线同步工具介绍 一. DataX3.0概览 DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等
阅读全文
摘要：来源于 https://www.cnblogs.com/jiangbei/p/9430476.html 一、概述 1.是什么？ DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBas
阅读全文
摘要：来源于 https://blog.csdn.net/u010900284/article/details/83541101 一个小型的网站，可以使用最简单的html静态页面就实现了，配合一些图片达到美化效果，所有的页面均存放在一个目录下，这样的网站对系统架构、性能的要求都很简单。随着互联网业务的不断
阅读全文
摘要：来源于 https://www.jianshu.com/p/938d2a3a055c 背景 MapReduce不能满足大数据快速实时adhoc查询计算的性能要求，Facebook2012年开发，2013年开源 是什么 基于内存的并行计算，Facebook推出的分布式SQL交互式查询引擎 多个节点管道
阅读全文
摘要：来源于 https://zhuanlan.zhihu.com/p/60988746 sqoop虽说只是一个导数据的小工具而已，但是莫名感觉喜欢用啊，不知道为什么感觉在hadoop里面sqoop挺不受重视的，几年才一个大版本，1.99算是2.X版本的，这几天刷刷我sqoop党的存在感，找了一个sqoo
阅读全文
摘要：来源于 https://www.jianshu.com/p/2463b2f057d0 导读：数据湖概念的诞生，源自企业面临的一些挑战，如数据应该以何种方式处理和存储。最开始，企业对种类庞杂的应用程序的管理都经历了一个比较自然的演化周期。 最开始的时候，每个应用程序会产生、存储大量数据，而这些数据并不
阅读全文
摘要：来源于 https://blog.csdn.net/JENREY/article/details/84873874 1、spark是基于内存进行数据处理的，MapReduce是基于磁盘进行数据处理的 MapReduce的设设计：中间结果保存在文件中，提高了可靠性，减少了内存占用。但是牺牲了性能。Sp
阅读全文
摘要：来源于 https://www.cnblogs.com/CV-life/p/11493761.html 由于不方便放链接，更好的阅读体验请查看：自动化专业如何转SLAM或机器学习岗？本文来自知乎上的同名问题，原文链接：https://www.zhihu.com/question/266685012/
阅读全文
摘要：来源于 https://www.jianshu.com/p/166efddfcb20 Thrift简介 什么是thrift 简单来说,是Facebook公布的一款开源跨语言的RPC框架. 什么是RPC框架? RPC (Remote Procedure Call Protocal)，远程过程调用协议
阅读全文
摘要：来源于 https://www.cnblogs.com/lixiaochun/p/9446350.html Hive on Mapreduce Hive的原理大家可以参考这篇大数据时代的技术hive：hive介绍，实际的一些操作可以看这篇笔记：新手的Hive指南，至于还有兴趣看Hive优化方法可以看
阅读全文
摘要：推荐一个博主 https://www.cnblogs.com/yifdu25/tag/python/ 他的有关深度学习、算法还是值得我学习的；
阅读全文
摘要：https://www.cnblogs.com/zkweb/p/12761743.html 生物神经元与人工神经元 在了解神经元网络之前，我们先简单的看看生物学上的神经元是什么样子的，下图摘自维基百科： （因为我不是专家，这里的解释只用于理解人工神经元模拟了生物神经元的什么地方，不一定完全准确） 神
阅读全文
摘要：来源于 https://www.cnblogs.com/zkweb/p/12674473.html pytorch 简介 pytorch 是目前世界上最流行的两个机器学习框架的其中之一，与 tensoflow 并峙双雄。它提供了很多方便的功能，例如根据损失自动微分计算应该怎样调整参数，提供了一系列的
阅读全文
摘要：来源于 https://www.cnblogs.com/zkweb/p/12642710.html 前段时间因为店铺不能开门，我花了一些空余时间看了很多机器学习相关的资料，我发现目前的机器学习入门大多要不门槛比较高，要不过于着重使用而忽视基础原理，所以我决定开一个新的系列针对程序员讲讲机器学习。这个
阅读全文
摘要：来源于 https://www.cnblogs.com/zkweb/p/12843741.html 这篇将会着重介绍使用 pytorch 进行机器学习训练过程中的一些常见技巧，掌握它们可以让你事半功倍。 使用的代码大部分会基于上一篇最后一个例子，即根据码农条件预测工资🙀，如果你没看上一篇请点击这里
阅读全文
摘要：来源于 https://www.cnblogs.com/FG123/p/10091478.html Kafka是一种分布式的基于发布/订阅的消息系统，它的高吞吐量、灵活的offset是其它消息系统所没有的。 Kafka发送消息主要有三种方式： 1.发送并忘记 2.同步发送 3.异步发送+回调函数 下
阅读全文
摘要：来源于 https://www.cnblogs.com/wxzhe/p/10186452.html 在上一篇文章中说明了kafka-python的API使用的理论概念，这篇文章来说明API的实际使用。 在官方文档详细列出了kafka-python的API接口https://kafka-python.
阅读全文
浙公网安备 33010602011771号