摘要：
<button name="action_tw_base_price_quotation" type="object" icon="fa-user-plus" class="oe_stat_button" string="跳转" groups="base.group_system,tw_base.g 阅读全文
摘要：
一、在windos中安装配置rabbitmq 本次使用rabbitmq作为broker，不设后端backend rabbitmq在4.0之后不支持windows使用，可以下载老版本的在本地windows使用。 http://erlang.org/download/otp_win64_17.3.exe 阅读全文
摘要：
一、简介 Celery 通过消息机制进行通信，通常使用中间人（Broker）作为客户端和职程（Worker）调节。 启动一个任务，客户端向消息队列发送一条消息，然后中间人（Broker）将消息传递给一个职程（Worker），最后由职程（Worker）进行执行中间人（Broker）分配的任务。 二、中 阅读全文
摘要：
#! /usr/bin/env python2 # encoding=utf-8 import sys reload(sys) sys.setdefaultencoding('utf8') import os ScriptPath = os.path.split( os.path.realpath( 阅读全文
摘要：
ODOO架构 MVC三层架构目的：分离底层数据库，中间业务层，上层信息展示。 系统架构：三个部分组成：1.PostgreSQL数据库服务器2.Odoo应用服务器3.Web客户端 1.2.3模块模块运行于Odoo应用服务器，不需要其他软件组件（自带Web服务器，ORM等组件）通常由Python编写mo 阅读全文
摘要：
一、广播变量与累加器 1.广播变量机制 将传递给task的值，变成传递给executor。 为什么可以共用，因为task是executor下的线程。 只读的变量，在task中不允许修改 2.累加器介绍 在只写的变量，在task中只允许被修改，不允许读的操作。 但是在driver中就只能读操作。 广播 阅读全文
摘要：
大数据追求相关性，不追求因果性。 一、Spark目的 map reuce:先写入磁盘，再从网络读取磁盘数据，mapreduce只适合处理对速度不敏感的离线批量处理。 spark：在一个物理节点，用内存完成各种各样的计算。（有时也用磁盘） storm：流式，纯粹实时计算框架，吞吐量不高，每条数据过来直 阅读全文
摘要：
一、简述 RDD：核心抽象 一个RDD在抽象上代表一个hdfs文件， 分布式数据集：元素集合包含数据，实际上是被分区的，分为多个分区散落在spark集群中的不同节点（一批节点上的一批数据就是RDD）。 最重要特性：提供了容错性，节点失败中自动恢复。默认放在内存，内存不够，被写入磁盘。 二、RDD的创 阅读全文
摘要：
先启动start-all.sh使用beeline：1.先开启hiveserver22.开启beeline3.连接!connect jdbc:hive2://localhost:10000 hive优点：1.类SQL语法，快速开发2.免去写MR，减少学习成本3.处理大数据，延迟高4.支持用户自定义函数 阅读全文
摘要：
大数据技术生态架构 1）来源层：1.数据库 2.日志信息 3.视频、ppt2）传输层：1.Sqoop：数据库导入导出2.Flume处理读写日志 3.Kafka缓存数据3）存储层：1.HDFS 存储数据 2.kafka也能存储一部分 3.hbase 键值对 4）资源管理层：yarn负责调度磁盘、内存。 阅读全文