贫民窟里的程序高手

  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理 ::

随笔分类 -  大数据

1 2 下一页

如何使用Java操作TensorFlow
摘要：简介 机器学习在全球范围内越来越受欢迎和使用。 它已经彻底改变了某些应用程序的构建方式，并且可能会继续成为我们日常生活中一个巨大的（并且正在增加的）部分。没有什么包装且机器学习并不简单。 它对许多人来说似乎非常复杂并常常令人生畏。像谷歌这样的公司将自己的机器学习概念与开发人员联系起来，在谷歌帮助下让 阅读全文
posted @ 2020-05-21 10:22 贫民窟里的程序高手 阅读(6367) 评论(0) 推荐(0)

记一次环境变量导致的elasticsearch启动错误：max file descriptors [65535] for elasticsearch process is too low, incre
摘要：问题描述，elasticsearch启动时报max file descriptors错误： 网上的解决办法都是修改/etc/security/limits.conf文件，增加hadoop hard nofile 131072一行 可是，我的配置本来就已经设置成这样了的 网上找来找去，都是修改limi 阅读全文
posted @ 2019-08-15 10:10 贫民窟里的程序高手 阅读(687) 评论(0) 推荐(0)

ElasticSearch 6 安装、下载
摘要：1，安装配置JDK 8 参考：官方文档 > 1，安装JDK1.8-161 > 2，配置环境变量 2，增加用户（ElasticSearch不允许Root启动） Root启动异常为:can not run elasticsearch as root 3，下载ElasticSearch 4，配置Elast 阅读全文
posted @ 2019-08-15 10:07 贫民窟里的程序高手 阅读(1271) 评论(0) 推荐(0)

ES--Kibana相关操作创建索引和Mapping
摘要：创建索引 kibana 使用如下命令进行创建索引内容。 创建别名 创建Mapping 阅读全文
posted @ 2019-08-15 09:59 贫民窟里的程序高手 阅读(8746) 评论(0) 推荐(0)

Hortonworks，快速上手 Hadoop 的套件
摘要：最近我在思考的一件事情：如何帮助团队 SQL 开发快速掌握大数据相关技术呢？面对疯狂暴涨的数据，SQL Server 存储成本越来越高了，日志的增长量也极大超过预期，隔三差五总有空间不足导致的应用异常。而且各种多样化的查询需求，在海量数据环境中，响应也越发慢了。打开Google ，开始琢磨起来，找到 阅读全文
posted @ 2019-06-04 16:35 贫民窟里的程序高手 阅读(731) 评论(0) 推荐(0)

CDH 1、CDH简介
摘要：1、Apache Hadoop 不足之处 • 版本管理混乱 • 部署过程繁琐、升级过程复杂 • 兼容性差 • 安全性低 2、Hadoop 发行版 • Apache Hadoop • Cloudera’s Distribution Including Apache Hadoop（CDH） • Hort 阅读全文
posted @ 2019-06-04 16:23 贫民窟里的程序高手 阅读(182) 评论(0) 推荐(0)

Azkaban实战，Command类型单一job示例，任务中执行外部shell脚本，Command类型多job工作flow,HDFS操作任务，MapReduce任务，HIVE任务
摘要：本文转载自：https://blog.csdn.net/tototuzuoquan/article/details/73251616 1.Azkaban实战 Azkaba内置的任务类型支持command、java Command类型单一job示例 1、创建job描述文件 2、将job资源文件打包成z 阅读全文
posted @ 2019-02-19 11:09 贫民窟里的程序高手 阅读(389) 评论(0) 推荐(0)

Azkaban 使用问题及解决(一)
摘要：什么是Azkaban Azkaban是一款基于Java编写的任务调度系统 在任务简单时可以人为控制，但是当任务非常多，依赖复杂时，如果没有清晰的任务规划图，很容易在任务之间形成闭环从而出错，或者多个可并行的任务没有并行执行而浪费资源，这种时候就需要一个工作流调度器，Azkaban就是完成这种任务的。 阅读全文
posted @ 2019-02-19 10:57 贫民窟里的程序高手 阅读(726) 评论(0) 推荐(0)

Azkaban各种类型的Job编写
摘要：一、概述 原生的 Azkaban 支持的plugin类型有以下这些： command：Linux shell命令行任务 gobblin：通用数据采集工具 hadoopJava：运行hadoopMR任务 java：原生java任务 hive：支持执行hiveSQL pig：pig脚本任务 spark： 阅读全文
posted @ 2019-02-19 10:48 贫民窟里的程序高手 阅读(673) 评论(0) 推荐(0)

azkaban执行错误 Job failed, Cannot request memory (Xms 0 kb, Xmx 0 kb) from system for job
摘要：azkaban默认需要3G的内存，剩余内存不足则会报异常。 配置文件，设置 azkaban-web-server-2.7.0/plugins/jobtypes/commonprivate.properties 阅读全文
posted @ 2019-02-19 10:41 贫民窟里的程序高手 阅读(557) 评论(0) 推荐(0)

WhereHows前后端配置文件
摘要：前端： 后端： 阅读全文
posted @ 2018-08-30 19:55 贫民窟里的程序高手 阅读(607) 评论(1) 推荐(0)

开启和关闭HBase的thrift进程
摘要：开启 $HBASE_HOME/bin/hbase-daemon.sh start thrift 关闭 $HBASE_HOME/bin/hbase-daemon.sh stop thrift 阅读全文
posted @ 2018-06-11 14:57 贫民窟里的程序高手 阅读(389) 评论(0) 推荐(0)

HBase分布式集群搭建
摘要：本文转载自：https://www.cnblogs.com/ityouknow/p/7343996.html hbase和hadoop一样也分为单机版、伪分布式版和完全分布式集群版本，这篇文件介绍如何搭建完全分布式集群环境搭建。 hbase依赖于hadoop环境，搭建habase之前首先需要搭建好h 阅读全文
posted @ 2018-06-11 14:56 贫民窟里的程序高手 阅读(182) 评论(0) 推荐(0)

PHP在Linux下的套件LNMP
摘要：LNMP官网：https://lnmp.org/install.html 另外不要忘了Azkaban和WhereHows 阅读全文
posted @ 2018-06-11 11:45 贫民窟里的程序高手 阅读(170) 评论(0) 推荐(0)

Hive在集群环境配置
摘要：本文转载自：https://blog.csdn.net/hanjin7278/article/details/53035739 一、简介 hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进 阅读全文
posted @ 2018-06-09 11:39 贫民窟里的程序高手 阅读(370) 评论(0) 推荐(0)

Excel导出文件流下载
摘要：Controller.cs Service.cs 阅读全文
posted @ 2018-06-09 10:42 贫民窟里的程序高手 阅读(335) 评论(0) 推荐(0)

修改Ubuntu的aptget源为阿里源的方法
摘要：1、复制原文件备份 sudo cp /etc/apt/source.list /etc/apt/source.list.bak 2、编辑源列表文件 sudo vim /etc/apt/source.list 3、将原来的列表删除，添加如下内容 deb http://mirrors.aliyun.co 阅读全文
posted @ 2018-06-09 10:37 贫民窟里的程序高手 阅读(157) 评论(0) 推荐(0)

Vagrant 基础全面解析
摘要：本文转载自：https://www.cnblogs.com/kelsen/archive/2017/01/04/6247005.html 这篇 Vagrant 入门文章将带你创建一个 Vagrant 项目，这个过程将会用到 Vagrant 所提供的主要基本特性。如果想了解 Vagrant 能为你带来 阅读全文
posted @ 2018-06-09 10:35 贫民窟里的程序高手 阅读(572) 评论(0) 推荐(0)

vagrant 本地添加box 支持带版本号
摘要：众所周知，vagrant添加box的时候要从外网下载，那速度、、、（说多了都是泪），所以只好用下载工具下载到本地之后再添加。 一般处理方案 正常这样基本上就可以将box添加上去了。不过，这样添加的box版本号是0，大部分场景版本号影响也不大。但我在使用Laravel Homestead的时候，这边会 阅读全文
posted @ 2018-06-09 10:33 贫民窟里的程序高手 阅读(213) 评论(0) 推荐(0)

CentOS7 64位下MySQL5.7安装与配置（YUM）
摘要：安装环境：CentOS7 64位 MINI版，安装MySQL5.7 1、配置YUM源 在MySQL官网中下载YUM源rpm安装包：http://dev.mysql.com/downloads/repo/yum/ 检查mysql源是否安装成功 2、安装MySQL 3、启动MySQL服务 查看MySQL 阅读全文
posted @ 2018-06-09 10:31 贫民窟里的程序高手 阅读(174) 评论(0) 推荐(0)

1 2 下一页