随笔分类 - 大数据
摘要：金 融风暴、债务危机、房地产资金链断裂、财政赤字、个税……这么多的金融术语，让非金融界人士有点犯晕。作为公司未来的管理者，基本的金融常识必须有所了 解。了解金融先从了解钱开始吧。你可以不了解宏观经济，可以不了解国际贸易，但是不了解钱还真说不过去——谁会和钱过不去呢？ 下面这张图，概括了中国金融体系的
阅读全文
摘要：学习方式 根据数据类型的不同，对一个问题的建模有不同的方式。在机器学习或者人工智能领域，人们首先会考虑算法的学习方式。在机器学习领域，有几种主要的学习方式。将算法按照学习方式分类是一个不错的想法，这样可以让人们在建模和算法选择的时候考虑能根据输入数据来选择最合适的算法来获得最好的结果。 监督式学习：
阅读全文
摘要：引言 上一篇文章了解了kafka的重要组件zookeeper，用来保存broker、consumer等相关信息，做到平滑扩展。这篇文章就实际操作部署下kafka，用几个简单的例子加深对kafka的理解，学会基本使用kafka。 环境搭建 我将会在本地部署一个三台机器的zookeeper集群，和一个2
阅读全文
摘要：http://www.cuijiahua.com/resource.html 曾看过的书，感觉一些很有用的学习资料，推荐给大家！ Python基础： 网络教程推荐： 教程地址：点击查看 2. 系统学完也不一定记得很清楚，这时我们需要一个快速的查询手册，菜鸟教程是一个不错的选择： 教程地址：点击查看
阅读全文
摘要：1.什么是数据分析与数据挖掘技术? 所谓数据分析，即对已知的数据进行分析，然后提出一些有价值的信息。比如统计出平均数、标准差等信息,数据分析的数据量有可能不会太大。而数据挖掘，是指对大量的数据进行分析和挖掘，得到一些未知的有价值的信息等，比如从网站的用户或用户行为数据中挖掘出潜在需求信息，从而对网站
阅读全文
摘要：一定要指定数据库，因为函数，视图，存储过程是在数据库下面的。
阅读全文
摘要：为了理解和应用机器学习技术，你需要学习 Python 或者 R。这两者都是与 C、Java、PHP 相类似的编程语言。但是，因为 Python 与 R 都比较年轻，而且更加“远离”CPU，所以它们显得简单一些。相对于R 只用于处理数据，使用例如机器学习、统计算法和漂亮的绘图分析数据， Pthon 的
阅读全文
摘要：原文链接：http://www.jianshu.com/p/df5918069612 scapy 是 python 写的一个功能强大的交互式数据包处理程序，可用来发送、嗅探、解析和伪造网络数据包，常常被用到网络攻击和测试中。 —— 由方石剑分享 scapy是python写的一个功能强大的交互式数据包
阅读全文
摘要：(五)读写SQL数据库 ps.数据库的代码是我直接从网络上粘贴过来的，没有测试过是不是可行，先贴上来。 数据库我还在摸索中，学习心得学习笔记之类的大家可以一起分享23333~ (二)数据排序（用的是tips.csv的数据，数据来源：https://github.com/mwaskom/seaborn
阅读全文
摘要：1.这里面涉及到较为复杂的用户购物状态的推理和判定，如果不借助人工输入，比如通过产品设计提供用户筛选接口，让用户人工输入限制项，典型的比如过滤器，负反馈，则对目前的机器算法是一个非常大的挑战。而推荐天然就是一个被动信息消费的产品，不适合做很重的意图探索交互，因此，这是目前电商平台上的推荐系统面临的一
阅读全文
摘要：目录 目录 实验环境 安装 Hadoop 配置文件 在另外两台虚拟机上搭建hadoop 启动hdfs集群 启动yarn集群 目录 实验环境 安装 Hadoop 配置文件 在另外两台虚拟机上搭建hadoop 启动hdfs集群 启动yarn集群 目录 实验环境 安装 Hadoop 配置文件 在另外两台虚
阅读全文
摘要：准备 jdk1.8.0_77 zeromq-4.1.4 Python-2.7.6 libsodium-1.0.11 jzmq storm-0.9.1 zookeeper-3.4.6 我用的是三台ubutun系统的机器，分别是 开始安装 环境变量 首先配置好环境变量，如下,是我/etc/profile
阅读全文
摘要：kafka是LinkedIn开发并开源的一个分布式MQ系统，现在是Apache的一个孵化项目。在它的主页描述kafka为一个高吞吐量的分布式（能将消息分散到不同的节点上）MQ。在这片博文中，作者简单提到了开发kafka而不选择已有MQ系统的原因。两个原因：性能和扩展性。Kafka仅仅由7000行Sc
阅读全文
摘要：在使用 Fabric 的过程中，如果大批量服务器处理的话，我们就需要针对配置主机的密码，每台主机的密码相同还好，不同的话，就需要针对不同的主机做配置了，以下有两种配置方式 注：本文主要参考官方文档 Password management 以及 grimnes 的文章 Using SSH keys w
阅读全文
摘要：Python 基础教程之包和类的用法 建立一个文件夹filePackage 在filePackage 文件夹内创建 __init__.py 有了 __init__.py ，filePackage才算是一个包，否则只是算一个普通文件夹。 在filePackage 文件夹内创建 file.py file
阅读全文
摘要：在公司里做的一个接口系统，主要是对接第三方的系统接口，所以，这个系统里会和很多其他公司的项目交互。随之而来一个很蛋疼的问题，这么多公司的接口，不同公司接口的稳定性差别很大，访问量大的时候，有的不怎么行的接口就各种出错了。 这个接口系统刚刚开发不久，整个系统中，处于比较边缘的位置，不像其他项目，有日志
阅读全文
摘要：scikit-learn点滴 scikit-learn是非常漂亮的一个机器学习库,在某些时候,使用这些库能够大量的节省你的时间,至少,我们用Python,应该是很难写出速度快如斯的代码的. scikit-learn官方出了一些文档,但是个人觉得,它的文档很多东西都没有讲清楚,它说算法原理的时候,只是
阅读全文
摘要：任务异步化 打开浏览器，输入地址，按下回车，打开了页面。于是一个HTTP请求（request）就由客户端发送到服务器，服务器处理请求，返回响应（response）内容。 我们每天都在浏览网页，发送大大小小的请求给服务器。有时候，服务器接到了请求，会发现他也需要给另外的服务器发送请求，或者服务器也需要
阅读全文
摘要：在Python教学中发现，很多同学在走到面向对象编程这块就开始蒙圈了，为了帮助大家更好的理解面向对象编程并其能将其用到自己的开发过程中，特写此文。 概述 面向过程：根据业务逻辑从上到下写垒代码 函数式：将某功能代码封装到函数中，日后便无需重复编写，仅调用函数即可 面向对象：对函数进行分类和封装，让开
阅读全文
摘要：#!/usr/bin/pythonimport syssys.path.append('/home/zhoujie/Downloads/hive-0.7.0-cdh3u0/lib/py')from hive_service import ThriftHivefrom hive_service.tty
阅读全文
浙公网安备 33010602011771号