随笔分类 -  大数据

摘要:一、什么是区块链? 说到区块链,就不得不说比特币。 2008年底,比特币之父中本聪发表了一个关于他研究的电子现金系统的九页白皮书,2009年初,中本聪在位于芬兰赫尔辛基的一个小型服务器上挖出了比特币的第一个区块——创世区块,并将当天泰晤士报头版一则关于救助银行的新闻标题写入创世区块,这也代表着比特币 阅读全文
posted @ 2018-11-05 15:12 网络蚂蚁 阅读(1576) 评论(0) 推荐(0)
摘要:在进入正题前,我想读者心中可能会有一个疑惑:机器学习有什么重要性,以至于要阅读完这篇非常长的文章呢? 我并不直接回答这个问题前。相反,我想请大家看两张图,下图是图一: 图1 机器学习界的执牛耳者与互联网界的大鳄的联姻 这幅图上上的三人是当今机器学习界的执牛耳者。中间的是Geoffrey Hinton 阅读全文
posted @ 2018-11-05 15:07 网络蚂蚁 阅读(231) 评论(0) 推荐(0)
摘要:订单分库分表实践总结 主库容量已接近服务器物理空间上限,同时也已经达到MySQL的处理上限,很快将无法再处理新增订单。 旧订单库面临的问题有: 1、超大容量问题 订单相关表都已经是超大表,最大表的数据量已经是几十亿,数据库处理能力已经到了极限; 单库包含多个超大表,占用的硬盘空间已经接近了服务器的硬 阅读全文
posted @ 2018-10-24 12:17 网络蚂蚁 阅读(993) 评论(1) 推荐(1)
摘要:前言 随着 .NET 平台的出现,报表相关的开发控件随着而来,已经有若干成熟的产品可供开发人员使用,本文旨在通过从不同维度对比目前最流行的4款 .NET报表控件:水晶报表、FastReport、ActiveReports 和 Stimulsoft,给所有报表开发人员在做产品选型时一份全方位的参考。 阅读全文
posted @ 2018-08-02 09:31 网络蚂蚁 阅读(913) 评论(1) 推荐(0)
摘要:一:我在做.net core 应用mongodb的sdk时,查阅了不少资料,故记录下来,以方便查阅。mongodb类库的版本 mongodb driver 2.4.3,一下方法均来自此版本文件 二:Builders 三:进入UpdateDefinitionBuilder,SortDefinition 阅读全文
posted @ 2018-05-30 10:57 网络蚂蚁 阅读(509) 评论(0) 推荐(0)
摘要:一、MongoDB的安装 MongoDb在windows下的安装与以auth方式启用服务 二、下载驱动 使用nuget搜索“mongodb”,下载“MongoDB.Driver”(这是官方推荐的一个驱动,完全免费),它会自动下载“MongoDB.Bson”、“MongoDB.Driver.Core” 阅读全文
posted @ 2018-01-18 14:22 网络蚂蚁 阅读(223) 评论(0) 推荐(0)
摘要:物联网概述 物联网——即Internet-of-Things,其实这个概念由来已久,简单来讲,物联网是物与物、人与物之间的信息传递与控制简称。它和能源、电子信息、医疗、交通、零售、物流、工业制造等行业息息相关。要实现物联网,首先需要将具备信息感知和通信能力的设备嵌入到我们关心的物品中,使其能连接到因 阅读全文
posted @ 2017-08-20 09:18 网络蚂蚁 阅读(1009) 评论(0) 推荐(0)
摘要:本文介绍在Android中实现推送方式的基础知识及相关解决方案。推送功能在手机开发中应用的场景是越来起来了,不说别的,就我们手机上的新闻客户端就时不j时的推送过来新的消息,很方便的阅读最新的新闻信息。这种推送功能是好的一面,但是也会经常看到很多推送过来的垃圾信息,这就让我们感到厌烦了,关于这个我们就 阅读全文
posted @ 2017-08-20 08:28 网络蚂蚁 阅读(289) 评论(1) 推荐(0)
摘要:互联网推送消息的方式很常见,特别是移动互联网上,手机每天都能收到好多推送消息,经过研究发现,这些推送服务的原理都是维护一个长连接(要不不可能达到实时效果),但普通的socket连接对服务器的消耗太大了,所以才会出现像MQTT这种轻量级低消耗的协议来维护长连接,那么要如何维护长连接呢: 在写之前,我们 阅读全文
posted @ 2017-08-20 08:18 网络蚂蚁 阅读(3771) 评论(0) 推荐(0)
摘要:由于工作需要用到了将MySQL数据库转成SqlServer数据库,查了一些资料发现将SqlServer数据库转成MySQL数据库的文章很多,但是反过来的就很少了。下面就将自己的方法分享给大家。 这里用到了微软发布的一个工具“SSMA2008forMySQL.rar”,这个工具的作用就是将MySQL数 阅读全文
posted @ 2017-08-14 09:15 网络蚂蚁 阅读(1289) 评论(0) 推荐(0)
摘要:最近在研究rabbitmq,项目中有这样一个场景:在用户要支付订单的时候,如果超过30分钟未支付,会把订单关掉。当然我们可以做一个定时任务,每个一段时间来扫描未支付的订单,如果该订单超过支付时间就关闭,但是在数据量小的时候并没有什么大的问题,但是数据量一大轮训数据库的方式就会变得特别耗资源。当面对千 阅读全文
posted @ 2017-07-22 13:52 网络蚂蚁 阅读(916) 评论(0) 推荐(0)
摘要:一、MQ(Message Queue) 即消息队列,一般用于应用系统解耦、消息异步分发,能够提高系统吞吐量。MQ的产品有很多,有开源的,也有闭源,比如ZeroMQ、RabbitMQ、ActiveMQ、Kafka/Jafka、Kestrel、Beanstalkd、HornetQ、Apache Qpid 阅读全文
posted @ 2017-07-22 08:49 网络蚂蚁 阅读(717) 评论(0) 推荐(0)
摘要:环境:windwos 10(1511) 64bit、mysql 5.7.14 时间:2016年9月5日 一、下载mysql 1. 在浏览器里打开mysql的官网http://www.mysql.com/ 2. 进入页面顶部的"Downloads" 3. 打开页面底部的“Community(GPL) 阅读全文
posted @ 2017-04-23 18:52 网络蚂蚁 阅读(14328) 评论(3) 推荐(2)
摘要:一、None of the specified endpoints were reachable 这个异常在创建连接时抛出(CreateConnection()),原因一般是ConnectionFactory参数设置不对,比如HostName、UserName、Password 标准设置: var 阅读全文
posted @ 2017-04-20 15:19 网络蚂蚁 阅读(6505) 评论(0) 推荐(0)
摘要:刚刚安装的RabbitMQ-Server-3.3.5,并且也已经开启了Web管理功能,但是现在存在一个问题: 出于安全的考虑,guest这个默认的用户只能通过http://localhost:15672 来登录,不能使用IP地址登录,也就是不能远程访问,这对于服务器上没有安装桌面的情况是无法管理维护 阅读全文
posted @ 2017-04-20 14:39 网络蚂蚁 阅读(3981) 评论(0) 推荐(0)
摘要:一、理论: .net环境下,C#代码调用RabbitMQ消息队列,本文用easynetq开源的.net Rabbitmq api来实现。 EasyNetQ 是一个易于使用的RabbitMQ的.Net客户端API。 RabbitMQ 是由 LShift 提供的一个 Advanced Message Q 阅读全文
posted @ 2017-04-20 13:28 网络蚂蚁 阅读(306) 评论(0) 推荐(0)
摘要:Rabbit MQ 是建立在强大的Erlang OTP平台上,因此安装Rabbit MQ的前提是安装Erlang。 第一步下载erlang:http://www.erlang.org/download.html 第二步下载rabbitmq:http://www.rabbitmq.com/downlo 阅读全文
posted @ 2017-04-20 13:27 网络蚂蚁 阅读(335) 评论(0) 推荐(0)
摘要:本文使用官方C# Driver,实现在MongoDB中存储,查询空间数据(矢量) 空间数据的存储 本例中,从一个矢量文件(shapefile格式)中读取矢量要素空间信息以及属性表,并写入到MongoDB中去,其中读取shapefile文件以及将空间信息转成json的功能通过Ogr库实现 [cshar 阅读全文
posted @ 2017-04-19 16:11 网络蚂蚁 阅读(705) 评论(0) 推荐(0)
摘要:MongoDB基本使用 MongoDB基本使用 成功启动MongoDB后,再打开一个命令行窗口输入mongo,就可以进行数据库的一些操作。 输入help可以看到基本操作命令: show dbs:显示数据库列表show collections:显示当前数据库中的集合(类似关系数据库中的表)show u 阅读全文
posted @ 2017-04-19 16:08 网络蚂蚁 阅读(183) 评论(0) 推荐(0)
摘要:在C#中使用官方驱动操作MongoDB 8.1)下载安装 想要在C#中使用MongoDB,首先得要有个MongoDB支持的C#版的驱动。C#版的驱动有很多种,如官方提供的,samus。 实现思路大都类似。这里我们先用官方提供的mongo-csharp-driver ,当前版本为1.4.1 下载地址: 阅读全文
posted @ 2017-04-19 16:05 网络蚂蚁 阅读(297) 评论(0) 推荐(0)