随笔分类 - 大数据
摘要：! flowchart 箭头图标 勿删 之前有通过rest的风格去访问，但是每次需要访问时候将statement一并加入header中去数据库执行，方式简单、且思路清晰，但是不便于形成模板调用，固采用mybaits来集成。 1.关键pom.xml依赖 <dependency> <
阅读全文
摘要：阅读目录项目的创建及配置使用嵌入式数据库创建节点和关系查询及更新删除关系和节点完整代码参考资料回到顶部项目的创建及配置 因为Neo4j依赖的jar包比较多，所以推荐使用Maven来管理。 首先创建一个Maven Project，添加依赖： <dependency> <groupId
阅读全文
摘要：MySQL日期时间函数大全DAYOFWEEK(date) 返回日期date是星期几(1=星期天,2=星期一,……7=星期六,ODBC标准)mysql> select DAYOFWEEK('1998 02 03'); > 3 WEEKDAY(date)&n
阅读全文
摘要：在上一篇，项目基本实现了Spring Boot对Mybatis的整合。这篇文章使用Mockito对项目进行测试。 1、使用postmat测试； 2、编写单元测试类，使用mockito进行测试； 3、使用idea内置工具进行测试 运行AicodeBgmsApplication.java，启动项目后，可
阅读全文
摘要：<! flowchart 箭头图标 勿删 一、进入Docker官网 首先先到Docker官网下载最新官方Docker for Windows：Docker下载 在官网内可以查看到Docker的开发文档。 根据官网提示，Windows环境下下载Docker必须满足：Docker for Windows
阅读全文
摘要：第一步让我们来看看我们的大量数据的excel 文件好的下面第二步看一下代码：package com.chinait.utils; / 写这个东西主要是最近做了一个联通的数据迁移工作，他们就是这样导出的数据，所以我们写了这个代码。 还有一个就是网上n 多都是半成品，代码不能直接运行，我这个代码能够直接
阅读全文
摘要：Linux网络相关配置文件 Linux网络配置相关的文件根据不同的发行版目录名称有所不同，但大同小异，主要有似下目录或文件。 （1）/etc/hostname:主要功能在于修改主机名称。 （2）/etc/sysconfig/network scrips/ifcfg enoN:是设置网卡参数的文件，比
阅读全文
摘要：Storm是一个分布式的、高容错的实时计算系统。Storm适用的场景： Storm可以用来用来处理源源不断的消息，并将处理之后的结果保存到持久化介质中。 由于Storm的处理组件都是分布式的，而且处理延迟都极低，所以可以Storm可以做为一个通用的分布式RPC框架来使用。(实时计算？) Storm集
阅读全文
摘要：文章发布于公号【数智物语】 （ID：decision_engine），关注公号不错过每一篇干货。转自 | 知识工场作者 | 肖仰华博士，复旦大学计算机科学与技术学院教授，博士生导师，知识工场实验室负责人 随着近几年知识图谱技术的进步，知识图谱研究与落地发生了一些转向。其中一个重要变化就是越
阅读全文
摘要：由对图数据的处理需求，看到了图数据库（GraphDataBase）这种比较新的数据库模式，并且通过比较发现用的相对多的要属Neo4j了，现在来看网上对Neo4j的介绍还比较少，内容主要来源于三个地方：官方网站http://www.neo4j.org/ ；中文社区http://www.neo
阅读全文
摘要：更多有趣项目及代码见于：DesertsX/gulius projects 前言 本文将带你用 neo4j 快速实现一个明星关系图谱，因为拖延的缘故，正好赶上又一年的4月1日，于是将文中的几个例子顺势改成了“哥哥”张国荣。正所谓“巧妇难为无米之炊”，本次爬取娱乐圈_专业的娱乐综合门户网站下属“明星”页
阅读全文
摘要：随着互联网不断的发展，传统的关系型数据库如oracle，mysql已经难以支撑现下大数据量，高并发的场景了。于是，NoSQL横空出世，有像cassandra这样的column based，像MongoDB这样document based。今天在这里猎奇的是一个graph based的数据库，Neo4
阅读全文
摘要：在过去几年，关系型数据库一直是数据持久化的唯一选择，数据工作者考虑的也只是在这 些传统数据库中做筛选，比如SQL Server、Oracle或者是MySQL。甚至是做一些默认的选择，比如使用.NET的一般会选择SQL Server；使用Java的可能会偏向Oracle，Ruby是MySQL，Pyth
阅读全文
摘要：大数据风控目前应该是前沿技术在金融领域的最成熟应用，相对于智能投顾、区块链等还在初期的金融科技应用，大数据风控目前已经在业界逐步普及，从BATJ这样的大企业，到交易规模比较大的网贷平台，再到做现金贷、消费金融的创业公司，都在通过大数据风控技术来控制贷款规模扩张中的风险。 现在提到互联网金融、Fint
阅读全文
摘要：原文地址：https://cloud.tencent.com/developer/article/1353068 Elasticsearch是当前主流的分布式大数据存储和搜索引擎，可以为用户提供强大的全文本检索能力，广泛应用于日志检索，全站搜索等领域。Logstash作为Elasicsearch常用
阅读全文
摘要：原标题：Redis百亿级Key存储方案 1 需求背景 该应用场景为AdMaster DMP缓存存储需求，DMP需要管理非常多的第三方id数据，其中包括各媒体cookie与自身cookie（以下统称admckid）的mapping关系，还包括了admckid的人口标签、移动端id（主要是idfa和im
阅读全文
摘要：ElasticSearch的River机制 ElasticSearch自身提供了一个River机制，用于同步数据。 这里能够找到官方眼下推荐的River： http://www.elasticsearch.org/guide/en/elasticsearch/rivers/current/ 可是官方
阅读全文
摘要：innodb_flush_log_at_trx_commit=0，在提交事务时，InnoDB不会立即触发将缓存日志写到磁盘文件的操作，而是每秒触发一次缓存日志回写磁盘操作，并调用操作系统fsync刷新IO缓存。 innodb_flush_log_at_trx_commit=1，在每个事务提交时，In
阅读全文
摘要：<! flowchart 箭头图标 勿删 欢迎关注大数据和人工智能技术文章发布的微信公众号：清研学堂，在这里你可以学到夜白（作者笔名）精心整理的笔记，让我们每天进步一点点，让优秀成为一种习惯！ Pig 一种操作hadoop的轻量级脚本语言，最初又雅虎公司推出，不过现在正在走下坡路了。当初雅虎自己慢慢
阅读全文
摘要：mysql有以下几种日志： 错误日志： log err 查询日志： log &n
阅读全文
浙公网安备 33010602011771号