11 2018 档案

摘要:此文已由作者黄扬授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 在早先的k8s版本中,kubelet代码里提供了networkPlugin,networkPlugin是一组接口,实现了pod的网络配置、解除、获取,当时kubelet的代码中有个一个docker_manage 阅读全文
posted @ 2018-11-30 17:00 网易数帆 阅读(2605) 评论(0) 推荐(0)
摘要:欢迎访问网易云社区,了解更多网易技术产品运营经验。 数据分析,无外乎是收集数据,统计数据,分析数据,分享结果,前面大家把商业数据分析的原因、目的和方法说得都很清楚了,在这里可以增加一点,就是分享结果,商业数据分析的可视化。 毕竟商业数据分析,本身就是在通过数据分析得到一些有用的信息,所以在分析和展示 阅读全文
posted @ 2018-11-30 13:40 网易数帆 阅读(254) 评论(0) 推荐(0)
摘要:此文已由作者刘诗川授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 最近我们的产品有一个需求是要在PC端做一个面向用户的书评编辑器,让用户和编辑在蜗牛读书上能方便快捷的编辑和产出一些优质的文章,它的主要难点就是富文本编辑器部分。 这虽然是个业务需求,但是做业务的同时也要兼顾技 阅读全文
posted @ 2018-11-30 10:52 网易数帆 阅读(989) 评论(2) 推荐(1)
摘要:欢迎访问网易云社区,了解更多网易技术产品运营经验。 可视化分析已经成为一项流行的业务,电商、金融、物流、政府等很多行业都在使用可视化技术来支撑业务优化、战略决策。然而,从应用与设计的角度来看,本人更愿意谈敏捷 BI 的概念。 敏捷 BI 就是以业务人员为中心,让业务人员更理解业务,了解需求,可以自助 阅读全文
posted @ 2018-11-30 09:35 网易数帆 阅读(416) 评论(0) 推荐(0)
摘要:欢迎访问网易云社区,了解更多网易技术产品运营经验。 市场调研是一个系统的具有逻辑的行为,其中的数据分析更是占据了市场调研的工作量中的一大部分,对于市场调研的必要性和目的性,前面说得很清楚,不做搬运了,在这里需要补充强调说明一点:就是调研数据的可视化! 调研结束了,数据也分析了,但是怎么样才能让老板看 阅读全文
posted @ 2018-11-29 17:40 网易数帆 阅读(524) 评论(0) 推荐(0)
摘要:欢迎访问网易云社区,了解更多网易技术产品运营经验。 虽然以技术积累为底气,但也要实话实说:随着云服务让技术易于获得,技术的商业价值如何实现,对于企业的发展更加至关重要,短视频也是如此。 再谈技术本身。“黑科技”通常是指人工智能之类的高大上的东西,但对于抖音、快手、秒拍这样的业务来说,我认为,美颜“锦 阅读全文
posted @ 2018-11-29 17:20 网易数帆 阅读(444) 评论(0) 推荐(0)
摘要:欢迎访问网易云社区,了解更多网易技术产品运营经验。 人工审核对于A站和B站都是很重要的。 AcFun稿件审核通行标准(V1.1) 表明,要审核的东西非常多,除了内容本身的合规性、调性,还有画质音质、撞车问题、视频信息问题等,而A站也确实采用人工审核。 B站审核情况参考:从B站、爱奇艺、映客的IPO上 阅读全文
posted @ 2018-11-29 17:11 网易数帆 阅读(923) 评论(0) 推荐(0)
摘要:翻译:克迪 欢迎访问网易云社区,了解更多网易技术产品运营经验。 在过去几年中, 我们看到了许多基于预测建模的数据产品。这些产品的范围从天气预报到推荐引擎, 再到比航空公司本身更准确地预测航空公司航班时间的服务。但这些产品仍然只是在做预测, 而不是问他们基于预测后下一步需要采取什么行动。人们对预测技术 阅读全文
posted @ 2018-11-29 16:21 网易数帆 阅读(222) 评论(0) 推荐(0)
摘要:翻译 :周璐 欢迎访问网易云社区,了解更多网易技术产品运营经验。 为什么我在亚马逊工作了5个月之后就离职了。悲伤的性格让我想起自己作为亚马逊员工时候希望能够拥有美好时光。 我是2018年1月28日加入亚马逊公司开始工作的,大约三周后,我最爱的妻子带着我们的猫,降落在了温哥华国际机场,来到了我所在的城 阅读全文
posted @ 2018-11-29 16:11 网易数帆 阅读(1048) 评论(0) 推荐(0)
摘要:欢迎访问网易云社区,了解更多网易技术产品运营经验。 在大公司怎么做android代码混淆的?发现他们的软件用apktool反编译居然没看到classes.dex文件和当前安卓APP加固到底该如何做到防篡改?这两个问题中有过相应回答,现搬运要点过来。 网易资深安全工程师钟亚平在今年的安卓巴士全球开发者 阅读全文
posted @ 2018-11-29 15:41 网易数帆 阅读(372) 评论(0) 推荐(0)
摘要:此文已由作者黎星授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 由于历史原因,Android在发布之初对通知栏Notification的设计相当简单,而如今面对各式各样的通知栏玩法,谷歌也不得不对其进行更新迭代调整,增加新功能的同时,也在不断地改变样式,试图迎合更多人的口味 阅读全文
posted @ 2018-11-29 15:21 网易数帆 阅读(2424) 评论(1) 推荐(0)
摘要:此文已由作者赵昕授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 fakescript 轻量级嵌入式脚本语言 https://github.com/esrrhs/fakescript-java 简介 fakescript是一款轻量级的嵌入式脚本语言,使用Java语言编写,语法 阅读全文
posted @ 2018-11-28 18:30 网易数帆 阅读(1109) 评论(0) 推荐(0)
摘要:此文已由作者赵欣授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 自从oracle收购来了goldengate这款产品并以后对它做了一系列改进后,有非常多的用户使用它做数据迁移、etl抽取、复制容灾等等场景。 这里还有两个goldengate的另类用法,也是非常实用。 1.通 阅读全文
posted @ 2018-11-28 17:40 网易数帆 阅读(481) 评论(0) 推荐(0)
摘要:此文已由作者赵旭东授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 如果数据库被rm命令给删了,只要数据库的主进程还没有退出,就可以从文件句柄中恢复文件最终挽回损失。以下以oracle数据库为例,介绍一下恢复文件的步骤: 1.模拟删库(包含数据文件,控制文件,联机日志文件) 阅读全文
posted @ 2018-11-28 17:20 网易数帆 阅读(221) 评论(0) 推荐(0)
摘要:欢迎访问网易云社区,了解更多网易技术产品运营经验。 云计算发展十多年,云的商业化现在进入了到深水区,云安全技术也已经帮助很多企业省了很多钱。在小编看来,云安全有 4 个层次: 题主说的消费级的云杀毒,本地病毒库和引擎不能立即搞定的,有服务端介入。 采用云的方式来保障企业某一方面的安全。比如抗 D,网 阅读全文
posted @ 2018-11-28 16:50 网易数帆 阅读(518) 评论(0) 推荐(0)
摘要:欢迎访问网易云社区,了解更多网易技术产品运营经验。 营销活动中,抽奖系统刷奖、刷票、刷券的人群,俗称羊毛党,常以低成本甚至零成本换取利润。对于羊毛党,大家是又爱又恨。爱他的人认为羊毛党们虽然撸了点小便宜,但是帮活动拉升了人气,至少在活动数据上好看些。恨他的人觉得这些羊毛党们截取了用户福利,影响了用户 阅读全文
posted @ 2018-11-28 16:31 网易数帆 阅读(1085) 评论(0) 推荐(0)
摘要:欢迎访问网易云社区,了解更多网易技术产品运营经验。 手机的渗透测试可以分为3点: 1. 同Web安全渗透测试类似,需要对Server API和终端应用进行安全测试; 2. OS本身的特性或安全问题; 3. 应用被逆向破解,业务逻辑和信息被盗取; 第一块的问题也不少,很多做移动开发的工程师并不一定有W 阅读全文
posted @ 2018-11-28 15:41 网易数帆 阅读(892) 评论(0) 推荐(0)
摘要:欢迎访问网易云社区,了解更多网易技术产品运营经验。 网易云易盾移动游戏安全技术专家陈士留在2018年Unity技术路演演讲内容中对这个问题有过比较详细的介绍,摘录如下: 防止Unity3D代码被反编译其实就是常见的Unity手游风险中的破解风险。 一、Unity面临的破解风险 Unity的破解风险主 阅读全文
posted @ 2018-11-28 15:23 网易数帆 阅读(1251) 评论(0) 推荐(0)
摘要:欢迎访问网易云社区,了解更多网易技术产品运营经验。 因为工信部对移动App应用安全过检要求日益增多,不加固大都达不到工信部的要求,同时开发者加固App大都是为了防止以下10个检测项出现问题,影响App上架。 1.程序代码安全 “很多人可能认为这一项技术含量并不大,其实这项在App上线时,检测方是有一 阅读全文
posted @ 2018-11-28 15:01 网易数帆 阅读(662) 评论(0) 推荐(0)
摘要:欢迎访问网易云社区,了解更多网易技术产品运营经验。 在安全领域向来是先知道如何攻,其次才是防。在介绍如何防范网站被黑客扫描撞库之前,先简单介绍一下什么是撞库:撞库是黑客通过收集互联网已泄露的用户和密码信息,生成对于的字典表,尝试批量登录其他网站后,得到一系列可以登录的用户。因为很多用户在不同网站使用 阅读全文
posted @ 2018-11-28 14:51 网易数帆 阅读(4812) 评论(0) 推荐(0)
摘要:欢迎访问网易云社区,了解更多网易技术产品运营经验。 这里提供一个关于如何管理论坛广告贴的深度视角。 一般的论坛在发展初期,用户自发产生的内容不多,每一条数据都弥足珍贵,因此几乎不会考虑到反垃圾需求。随着产品规模的扩大,吸引了灰黑产的注意,伴随着各类垃圾广告信息随之而来。第一类风险主要来自于监管部门, 阅读全文
posted @ 2018-11-28 14:40 网易数帆 阅读(221) 评论(0) 推荐(0)
摘要:欢迎访问网易云社区,了解更多网易技术产品运营经验。 很认同一种说法:BI对企业的作用不是BI本身,而是数据本身。那么BI的作用和意义是干什么的呢-是让有意义的数据自己说出自己意义的工具。 BI发展至今,已经不是最初的商业智能局限在数据分析和数据挖掘层面了,他还包含了对趋势,对未来的预测,从没有价值的 阅读全文
posted @ 2018-11-28 14:31 网易数帆 阅读(230) 评论(0) 推荐(0)
摘要:欢迎访问网易云社区,了解更多网易技术产品运营经验。 首先来谈谈验证码的机制,验证码作为一种人机识别手段,其终极目的,就是区分正常人和机器的操作。而对于没有验证码的场景,比如用户登陆,则机器可以同时、大批量的发起请求,一来系统可能扛不住,二来机器可以不断变换密码来尝试破解用户的密码,实现盗号。 虽然, 阅读全文
posted @ 2018-11-28 14:10 网易数帆 阅读(545) 评论(0) 推荐(0)
摘要:欢迎访问网易云社区,了解更多网易技术产品运营经验。 为什么会缺思路呢?其实是没有形成自己的套路,就像产品经理一样,要有微观、中观和宏观套路,然而没思路是属于没有中观套路,形成自己的套路或者使用别人的套路,就能够让你在没有任何思路的情况下却能够得出一个具有实用价值而且能够进一步使用的成果。废话结束,进 阅读全文
posted @ 2018-11-28 14:00 网易数帆 阅读(324) 评论(0) 推荐(0)
摘要:欢迎访问网易云社区,了解更多网易技术产品运营经验。 在回答“小企业是否需要数据分析”这个问题之前,不妨先想想下面两个问题: 你在电脑上建过表格吗? 你基于表格中的数据画过柱形图、饼状图、折线图吗? 可能你没又意识到,这些操作已经是数据分析了,只是程度比较浅而已。 虽然这个问题好像已经有答案了,但还是 阅读全文
posted @ 2018-11-28 13:51 网易数帆 阅读(284) 评论(0) 推荐(0)
摘要:欢迎访问网易云社区,了解更多网易技术产品运营经验。 Android App包含的内容有dex文件,so文件,res,assets资源文件。对应的加密按此内容分为三大方面:dex保护、so加密、资源保护(res, assets)。 一、dex保护 由于未保护的dex文件,是从java编译打包而来,破解 阅读全文
posted @ 2018-11-28 13:20 网易数帆 阅读(1006) 评论(0) 推荐(0)
摘要:欢迎访问网易云社区,了解更多网易技术产品运营经验。 论坛作为UGC内容的主要途径之一,发帖门槛低,内容规范相对宽松,因此内容鱼龙混杂,线下的牛皮膏药的小广告也转到线上。这类不符合论坛调性、甚至会影响用户体验的内容,我们统称为垃圾内容。 1、垃圾内容泛滥的原因: 1)发帖成本低。对于垃圾产业来说,在论 阅读全文
posted @ 2018-11-28 11:50 网易数帆 阅读(165) 评论(0) 推荐(0)
摘要:欢迎访问网易云社区,了解更多网易技术产品运营经验。 简单地说,微服务架构就是以业务域或业务功能为边界,将一个大而全的应用拆分为可以独立开发,独立部署,独立测试,独立运行的一组小的应用,并且使用轻量级,通用的机制在这组应用间进行通信。 拿着显微镜看微服务架构,品读 Martin Fowler 的定义, 阅读全文
posted @ 2018-11-28 11:21 网易数帆 阅读(847) 评论(0) 推荐(0)
摘要:欢迎访问网易云社区,了解更多网易技术产品运营经验。 全称Distributed Denial of Service,中文意思为“分布式拒绝服务”,就是利用大量合法的分布式服务器对目标发送请求,从而导致正常合法用户无法获得服务。通俗点讲就是利用网络节点资源如:IDC服务器、个人PC、手机、智能设备、打 阅读全文
posted @ 2018-11-28 11:02 网易数帆 阅读(1318) 评论(0) 推荐(0)
摘要:欢迎访问网易云社区,了解更多网易技术产品运营经验。 后端视角,结合点就是通过前端流控缓解后端的压力,提升系统响应能力。 从一般意义理解,Cloud Native 是后端应用的事情,要搞的是系统解耦、横向扩展,玩的是容器、微服务和 DevOps工具链。 从业务发展的角度来看,Cloud Native 阅读全文
posted @ 2018-11-28 10:50 网易数帆 阅读(775) 评论(0) 推荐(0)
摘要:欢迎访问网易云社区,了解更多网易技术产品运营经验。 Spring Boot 和微服务没关系, Java 微服务治理框架普遍用的是 Spring Cloud。 Spring Boot 产生的背景,是开发人员对 Spring 框架越来越复杂的配置吐槽越来越多,Pivotal 设计 Spring Boot 阅读全文
posted @ 2018-11-28 10:40 网易数帆 阅读(687) 评论(0) 推荐(0)
摘要:此文已由作者孙建良授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 Raft 协议的发布,对分布式行业是一大福音,虽然在核心协议上基本都是师继 Paxos 祖师爷(lamport) 的精髓,基于多数派的协议。但是 Raft 一致性协议的贡献在于,定义了可易于实现的一致性协议的 阅读全文
posted @ 2018-11-26 18:41 网易数帆 阅读(1025) 评论(0) 推荐(1)
摘要:此文已由作者刘超授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验 四、Kubernetes 本身就是微服务架构 基于上面这十个设计要点,我们再回来看 Kubernetes,会发现越看越顺眼。 首先 Kubernetes 本身就是微服务的架构,虽然看起来复杂,但是容易定制化,容易 阅读全文
posted @ 2018-11-23 11:52 网易数帆 阅读(348) 评论(0) 推荐(0)
摘要:此文已由作者刘超授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验 三、微服务化的十个设计要点 微服务有哪些要点呢?第一张图是 SpringCloud 的整个生态。 第二张图是微服务的 12 要素以及在网易云的实践。 第三张图是构建一个高并发的微服务,需要考虑的所有的点。 接下来 阅读全文
posted @ 2018-11-23 11:12 网易数帆 阅读(239) 评论(0) 推荐(0)
摘要:此文已由作者刘超授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验 最近总在思考,为什么在支撑容器平台和微服务的竞争中,Kubernetes 会取得最终的胜出,事实上从很多角度出发三大容器平台从功能方面来看,最后简直是一摸一样。 参考 Docker, Kubernetes, DC 阅读全文
posted @ 2018-11-23 11:02 网易数帆 阅读(297) 评论(0) 推荐(0)
摘要:此文已由作者刘超授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 一、为什么要做无状态化和容器化 很多应用拆分成微服务,是为了承载高并发,往往一个进程扛不住这么大的量,因而需要拆分成多组进程,每组进程承载特定的工作,根据并发的压力用多个副本公共承担流量。 将一个进程变成多组进 阅读全文
posted @ 2018-11-23 10:32 网易数帆 阅读(1437) 评论(0) 推荐(0)
摘要:欢迎访问网易云社区,了解更多网易技术产品运营经验。 从“互联网+、移动互联网、AI+”等概念的更迭,大家对数据的认知越来越清晰。数据既是线上场景的产物,反之又作用线上场景的持续优化。“数据将改变互联网”、“数据的量变将带来世界的质变”众说纷纭,但是大数据技术怎样在行业中落地实践并发挥作用成为让人深思 阅读全文
posted @ 2018-11-22 17:10 网易数帆 阅读(270) 评论(0) 推荐(0)
摘要:欢迎访问网易云社区,了解更多网易技术产品运营经验。 前言 默认读者有kubernetes基础概念的背景知识,因此基础概念例如有状态、pod、Replica Sets、Deployments、statefulsets等不在此文详细阐述。 可以看我之前的一些关于kubernetes的文章: kubern 阅读全文
posted @ 2018-11-22 14:40 网易数帆 阅读(3889) 评论(0) 推荐(0)
摘要:此文已由作者刘超授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 3大数据时代,众人拾柴火焰高 当数据量很小时,很少的几台机器就能解决。慢慢的,当数据量越来越大,最牛的服务器都解决不了问题时,怎么办呢?这时就要聚合多台机器的力量,大家齐心协力一起把这个事搞定,众人拾柴火焰高。 阅读全文
posted @ 2018-11-22 11:30 网易数帆 阅读(228) 评论(0) 推荐(0)
摘要:此文已由作者汤晓静授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 lua 协程与 nginx 事件机制结合 文章前部分用大量篇幅阐述了 lua 和 nginx 的相关知识,包括 nginx 的进程架构,nginx 的事件循环机制,lua 协程,lua 协程如何与 C 实现交 阅读全文
posted @ 2018-11-22 11:21 网易数帆 阅读(602) 评论(0) 推荐(0)
摘要:此文已由作者汤晓静授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 OpenResty 发展起源 OpenResty(也称为 ngx_openresty)是一个全功能的 Web 应用服务器。它打包了标准的 nginx 核心,很多的常用的第三方模块,以及它们的大多数依赖项。 通 阅读全文
posted @ 2018-11-22 11:13 网易数帆 阅读(203) 评论(0) 推荐(0)
摘要:此文已由作者刘超授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 一、架构的三个维度和六个层面 1.1、三大架构 在互联网时代,要做好一个合格的云架构师,需要熟悉三大架构。 第一个是IT架构,其实就是计算,网络,存储。这是云架构师的基本功,也是最传统的云架构师应该首先掌握的部 阅读全文
posted @ 2018-11-22 11:05 网易数帆 阅读(189) 评论(0) 推荐(0)
摘要:此文已由作者刘超授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 八、基于OpenStack了解云平台 当有了虚拟机,并且虚拟机能够上网了之后,接下来就是搭建云平台的时候了。 云是基于计算,网络,存储虚拟化技术的,云和虚拟化的主要区别在于,管理员的管理模式不同,用户的使用模式 阅读全文
posted @ 2018-11-22 10:58 网易数帆 阅读(165) 评论(0) 推荐(0)
摘要:此文已由作者刘超授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 十、基于Hadoop和Spark了解大数据平台 对于数据架构的部分,其实经历了三个过程,分别是Hadoop Map-Reduce 1.0,基于Yarn的Map-Reduce 2.0, 还有Spark。 如下图是 阅读全文
posted @ 2018-11-22 10:47 网易数帆 阅读(194) 评论(0) 推荐(0)
摘要:作者:刘超 一、服务拆分的前提 说到微服务,服务拆分是绕不过去的话题,但是微服务不是说拆就能拆的,有很多的前提条件,需要完成前面几节所论述的部分。 首先要有一个持续集成的平台,使得服务在拆分的过程中,功能的一致性,这种一致性不能通过人的经验来,而需要经过大量的回归测试集,并且持续的拆分,持续的演进, 阅读全文
posted @ 2018-11-22 10:38 网易数帆 阅读(659) 评论(0) 推荐(0)
摘要:此文已由作者刘超授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 今天跟大家讲讲云计算、大数据和人工智能。为什么讲这三个东西呢?因为这三个东西现在非常火,并且它们之间好像互相有关系:一般谈云计算的时候会提到大数据、谈人工智能的时候会提大数据、谈人工智能的时候会提云计算……感觉 阅读全文
posted @ 2018-11-22 10:30 网易数帆 阅读(290) 评论(0) 推荐(0)
摘要:欢迎访问网易云社区,了解更多网易技术产品运营经验。 本文章根据网易云资深解决方案架构师 王必成在云原生用户大会上的分享整理。 今天我将分享个人对于网络方案的理解,以及网易云在交付 Kubernetes 场景时的一些网络实践。 本文分为两部分: 第一部分:常见容器网络方案; 第二部分:网易云基于 VP 阅读全文
posted @ 2018-11-22 10:11 网易数帆 阅读(655) 评论(0) 推荐(0)
摘要:此文已由作者刘超授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 在高并发场景下,需要通过缓存来减少数据库的压力,使得大量的访问进来能够命中缓存,只有少量的需要到数据库层。由于缓存基于内存,可支持的并发量远远大于基于硬盘的数据库。所以对于高并发设计,缓存的设计时必不可少的一环 阅读全文
posted @ 2018-11-22 10:01 网易数帆 阅读(198) 评论(0) 推荐(0)
摘要:此文已由作者刘超授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 云计算发展至今,从普通的虚拟化到 OpenStack 再到容器云,如何为客户提供一个满意的解决方案成为一件越来越具有挑战性的事情。 虚拟化或者云计算的解决方案,大多从基础设施层面,讲清楚自己的产品就可以了。而容 阅读全文
posted @ 2018-11-22 09:50 网易数帆 阅读(211) 评论(0) 推荐(0)
摘要:此文已由作者刘超授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 一、微服务落地是一个复杂问题,牵扯到IT架构,应用架构,组织架构多个方面 在多家传统行业的企业走访和落地了微服务之后,发现落地微服务是一个非常复杂的问题,甚至都不完全是技术问题。 当时想微服务既然是改造应用,做 阅读全文
posted @ 2018-11-22 09:40 网易数帆 阅读(4716) 评论(12) 推荐(28)
摘要:此文已由作者刘超授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 3.4. 阶段二有什么问题吗? 3.4. 阶段二有什么问题吗? 其实大部分的企业,到了这个阶段,已经可以解决大部分的问题了。 能够做到架构SOA化,基础设施云化的公司已经是传统行业在信息化领域的佼佼者了。 中台 阅读全文
posted @ 2018-11-22 09:34 网易数帆 阅读(337) 评论(1) 推荐(4)
摘要:作者:周思华 欢迎访问网易云社区,了解更多网易技术产品运营经验。 本文尝试描述Beam模型和Stream & Table理论间的关系(前者描述于数据流模型论文、the-world-beyond-batch-streaming101和the-world-beyond-batch-streaming-1 阅读全文
posted @ 2018-11-21 11:20 网易数帆 阅读(235) 评论(0) 推荐(0)
摘要:欢迎访问网易云社区,了解更多网易技术产品运营经验。 前言 最近几个月花了比较多精力在项目的测试环境Docker迁移上,从最初的docker“门外汉”到现在组里的同学(大部分测试及少数的开发)都可以熟练地使用docker环境开展测试工作,中间也积累了一些经验和踩过不少坑,借此2017复盘的机会,总结一 阅读全文
posted @ 2018-11-21 10:30 网易数帆 阅读(333) 评论(0) 推荐(0)
摘要:此文已由作者张威授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 我们从头来构建一个 React 的应用程序,探究领域、存储、应用服务和视图这四层 每个成功的项目都需要一个清晰的架构,这对于所有团队成员都是心照不宣的。 试想一下,作为团队的新人。技术负责人给你介绍了在项目进程 阅读全文
posted @ 2018-11-21 10:11 网易数帆 阅读(420) 评论(0) 推荐(0)
摘要:此文已由作者申国骏授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 前言 关于灰度发布的意义此处就不进行介绍了,可以先读下这两篇文章 《微服务部署:蓝绿部署、滚动部署、灰度发布、金丝雀发布》 《灰度发布:灰度很简单,发布很复杂》 灰度方案说白了就是,分配一定比例或者筛选有特殊 阅读全文
posted @ 2018-11-20 18:53 网易数帆 阅读(214) 评论(0) 推荐(0)
摘要:此文已由作者张威授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 视图层 现在我们有了一个可执行且不依赖于框架的应用程序,React 已经准备投入使用。 视图层由 presentational components 和 container components 组成。 pre 阅读全文
posted @ 2018-11-20 18:50 网易数帆 阅读(193) 评论(0) 推荐(0)
摘要:欢迎访问网易云社区,了解更多网易技术产品运营经验。 这是系列文章中的第一篇文章,其中介绍了我们的报告“ 揭示数字行为:将数据科学应用于22亿用户会话”中选择的数字行为 就像有人在商店里大吼大叫证明商店里的顾客体验不佳 - 而且有人微笑 - 一些数字肢体语言表明在线等效。 本文着眼于多重行为及其与客户 阅读全文
posted @ 2018-11-20 17:36 网易数帆 阅读(288) 评论(0) 推荐(0)
摘要:欢迎访问网易云社区,了解更多网易技术产品运营经验。 MGR即MySQL Group Replication,是MySQL官方推出的基于Paxos一致性协议的数据高可靠、服务高可用方案。MGR在2016年12月12号发布的MySQL 5.7.17版本达到GA状态,在这之后一年半时间里,MySQL又相继 阅读全文
posted @ 2018-11-20 14:46 网易数帆 阅读(385) 评论(0) 推荐(0)
摘要:翻译:孙文学 欢迎访问网易云社区,了解更多网易技术产品运营经验。 如果我能行,那么你也行。 我职业生涯中的第一份工作是作为一名产品经理。但大约4年前,我开始意识到产品只是困扰创业人员的一个小难题。从那时开始,我着迷于产品的发展过程。因此,我开始了解学习成长和如何获取客户。 我拥有密歇根大学的学位(G 阅读全文
posted @ 2018-11-20 13:51 网易数帆 阅读(426) 评论(0) 推荐(0)
摘要:此文已由作者王文开授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 要说整车厂的核心业务是什么,说白了就是两个:一个是造车,一个是卖车;我今天想来聊一聊卖车,也就是整车厂的销售业务。 目前中国的汽车销售模式都是通过经销商的(暂时不考虑那些垂直的汽车电商,不是本文的重点),普通 阅读全文
posted @ 2018-11-20 12:00 网易数帆 阅读(183) 评论(0) 推荐(0)
摘要:此文已由作者王文开授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 前言: 本文主要介绍了整车厂售后配件业务的整体状况和痛点,并且展示了网易有数是如何助力整车厂的售后部门,发现其业务问题、定位问题、解决问题; 正文: 随着汽车市场竞争的愈发激烈,整车厂销售业务的利润逐年在下降 阅读全文
posted @ 2018-11-20 11:56 网易数帆 阅读(447) 评论(0) 推荐(0)
摘要:经过严格的遴选,国内领先的智能内容安全服务商网易云易盾脱颖而出成为百视通BesTV App合作伙伴,携手百视通共同构建纯净健康的内容生态。 百事通是中国大陆首家获得IPTV运营牌照的公司,依托上海文化广播影视集团有限公司(SMG),拥有强大的视听内容创意与生产、交互产品研发与应用、新媒体管理与运营的 阅读全文
posted @ 2018-11-20 11:51 网易数帆 阅读(355) 评论(0) 推荐(0)
摘要:欢迎访问网易云社区,了解更多网易技术产品运营经验。 这个双十一,人工智能市场火爆,从智能音箱到智能分拣机器人,人工智能已逐渐渗透到我们的生活的方方面面。网易云社区联合博文视点为大家带来人工智能热门图书专场,这些书籍将引领我们一起去解密人工智能,了解这位即将走进我们生活的“朋友”。 知乎活动的帖子:h 阅读全文
posted @ 2018-11-19 12:59 网易数帆 阅读(506) 评论(0) 推荐(0)
摘要:此文已由作者赵计刚授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 一、使用方式 服务提供方不变,调用方代码如下: 配置里添加<dubbo:method name="xxx" async="true"/>,表示单个方法xxx使用异步方式;如果demoService下的所有方法 阅读全文
posted @ 2018-11-16 18:23 网易数帆 阅读(748) 评论(0) 推荐(0)
摘要:此文已由作者赵计刚授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 从@Activate(group = Constants.CONSUMER)来看FutureFilter只用在consumer端;不管是同步调用还是异步调用,都会走FutureFilter。 原理: 首先走o 阅读全文
posted @ 2018-11-16 17:25 网易数帆 阅读(217) 评论(0) 推荐(0)
摘要:此文已由作者岳猛授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 dubbo事件通知机制:http://dubbo.io/books/dubbo-user-book/demos/events-notify.html 一、使用方式 两个服务: DemoService:真正要调用 阅读全文
posted @ 2018-11-16 17:08 网易数帆 阅读(521) 评论(0) 推荐(0)
摘要:此文已由作者赵计刚授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 dubbo提供了三种结果缓存机制: lru:基于最近最少使用原则删除多余缓存,保持最热的数据被缓存threadlocal:当前线程缓存jcache:可以桥接各种缓存实现 lru:基于最近最少使用原则删除多余缓 阅读全文
posted @ 2018-11-16 16:39 网易数帆 阅读(416) 评论(0) 推荐(0)
摘要:此文已由作者赵计刚授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 二、consumer端心跳机制 客户端在initClient(url)中设置了heartbeat参数(默认为60s,用户自己设置的方式见“一”中所讲),如下: 与provider类似,来看一下最后开启心跳检测 阅读全文
posted @ 2018-11-16 16:15 网易数帆 阅读(254) 评论(0) 推荐(0)
摘要:此文已由作者赵计刚授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 来看一下HeaderExchangeServer.this.getChannels(): 实际上就是获取NettyServer中的全部channel连接。 获取到需要心跳检测的channel后,对每一个cha 阅读全文
posted @ 2018-11-16 14:35 网易数帆 阅读(277) 评论(0) 推荐(0)
摘要:此文已由作者赵计刚授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 dubbo的心跳机制: 目的:检测provider与consumer之间的connection连接是不是还连接着,如果连接断了,需要作出相应的处理。原理:provider:dubbo的心跳默认是在heartb 阅读全文
posted @ 2018-11-16 13:20 网易数帆 阅读(579) 评论(0) 推荐(0)
摘要:此文已由作者赵慧莉授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 一、前言 在进行性能测试前,有些参数需要本地进行调试,不适合直接使用性能测试平台。主要通过监控CPU、内存、磁盘、网络情况来判断是否符合标准。接下来将通过CPU、内存、磁盘、网络情况的评估标准、常见的监控命令 阅读全文
posted @ 2018-11-16 13:05 网易数帆 阅读(193) 评论(0) 推荐(0)
摘要:此文已由作者赵慧莉授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 一、前言 最近在做内容分发网络(Content Delivery Network,简称 CDN)CDN的后端线上回归集监控时,常常出现连续执行多个用例时会报“org.apache.http.NoHttpRes 阅读全文
posted @ 2018-11-16 10:51 网易数帆 阅读(497) 评论(0) 推荐(0)
摘要:欢迎访问网易云社区,了解更多网易技术产品运营经验。 作者:Martin Banks 我们应该期待与网络犯罪分子进行持续的斗争,因为恶意软件会变得聪明,而我们的安全防护技能也会不断提高。 大多数人都知道物联网,它需要监视和控制成千上万的单个传感器和设备,以构成一个完整的网络。大多数人也会听说勒索软件, 阅读全文
posted @ 2018-11-15 16:27 网易数帆 阅读(259) 评论(0) 推荐(0)
摘要:欢迎访问网易云社区,了解更多网易技术产品运营经验。 手游外挂入侵 随着各种爆款手游的风靡,目前手机游戏的占比用户已经形成一个巨大的市场,市场上你争我夺,有将PC版本移植到手机中,也有新模式手游的推出。随着市场的扩大,除了手游产业的兴起壮大,也滋生出了手游的各种外挂产业。 现在市面上流行的手游外挂,总 阅读全文
posted @ 2018-11-15 16:01 网易数帆 阅读(442) 评论(0) 推荐(0)
摘要:欢迎访问网易云社区,了解更多网易技术产品运营经验。 尽管鼻梁被碰坍陷,牙齿被撞裂,“伤痕累累”的沈明星依然喜欢对抗运动,他从骨子里觉得:“男人就应该拼一点,偶尔争强好斗下。”沈明星是网易云安全首席架构师,他主要从事安全防御体系建设、安全应急响应、云安全、安全服务产品化等工作,目前正致力于实践传统企业 阅读全文
posted @ 2018-11-15 15:41 网易数帆 阅读(571) 评论(0) 推荐(0)
摘要:欢迎访问网易云社区,了解更多网易技术产品运营经验。 网易杭研易盾实习心得 实习时间:2017年12月到2018年6月 实习部门:网易易盾计算机视觉算法组 光阴似箭,6个月的实习转瞬即逝。趁热打铁,记录下这期间的点点滴滴,分享一点点的心得,也给自己攒点人品吧(哈哈)。 从去年12月开始,我在网易杭州研 阅读全文
posted @ 2018-11-15 15:31 网易数帆 阅读(369) 评论(0) 推荐(0)
摘要:欢迎访问网易云社区,了解更多网易技术产品运营经验。 达观数据显示,2017年中国移动综合资讯市场用户规模保持稳定增长,保持5亿左右的用户规模。其中在2017年11月网络媒体人均单日使用时长,网易新闻以月度人均单日使用时长40分钟位居第一。国内知名移动大数据服务商QuestMobile最新数据显示,2 阅读全文
posted @ 2018-11-15 15:20 网易数帆 阅读(400) 评论(0) 推荐(0)
摘要:欢迎访问网易云社区,了解更多网易技术产品运营经验。 “知物由学”是网易云易盾打造的一个品牌栏目,词语出自汉·王充《论衡·实知》。人,能力有高下之分,学习才知道事物的道理,而后才有智慧,不去求问就不会知道。“知物由学”希望通过一篇篇技术干货、趋势解读、人物思考和沉淀给你带来收获的同时,也希望打开你的眼 阅读全文
posted @ 2018-11-15 14:59 网易数帆 阅读(177) 评论(0) 推荐(0)
摘要:欢迎访问网易云社区,了解更多网易技术产品运营经验。 “知物由学”是网易云易盾打造的一个品牌栏目,词语出自汉·王充《论衡·实知》。人,能力有高下之分,学习才知道事物的道理,而后才有智慧,不去求问就不会知道。“知物由学”希望通过一篇篇技术干货、趋势解读、人物思考和沉淀给你带来收获的同时,也希望打开你的眼 阅读全文
posted @ 2018-11-15 14:50 网易数帆 阅读(192) 评论(0) 推荐(0)
摘要:欢迎访问网易云社区,了解更多网易技术产品运营经验。 易盾业务风控周报每周呈报值得关注的安全技术和事件,包括但不限于内容安全、移动安全、业务安全和网络安全,帮助企业提高警惕,规避这些似小实大、影响业务健康发展的安全风险。 1.《网络安全等级保护条例(征求意见稿)》本周正式发布 6月25日,网络安全标准 阅读全文
posted @ 2018-11-15 14:40 网易数帆 阅读(183) 评论(0) 推荐(0)
摘要:此文已由作者张佃鹏授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 clojure是一门动态类型的语言,在类型检查方面并没有c++/java这种静态类型语言好用,所以多个模块之间进行接口参数传递时,由于接口文档设计不严谨等原因,总会发生接口参数类型错误,参数个数不正确等问题, 阅读全文
posted @ 2018-11-15 10:50 网易数帆 阅读(362) 评论(0) 推荐(0)
摘要:此文已由作者张晓燕授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 维基百科中对“业务”的解释是:”企业运用科学方法和生产工艺生产出可交付用户使用的产品与服务,并以此为企业带来利益的行为“,就我个人的理解,”业务驱动“需要具备以下几个关键要素: 价值导向 价值导向 价值导向意 阅读全文
posted @ 2018-11-15 10:40 网易数帆 阅读(315) 评论(0) 推荐(0)
摘要:此文已由作者张晓燕授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 在项目过程中,往往会需要跨团队合作,然而过程中往往会出现难以推进、沟通不畅、进度风险等种种问题。究竟如何才能达成合作目标?希望笔者的以下思考可以对大家有所启发。 外部合作与内部推进的不同之处:(这里特指在合作 阅读全文
posted @ 2018-11-15 10:20 网易数帆 阅读(1307) 评论(0) 推荐(0)
摘要:此文已由作者张晓燕授权网易云社区发布 欢迎访问网易云社区,了解更多网易技术产品运营经验。 当谈到项目经理的工作职责时,很多人脑海里蹦出的第一个词就是“做计划”。的确,项目经理的日常工作与计划这个词密不可分。本文中所讨论的“计划”特指“项目进度计划”,笔者将分享一些在做计划时的实践和感悟,供大家参考和 阅读全文
posted @ 2018-11-15 10:03 网易数帆 阅读(224) 评论(0) 推荐(0)
摘要:此文已由作者张晓燕授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 背景: 你一定遇到过这样的情况,除了项目本身的版本之外,还有各种各样的事项需要推动和跟进,这些事项的项目背景、重要程度、持续时间、成员情况可能都不尽相同。那么,如何有效的推进这类事项的执行和落地呢?笔者加入数 阅读全文
posted @ 2018-11-15 09:30 网易数帆 阅读(428) 评论(0) 推荐(0)
摘要:此文已由作者张小刚授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 在上一篇文章中,介绍了负载均衡服务,常用的负载均衡服务器以及负载均衡服务在公司的应用情况。这一篇文章会对上篇提到的负载均衡服务器进行较为深入的分析,对其主要功能,优缺点,使用场景进行介绍。希望可以起到抛砖引玉 阅读全文
posted @ 2018-11-15 09:20 网易数帆 阅读(542) 评论(0) 推荐(0)
摘要:此文已由作者张小刚授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 本文主要是对负载均衡技术进行一个简单的介绍,并结合在实际生产环境中负载均衡技术的应用情况,让大家对负载均衡技术,以及这一技术在公司的应用情况有一个简单的了解。 什么是负载均衡技术 负载均衡技术,是现代计算机领 阅读全文
posted @ 2018-11-15 09:12 网易数帆 阅读(2590) 评论(1) 推荐(3)
摘要:欢迎访问网易云社区,了解更多网易技术产品运营经验。 “知物由学”是网易云易盾打造的一个品牌栏目,词语出自汉·王充《论衡·实知》。人,能力有高下之分,学习才知道事物的道理,而后才有智慧,不去求问就不会知道。“知物由学”希望通过一篇篇技术干货、趋势解读、人物思考和沉淀给你带来收获的同时,也希望打开你的眼 阅读全文
posted @ 2018-11-15 09:10 网易数帆 阅读(288) 评论(0) 推荐(0)
摘要:欢迎访问网易云社区,了解更多网易技术产品运营经验。 “知物由学”是网易云易盾打造的一个品牌栏目,词语出自汉·王充《论衡·实知》。人,能力有高下之分,学习才知道事物的道理,而后才有智慧,不去求问就不会知道。“知物由学”希望通过一篇篇技术干货、趋势解读、人物思考和沉淀给你带来收获的同时,也希望打开你的眼 阅读全文
posted @ 2018-11-15 09:06 网易数帆 阅读(137) 评论(0) 推荐(0)
摘要:欢迎访问网易云社区,了解更多网易技术产品运营经验。 “网易大数据讲堂第一期:数说”直播活动昨晚顺利举行。感谢各位“数”友的支持和参与。 本次活动PPT可点击这里下载:https://sq.163yun.com/blog/article/217803906237566976。 可点击这里观看直播回放: 阅读全文
posted @ 2018-11-14 16:20 网易数帆 阅读(357) 评论(0) 推荐(0)
摘要:此文已由作者张佃鹏授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 1.关键字(:keyword/::keyword): 最近在学习使用clojure.spec(验证数据的格式)这个库,但在使用clojure.spec/def定义一个spec时,必须使用双冒号如下: 当时比较 阅读全文
posted @ 2018-11-14 13:40 网易数帆 阅读(214) 评论(0) 推荐(0)
摘要:此文已由作者张佃鹏授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 最近在项目中用到了Transient数据结构,使用该数据结构对程序执行效率会有一定的提高。刚刚接触Transient Data Stuctures,下面将自己关于对其的了解总结如下: 1.clojure的不可 阅读全文
posted @ 2018-11-14 09:40 网易数帆 阅读(265) 评论(0) 推荐(0)
摘要:欢迎访问网易云社区,了解更多网易技术产品运营经验。 2018年9月,网易云易盾宣布,与智能和自动化网络安全解决方案提供商A10 Networks结成战略合作伙伴关系。双方将在抗DDoS攻击领域展开深入合作,共同推出深度集成的联合解决方案,为用户提供从本地防护到云端防护的全方位、无死角的抗DDoS服务 阅读全文
posted @ 2018-11-13 15:40 网易数帆 阅读(208) 评论(0) 推荐(0)
摘要:此文已由作者杨杰授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 全自动区分计算机和人类的图灵测试(Completely Automated Public Turing test to tell Computers and Humans Apart,简称CAPTCHA),俗称 阅读全文
posted @ 2018-11-13 15:30 网易数帆 阅读(1671) 评论(0) 推荐(0)
摘要:“知物由学”是网易云易盾打造的一个品牌栏目,词语出自汉·王充《论衡·实知》。人,能力有高下之分,学习才知道事物的道理,而后才有智慧,不去求问就不会知道。“知物由学”希望通过一篇篇技术干货、趋势解读、人物思考和沉淀给你带来收获的同时,也希望打开你的眼界,成就不一样的你。当然,如果你有不错的认知或分享, 阅读全文
posted @ 2018-11-13 14:50 网易数帆 阅读(269) 评论(0) 推荐(0)
摘要:欢迎访问网易云社区,了解更多网易技术产品运营经验。 近日,国内领先的智能业务安全平台网易云易盾和浙报传媒旗下“浙江新闻”达成合作,易盾将为浙江新闻客户端提供大数据反作弊服务,助力浙江新闻抵御刷单、薅羊毛等灰黑产侵害,辅助新闻运营工作健康有序发展,保障广大真实客户的体验和利益。浙江新闻是浙江日报报业集 阅读全文
posted @ 2018-11-13 14:40 网易数帆 阅读(221) 评论(0) 推荐(0)
摘要:众所周知,代码安全是Android开发工作中的一大核心要素。 11月3日,安卓巴士全球开发者论坛线下系列沙龙第七站在成都顺利举办。作为中国领先的安卓开发者社区,安卓巴士近年来一直致力于在全国各大城市举办线下技术大会,为Android开发者提供最为全面深入的安全技术解读。 网易云易盾移动安全专家尹彬彬 阅读全文
posted @ 2018-11-13 14:20 网易数帆 阅读(414) 评论(0) 推荐(0)
摘要:此文已由作者张佃鹏授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 1. 逻辑编程思维: 逻辑编程(逻辑程序设计)是种编程范型,它设置答案须匹配的规则来解决问题,而非设置步骤来解决问题。过程是: 事实+规则=结果 简单的说,事实就是一些已知输入,规则是应该遵循的限定条件,输入 阅读全文
posted @ 2018-11-13 14:10 网易数帆 阅读(451) 评论(0) 推荐(0)
摘要:此文已由作者张硕授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 网易美学主站在最初开发时,因为各种历史原因,引入了例如JQuery,Bootstrop,Angular, React等框架,代码结构比较混乱,给后续的开发和维护带来了很大的不便。所以对它进行了重构。下面,我会从 阅读全文
posted @ 2018-11-13 09:13 网易数帆 阅读(278) 评论(0) 推荐(0)
摘要:此文已由作者刘超授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 一、微服务落地是一个复杂问题,牵扯到IT架构,应用架构,组织架构多个方面 在多家传统行业的企业走访和落地了微服务之后,发现落地微服务是一个非常复杂的问题,甚至都不完全是技术问题。 当时想微服务既然是改造应用,做 阅读全文
posted @ 2018-11-12 19:52 网易数帆 阅读(304) 评论(1) 推荐(0)
摘要:此文已由作者刘超授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 3.4. 阶段二有什么问题吗? 其实大部分的企业,到了这个阶段,已经可以解决大部分的问题了。 能够做到架构SOA化,基础设施云化的公司已经是传统行业在信息化领域的佼佼者了。 中台开发组基本能够解决中台的能力复用 阅读全文
posted @ 2018-11-12 13:40 网易数帆 阅读(272) 评论(1) 推荐(0)
摘要:此文已由作者张书超授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 ——Brown Tim在其著作《设计思考改造世界》中说:“未来的设计师将扮演科技的诠释者(洞见能力)、人性的引领者(观察能力)、感性的创造者与品位的营造者(同理心)的角色。” 不知不觉中,我已经加入易信团队一 阅读全文
posted @ 2018-11-12 09:31 网易数帆 阅读(315) 评论(0) 推荐(0)
摘要:此文已由作者张青授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 赞,它的名字叫“小海豚”(我起的小名),大名叫Ghost Inspector。 允许我先迫不及待的说一下它的优点:1、不用码代码,只需要录制一次视频,想要重跑用例,只需要点击【Run Test】即可。2、测试环 阅读全文
posted @ 2018-11-12 09:10 网易数帆 阅读(253) 评论(0) 推荐(0)
摘要:此文已由作者张玲滢授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 John Heskett在 [设计价值创造]的理论中阐述设计师的价值创造大致可分为三个层级:1.设计师作为修饰者 2.设计师作为区分者 3. 设计师作为计划者。在现在节奏比较快的环境下,设计师们不仅仅需要完成 阅读全文
posted @ 2018-11-09 15:32 网易数帆 阅读(312) 评论(0) 推荐(0)
摘要:此文已由作者张玲滢授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 最近又重新看了《佐藤可士和的超级整理术》,这本书介绍了在信息处理阶段的一些思考方法。从实物整理、信息整理、思维整理三个层面阐述了这一思考方法和其自相似性。 思维整理和实物整理在方法上没有太大差别:分类,排列, 阅读全文
posted @ 2018-11-09 13:41 网易数帆 阅读(467) 评论(0) 推荐(0)
摘要:此文已由作者赵斌授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 对于搜索引擎来讲,很多情况下只需要用户在搜索输入框内输入所需要查询的内容就可以了,其余的事情就全部交给搜索引擎去处理。理想的情况下,搜索引擎会优先返回用户想要的结果。理想很丰满,但总会存在一些骨感的现实,用户通 阅读全文
posted @ 2018-11-09 09:10 网易数帆 阅读(2421) 评论(0) 推荐(0)
摘要:此文已由作者赵斌授权网易云社区发布 欢迎访问网易云社区,了解更多网易技术产品运营经验。 一、前言 最近为了测试内容分发网络(Content Delivery Network,简称 CDN)CDN在调用外部API接口时,解析API的域名依赖于域名管理服务器,如果域名解析异常,会严重影响API的调用。于 阅读全文
posted @ 2018-11-08 17:19 网易数帆 阅读(705) 评论(0) 推荐(0)
摘要:此文已由作者赵斌授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 由于目前论坛的Markdown不支持Mathjax,数学公式没法正常识别,文章只能用截图上传了。。。 免费体验云安全(易盾)内容安全、验证码等服务 11.1—11.15云计算基础服务全场5折起 更多网易技术、产 阅读全文
posted @ 2018-11-08 14:36 网易数帆 阅读(254) 评论(0) 推荐(0)
摘要:此文已由作者赵斌授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 一、前言 最近为了测试内容分发网络(Content Delivery Network,简称 CDN)添加的新功能,支持HYTTPS安全加速功能,需要对证书的有效性进行验证,于是乎需要自己生成合法的、非法的、过期 阅读全文
posted @ 2018-11-07 18:45 网易数帆 阅读(653) 评论(0) 推荐(0)
摘要:相关文章:【推荐】 Wireshark对HTTPS数据的解密【推荐】 Omad群组部署、依赖部署一键解决【推荐】 探一探快应用的虚实 阅读全文
posted @ 2018-11-07 16:55 网易数帆 阅读(170) 评论(0) 推荐(0)
摘要:此文已由作者赵斌授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 背景 美国小伙Tom在中国已经半年了,自认为中文已经不错,就想测试一下自己的水平到底有多高。于是,他收到了下面这样一份试题,请说出以下题目中两句话的区别在哪里: 1、冬天:能穿多少穿多少;夏天:能穿多少穿多少。 阅读全文
posted @ 2018-11-07 15:25 网易数帆 阅读(231) 评论(0) 推荐(0)
摘要:此文已由作者王文开授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 要说整车厂的核心业务是什么,说白了就是两个:一个是造车,一个是卖车;我今天想来聊一聊卖车,也就是整车厂的销售业务。 目前中国的汽车销售模式都是通过经销商的(暂时不考虑那些垂直的汽车电商,不是本文的重点),普通 阅读全文
posted @ 2018-11-07 14:05 网易数帆 阅读(328) 评论(0) 推荐(0)
摘要:此文已由作者王文开授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 前言: 本文主要介绍了整车厂售后配件业务的整体状况和痛点,并且展示了网易有数是如何助力整车厂的售后部门,发现其业务问题、定位问题、解决问题; 正文: 随着汽车市场竞争的愈发激烈,整车厂销售业务的利润逐年在下降 阅读全文
posted @ 2018-11-07 13:40 网易数帆 阅读(985) 评论(0) 推荐(0)
摘要:此文已由作者王文开授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 网易有数提供了用户非常灵活的图表制作能力,其设计原理是希望用户能够通过“搭积木”的形式,按着自己的分析思路,完成可视化报表的制作; 不过,有数的产品定位并不是仅仅为了满足用户做日常的报表,是希望真正的可以帮助 阅读全文
posted @ 2018-11-07 13:15 网易数帆 阅读(933) 评论(0) 推荐(0)
摘要:此文已由作者王文开授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 这一篇讲一下EXCLUDE表达式的用法。 EXCLUDE,中文译为“排除”,顾名思义,这个表达式和INCLUDE表达式是对立的,语法规则如下: { EXCLUDE [维度] : 聚合表达式 } 比如我们先做了 阅读全文
posted @ 2018-11-07 12:00 网易数帆 阅读(374) 评论(0) 推荐(0)
摘要:此文已由作者王文开授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 上一篇,讲了什么是数据的粒度,以及网易有数中,哪些地方能够改变视图上的数据粒度。 现在正是开始CGC表达式的讲解,我们首先来看一下INCLUDE表达式 { INCLUDE [维度] : 聚合表达式 } 我们用 阅读全文
posted @ 2018-11-07 11:55 网易数帆 阅读(211) 评论(0) 推荐(0)
摘要:此文已由作者王文开授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 跨视图数据粒度计算(Cross-Granularity Calculation)是网易有数推出的新功能,CGC的优点是您可以独立于当前视图用的维度来执行此计算。CGC计算表达式一共有三种,分别是:FIXED, 阅读全文
posted @ 2018-11-07 11:40 网易数帆 阅读(344) 评论(0) 推荐(0)
摘要:此文已由作者王文开授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 在网易有数中,我们的目标是使数据分析成为一种愉快的行为。 个人认为一款优秀的数据分析工具应该是能够做到:当用户在使用它做数据分析的时候,已经忘记了工具的存在,而是能够集中关注于发现数据背后揭示的故事。这个可以 阅读全文
posted @ 2018-11-07 11:25 网易数帆 阅读(422) 评论(0) 推荐(0)
摘要:此文已由作者王文开授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 随着报告数量的增多,用户进入有数后,需要在很多文件夹中找到自己想看的那张报告,这很费时间,那是否可以通过有数中做一个导航页面,将相关的报告的地址都在一个页面中显示,然后通过点击进行报告间的跳转。类似于下图 这 阅读全文
posted @ 2018-11-07 11:10 网易数帆 阅读(711) 评论(0) 推荐(0)
摘要:此文已由作者王文开授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 下面这张图是一个简单的堆叠柱状图,并且按照了每个类别的总体销售额进行了排序。 此时如何根据不同年份的销售额进行动态的排序,而不是总体的销售额,如下面这样 切换不同的年份,就按照这一年的销售额进行降序排序。 报 阅读全文
posted @ 2018-11-07 11:00 网易数帆 阅读(389) 评论(0) 推荐(0)
摘要:此文已由作者刘超授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 网易有数发布了智能分析模块,分为:智能洞察,智能问答,机器学习三大部分。 后续,网易有数会加大在智能分析方面的投入,希望能够让更好的帮助用户自动、快速发现数据的异常和规律。 在网易有数新版本中,首先对表格增加了 阅读全文
posted @ 2018-11-07 10:50 网易数帆 阅读(364) 评论(0) 推荐(0)
摘要:此文已由作者张磊授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 前言 目前对 git 仓库拆分的已有实现之一,并没有合并到 git 发行版中。项目的地址是 https://github.com/ingydotnet/git-subrepo 准备工作 首先创建主仓库 subr 阅读全文
posted @ 2018-11-07 10:30 网易数帆 阅读(1048) 评论(0) 推荐(0)
摘要:此文已由作者张磊授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 前言 git 拆分仓库在网上已有的案例上来看,分为 submodule 和 subtree。 还有基于这两个方案进行改进的 subrepo、git-repo 等,当然还可以使用 npm 去管理。 准备工作 可以 阅读全文
posted @ 2018-11-07 10:00 网易数帆 阅读(1052) 评论(0) 推荐(0)
摘要:此文已由作者张磊授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 前言 目前对 git 仓库拆分的已有实现之一。这里 git subtree 并不是 subtree merge strategy,这两个不是一个东西。 准备工作 首先创建主仓库 subrepo-master,随 阅读全文
posted @ 2018-11-07 09:55 网易数帆 阅读(538) 评论(0) 推荐(0)
摘要:此文已由作者张磊薪授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 前言 submodule 目前对 git 仓库拆分的已有实现之一。环境 git version 2.7.4.windows.1 准备工作 首先创建主仓库 subrepo-master,随意提交一次文本,接着拉 阅读全文
posted @ 2018-11-07 09:46 网易数帆 阅读(1230) 评论(0) 推荐(0)
摘要:此文已由作者张磊授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 前情提要 以前用的是 webapi 现在统一切成 openapi,字段结构统统都变了 接入接口 20+,涉及模块的创建等主要流程。 页面基本无改,仅有一个新需求,创建时新增一个字段 其他依赖接口需要接入模块 预 阅读全文
posted @ 2018-11-06 11:41 网易数帆 阅读(803) 评论(0) 推荐(0)
摘要:此文已由作者张磊授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 前言 使用 webpack 的时候,难免需要写一些 loader,接着就会遇到一个很纠结的问题。该 loader 会生成一个文件,一般这个文件的生成时机都是在 loader 处理所有的文件后。一般有两种处理方案 阅读全文
posted @ 2018-11-06 11:17 网易数帆 阅读(435) 评论(0) 推荐(0)
摘要:此文已由作者张磊授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 这里不讨论 NEJ 和 webpack 的优劣,仅从技术角度来探寻一下能否实现,以及实现的代价。 前言 上一篇文章 问题有提到 方案1 如何打包的问题,有一种方案就是把打包方案切成 webpack 的。这篇文章 阅读全文
posted @ 2018-11-06 10:56 网易数帆 阅读(536) 评论(0) 推荐(0)
摘要:此文已由作者张磊授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 前言: 后端服务一般都有监控措施,一般可以及时发现线上错误,但是很多项目的前端却没有线上报警服务,即使有错误,前端根本无法感知,但实际上用户使用的系统、浏览器等环境十分复杂,还是有比较高的概率出现 bug 的。 阅读全文
posted @ 2018-11-06 10:32 网易数帆 阅读(642) 评论(0) 推荐(0)
摘要:此文已由作者张磊授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 前言 目前项目使用的技术是 nej + regular,路由方面是使用 nej 自带的,随着时间推移,项目已经上线很多模块,这时想尝试新技术,不可能推倒重来,只能边做边重构。想引入新技术,比如引入 vue,那么 阅读全文
posted @ 2018-11-06 10:07 网易数帆 阅读(275) 评论(0) 推荐(0)
摘要:此文已由作者张开春授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 背景 运营小姐姐在后台配置时,时常发生预售仓库配置错误的问题。影响订单一般情况先由客服妹妹联系用户取消订单,并且赔偿一定数额的优惠券,然后让用户重新下单,过程艰辛,也会有一些资损。后续处理中,也有让技术同学直 阅读全文
posted @ 2018-11-06 09:07 网易数帆 阅读(207) 评论(0) 推荐(0)
摘要:此文已由作者张家裕授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 最近开发问到supervisor管理下的进程重启了,有无办法做到主动通知,楼主最先想到的是supervisor自带的eventlistener,于是找到了下面的解决方法。 supervisor与superla 阅读全文
posted @ 2018-11-06 08:56 网易数帆 阅读(367) 评论(0) 推荐(0)
摘要:此文已由作者张洪箫授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 问题描述 随着考拉业务的增长和规模的扩大,很多的应用都开始重度依赖缓存服务,也就是杭研的nkv。但是在使用过程中,发现服务端压力并不是特别大的情况下,客户端的rt却很高,导致应用在到达一定并发的情况下,服务的 阅读全文
posted @ 2018-11-05 12:09 网易数帆 阅读(601) 评论(0) 推荐(0)
摘要:此文已由作者张浩授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 免费体验云安全(易盾)内容安全、验证码等服务 更多网易技术、产品、运营经验分享请点击。 阅读全文
posted @ 2018-11-05 11:44 网易数帆 阅读(178) 评论(0) 推荐(0)
摘要:此文已由作者张汉锐授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 vuex-class 提供了和 vuex 相关的全部装饰器,从而解决了上面 Vue.extend + vuex 的 「代码提示」「代码重构」两个问题,然后再通过手动添加类型声明,使得「类型检查」的工作也能生效 阅读全文
posted @ 2018-11-05 11:18 网易数帆 阅读(350) 评论(0) 推荐(0)
摘要:此文已由作者张汉锐授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 前言:对于我们而言,typescript 更像一个工具 官方指南 从 vue2.5 之后,vue 对 ts 有更好的支持。根据官方文档,vue 结合 typescript ,有两种书写方式: Vue.exte 阅读全文
posted @ 2018-11-05 10:53 网易数帆 阅读(715) 评论(0) 推荐(0)
摘要:此文已由作者张汉锐授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 vue 的单元测试环境 按照目前全家桶的情况,是需要 webpack 的支持的。可以直接使用 vue-cli ,选择 webpack 模版,里面会有完整的单元测试 & 端对端测试的配置。如果想要自己配置,则在 阅读全文
posted @ 2018-11-05 09:16 网易数帆 阅读(356) 评论(0) 推荐(0)
摘要:此文已由作者张佃鹏授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 Koa 就是一种简单好用的 Web 框架。它的特点是优雅、简洁、表达力强、自由度高。本身代码只有1000多行。koa一个中间件框架,其提供的是一个架子,而几乎所有的功能都需要由第三方中间件完成,它只是node 阅读全文
posted @ 2018-11-02 16:35 网易数帆 阅读(237) 评论(0) 推荐(0)
摘要:此文已由作者张含会授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 开发过程问题排查 Chrome Emulation关键词:使用方便 模拟各种设备尺寸、像素比、自定义userAgent模拟触摸、经纬度、重力感应模拟4g网络等不同类型的网络 模拟各种设备尺寸、像素比、自定义u 阅读全文
posted @ 2018-11-02 13:20 网易数帆 阅读(482) 评论(0) 推荐(0)
摘要:此文已由作者张含会授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 关于盒模型布局 如何实现两栏布局? 如何选择? 弹性盒模型FlexBox 容器和项目 .box .item设置容器flex布局 .box{ display: flex; }// 行内元素 .box{ disp 阅读全文
posted @ 2018-11-02 12:55 网易数帆 阅读(892) 评论(0) 推荐(0)
摘要:此文已由作者张耕源授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 Debian 打包一直是比较冷僻的技术,大部分同学都不会接触到它。 但是我们 Debian 服务器上安装的各种软件服务,都是通过各种打包工具制作出来的安装包部署到服务器上的。 Debian 打包虽然比较烦琐复 阅读全文
posted @ 2018-11-02 12:40 网易数帆 阅读(518) 评论(0) 推荐(0)
摘要:此文已由作者张耕源授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 在最近发布的 Python 3.5 版本中,官方正式引入了 async/await关键字、在 asyncio [1] 标准库中实现了IO多路复用、原生协程(coroutine)与 事件循环(event loo 阅读全文
posted @ 2018-11-02 12:31 网易数帆 阅读(278) 评论(0) 推荐(0)
摘要:此文已由作者张耕源授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 自从公司的易信公众服务号有了查询今日菜单的功能,自己慢慢养成了每次去吃饭前查一 下各个窗口的菜谱,再决定去哪吃饭的习惯。 不过这个功能使用的越多,越来越觉得它不方便。目前在易信公众号查询菜单的步骤是: 打开易 阅读全文
posted @ 2018-11-02 12:25 网易数帆 阅读(384) 评论(0) 推荐(0)
摘要:此文已由作者张耕源授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 作为一名接触Python有一段时间的初学者,越来越体会到Python的方便之处,它使人能更 多的关注业务本身的逻辑,而不用太纠结语言层面的技巧与细节。然而,随着服务的规模 变得越来越大,如何方便快速地制作与发 阅读全文
posted @ 2018-11-02 12:20 网易数帆 阅读(531) 评论(0) 推荐(0)
摘要:此文已由作者张耕源授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 日常工作生活中大家在维护自己的服务器、VPS有时会碰到这样的情况:服务器上突然出现了许多来自未知ip的网络连接与流量,我们需要第一时间切断这些可能有害的网络连接。除了iptables/ipset, black 阅读全文
posted @ 2018-11-02 11:51 网易数帆 阅读(2593) 评论(0) 推荐(0)
摘要:此文已由作者张镐薪授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 调用processInsert(sc,schema,sqlType,origSQL,tableName,primaryKey): 对于主键不在插入语句的fields中的SQL,需要改写。比如hotnews主键 阅读全文
posted @ 2018-11-02 11:46 网易数帆 阅读(249) 评论(0) 推荐(0)
摘要:此文已由作者张镐薪授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 5. 路由模块 真正取得RouteResultset的步骤:AbstractRouteStrategy的route方法:对应源代码: 5.3 路由之前的逻辑 - 判断子表插入以及全局序列号的生成: Abstr 阅读全文
posted @ 2018-11-02 11:35 网易数帆 阅读(199) 评论(0) 推荐(0)
摘要:此文已由作者张镐薪授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 下一步,ServerConnection类处理SQL语句 ServerConnection.java 调用routeEndExecuteSQL方法,会解析出RouteResultSet。这步包含了SQL语义解 阅读全文
posted @ 2018-11-02 11:25 网易数帆 阅读(358) 评论(0) 推荐(0)
摘要:此文已由作者张镐薪授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 对于表的dataNode对应关系,有个特殊配置即类似dataNode="distributed(dn$1-10)",这个含义是: 读取完所有表之后,记录好DB类型,这对之后的sql语句路由解析有帮助。将所有s 阅读全文
posted @ 2018-11-02 11:10 网易数帆 阅读(255) 评论(0) 推荐(0)
摘要:此文已由作者张镐薪授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 4.配置模块 4.2 schema.xml 接上一篇,接下来载入每个schema的配置(也就是每个MyCat中虚拟化的数据库的配置): XMLSchemaLoader.java 首先读取schema每个配置属 阅读全文
posted @ 2018-11-02 11:06 网易数帆 阅读(246) 评论(0) 推荐(0)
摘要:此文已由作者张镐薪授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 这样,所有的tableRule和function就加载完毕。保存在一个变量中,就是tableRules:XMLRuleLoader.java: 4.2 schema.xml: 先看下DataHostConfi 阅读全文
posted @ 2018-11-02 10:55 网易数帆 阅读(242) 评论(0) 推荐(0)
摘要:此文已由作者张镐薪授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 4.配置模块 每个MyCatServer初始化时,会初始化: MyCatServer.java: 第一步是读取文件配置,主要是三个文件:schema.xml,rule.xml和server.xml. 读取后的 阅读全文
posted @ 2018-11-02 10:50 网易数帆 阅读(294) 评论(0) 推荐(0)
摘要:此文已由作者张镐薪授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 3. 连接模块 3.5 后端连接 3.5.2 后端连接获取与维护管理 还是那之前的流程, 现在我们到了尝试获取连接的阶段 PhysicalDataSource.java: 异步调用工厂方法创建后端连接,这里为 阅读全文
posted @ 2018-11-02 10:40 网易数帆 阅读(327) 评论(0) 推荐(0)
摘要:此文已由作者刘超授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 十、基于Hadoop和Spark了解大数据平台 对于数据架构的部分,其实经历了三个过程,分别是Hadoop Map-Reduce 1.0,基于Yarn的Map-Reduce 2.0, 还有Spark。 如下图是 阅读全文
posted @ 2018-11-02 10:35 网易数帆 阅读(559) 评论(1) 推荐(2)
摘要:此文已由作者张镐薪授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 3. 连接模块 3.5 后端连接 3.5.1 后端连接获取与负载均衡 上一节我们讲了后端连接的基本建立和响应处理,那么这些后端连接是什么时候建立的呢? 首先,MyCat配置文件中,DataHost标签中有mi 阅读全文
posted @ 2018-11-02 10:26 网易数帆 阅读(176) 评论(0) 推荐(0)
摘要:此文已由作者张镐薪授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 3. 连接模块 3.5 后端连接 对于后端连接,我们只关心MySQL的。 从后端连接工厂开始MySQLConnectionFactory.java: 通过NIOConnector建立实际连接的过程与前端连接的 阅读全文
posted @ 2018-11-02 10:21 网易数帆 阅读(200) 评论(0) 推荐(0)
摘要:此文已由作者张镐薪授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 3. 连接模块 3.4 FrontendConnection前端连接 构造方法: FrontendConnection是对前端连接channel的封装,接受NetworkChannel作为参数构造。前端连接建 阅读全文
posted @ 2018-11-02 10:15 网易数帆 阅读(207) 评论(0) 推荐(0)
摘要:此文已由作者张镐薪授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 3. 连接模块 3.3 AbstractConnection: 3.3.2 NIOHandler NIOHandler实际上就是对于业务处理方法的封装,对于不同的连接有不同的处理方法,也就是不同的NIOHan 阅读全文
posted @ 2018-11-02 10:10 网易数帆 阅读(186) 评论(0) 推荐(0)
摘要:此文已由作者张镐薪授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 3. 连接模块 如之前所述,MyCat的连接分为前端和后端,下面是连接基本相关类图: 3.1 ClosableConnection: 根据字面意思,一个可以关闭的连接需要实现关闭方法-_-,并且需要原因判断是 阅读全文
posted @ 2018-11-02 09:50 网易数帆 阅读(231) 评论(0) 推荐(0)
摘要:此文已由作者易国强授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 2. 前端连接建立与认证 2.5 (7~8) 默认会发送查询版本信息的包,返回结果包 MySql客户端在连接建立后,默认会发送查询版本信息的包,这其实就是一个SQL查询请求了。只不过这个请求不用路由到后台某个 阅读全文
posted @ 2018-11-02 09:30 网易数帆 阅读(180) 评论(0) 推荐(0)
摘要:此文已由作者张镐薪授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 2. 前端连接建立与认证 2.3 (5~6)认证包AuthPacket,如果验证成功,则返回OkPacket 继续执行FrontendConnection的register()方法: FrontendConn 阅读全文
posted @ 2018-11-02 09:25 网易数帆 阅读(280) 评论(0) 推荐(0)
摘要:此文已由作者张镐薪授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 2. 前端连接建立与认证 2.2 (4)握手包HandshakePacket NIOReactor其实就是一个网络事件反应转发器。 很多地方会用到NIOReactor,这里先讲FrontendConnecti 阅读全文
posted @ 2018-11-01 14:36 网易数帆 阅读(208) 评论(0) 推荐(0)
摘要:此文已由作者张镐薪授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 进入了源代码篇,我们先从整体入手,之后拿一个简单流程前端连接建立与认证作为例子,理清代码思路和设计模式。然后,针对每一个重点模块进行分析。 1. 整体通信与业务框架: 前端与后端通信框架都为NIO/AIO,因 阅读全文
posted @ 2018-11-01 14:16 网易数帆 阅读(191) 评论(0) 推荐(0)
摘要:此文已由作者张镐薪授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 配置MyCat 4. 配置schema.xml schema.xml里面管理着MyCat的逻辑库、表,每张表使用的分片规则、分布在哪个DataNode以及DataSource上。 之前的例子: ```xml< 阅读全文
posted @ 2018-11-01 13:56 网易数帆 阅读(232) 评论(0) 推荐(0)
摘要:此文已由作者张镐薪授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 意思就是,开头为北京的范围在A0000000~A9999999的根据后面的哈希值对5取模平均分布在0,1,2,3,4分片节点上。开头为北京的范围在B0000000以上的根据后面的哈希值对5取模平均分布在5,6 阅读全文
posted @ 2018-11-01 13:36 网易数帆 阅读(185) 评论(0) 推荐(0)
摘要:此文已由作者张镐薪授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 配置MyCat 3. 配置conf/rule.xml 1.5GA版本中的规则配置比较笨,2.0中优化了一些,将tableRule标签和function标签合并了,并且支持Velocity模板语言,更加灵活。这 阅读全文
posted @ 2018-11-01 13:25 网易数帆 阅读(299) 评论(0) 推荐(0)
摘要:此文已由作者张镐薪授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 2. 配置conf/server.xml server.xml几乎保存了所有mycat需要的系统配置信息。其在代码内直接的映射类为SystemConfig类。 参考完整配置: 2.1 生成密文密码 查看密文密 阅读全文
posted @ 2018-11-01 13:16 网易数帆 阅读(247) 评论(0) 推荐(0)
摘要:此文已由作者张镐薪授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 全局序列号 数据切分后,原有的关系数据库中的主键约束在分布式条件下将无法使用,因此需要引入外部机制保证数据唯一性标识,这种保证全局性的数据唯一标识的机制就是全局序列号(sequence)。 1. 本地文件方式 阅读全文
posted @ 2018-11-01 12:46 网易数帆 阅读(217) 评论(0) 推荐(0)
摘要:此文已由作者张镐薪授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 基本概念 直接介绍概念太枯燥了,还是拿个和背景篇相似的例子介绍 业务场景:客户完成下单,快递员接受并更新运单状态,客户可以随时查看运单状态的任务。一票快递可能有多个子母件。同时,我们需要标记每个运单的状态,运 阅读全文
posted @ 2018-11-01 12:35 网易数帆 阅读(256) 评论(0) 推荐(0)
摘要:此文已由作者张镐薪授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 MyCat的前世今生 如前文所说,Amoeba、Cobar、MyCat等属于同宗一脉。若Amoeba能继续下去,Cobar就不会出来;若Cobar那批人不是都走光了的话,MyCAT也不会再另起炉灶。Cobar 阅读全文
posted @ 2018-11-01 11:36 网易数帆 阅读(240) 评论(0) 推荐(0)
摘要:此文已由作者张镐薪授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 基本概念 3. 分片 3.1 分片节点(dataNode) 表被水平切分后,每个分片表所在的数据库就是一个分片节点。一个分片节点对应一个数据库(mysql数据库)。一个分片节点只能保存每个分片表的一个分片,因 阅读全文
posted @ 2018-11-01 11:10 网易数帆 阅读(342) 评论(0) 推荐(0)
摘要:此文已由作者张镐薪授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 SQL与NoSQL 目前,对于互联网海量数据的存储以及处理,按使用场景,分为OLTP(联机事务处理,比如即时交易,强调快速响应与处理)与OLAP(联机分析处理,比如BI,强调多维数据分析)。对于这些数据的存储 阅读全文
posted @ 2018-11-01 10:55 网易数帆 阅读(260) 评论(0) 推荐(0)
摘要:此文已由作者张帝授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 遥想3年前开始做网页动画这一行,在页面上加个树叶飘动就觉得炫酷十分了。而如今不仅要在版头上加入各种AE特效的动态背景,结合技术制作交互动效,还得把产品游戏内的三维模型搬入网页内。这就向我们做网站动画设计师提出了 阅读全文
posted @ 2018-11-01 10:51 网易数帆 阅读(302) 评论(0) 推荐(0)
摘要:此文已由作者占金武授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 先说明一下背景: 项目日志中的Exception会被哨兵统一监控并报警比较多的项目基于dubbo在做服务化 项目日志中的Exception会被哨兵统一监控并报警 比较多的项目基于dubbo在做服务化 表单参数 阅读全文
posted @ 2018-11-01 10:40 网易数帆 阅读(216) 评论(0) 推荐(0)
摘要:此文已由作者翟翼畅授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 作为一个交互设计师,理解需求才能更好的将用户体验做好,让自己的设计方案更具有说服力。对于电商产品,产品的运营促销活动起着至关重要的作用,这篇文章是以网易严选的邀请新人功能的设计为例来探讨作为一个交互设计师应如 阅读全文
posted @ 2018-11-01 10:35 网易数帆 阅读(1032) 评论(0) 推荐(0)
摘要:此文已由作者翟曜授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 最近在跟进考拉中间件产品:分布式调用链路跟踪系统trace的测试。 昨天,trace收到一个业务方反馈:接入trace后,工程启动变慢。 针对这个问题,一方面,当前中间件团队内部的测试流程是基于demo工程进行 阅读全文
posted @ 2018-11-01 10:25 网易数帆 阅读(379) 评论(0) 推荐(0)
摘要:此文已由作者翟曜授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 最近在测试过程中,遇到了几次maven传递依赖冲突的问题,所以记录下解决的过程,遇到类似问题供参照。 问题现象: 某服务不可用,查看启动log有报错信息,例如: java.lang.NoSuchMethodEr 阅读全文
posted @ 2018-11-01 10:20 网易数帆 阅读(1882) 评论(0) 推荐(0)
摘要:此文已由作者翟曜授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 mock测试常见的定义为:在测试过程中,对于某些不易构造或不易获取的对象,通过创建虚拟对象的方式来模拟测试的测试方法。 提到mock测试工具,java领域内可能首先想到的是Jmock、EasyMock、JMoc 阅读全文
posted @ 2018-11-01 10:10 网易数帆 阅读(2745) 评论(0) 推荐(0)
摘要:实习时间:2018/6-2018/9 实习部门:网易易盾计算机视觉算法组 不知不觉实习结束已经一个半月了,至今依然还是想念在组里实习的日子。于我而言,在易盾实习的三个月,是人生中一段很重要的日子。 我是五月份面试,端午节后一天后一天入职的(记得这么清楚是因为刚好没拿到粽子,┭┮﹏ ┭┮),岗位是计算 阅读全文
posted @ 2018-11-01 10:00 网易数帆 阅读(172) 评论(0) 推荐(0)
摘要:此文已由作者朱笑天授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 问题的起因是笔者在一轮性能测试的中,发现某协议的响应时间很长,去观察哨兵监控里的javamethod监控可以看到以下结果: onMessage是该协议的总入口,可以看到该协议平均耗时为352.11ms,观察其 阅读全文
posted @ 2018-11-01 09:56 网易数帆 阅读(787) 评论(0) 推荐(0)
摘要:此文已由作者余笑天授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 1背景简介 1.1 jenkins Jenkins是一个用Java编写的开源的持续集成工具。在与Oracle发生争执后,项目从Hudson项目复刻。Jenkins提供了软件开发的持续集成服务。它运行在Serv 阅读全文
posted @ 2018-11-01 09:51 网易数帆 阅读(565) 评论(0) 推荐(0)
摘要:此文已由作者余笑天授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 本文主要是基于我之前学习《深入理解计算机系统》(以下简称CSAPP)这本书第五章优化程序性能内容的回顾以及总结。主要内容并没有从大而全的方面去阐述如何优化程序,而是从一些细节着手来看待优化代码质量这个大问题。 阅读全文
posted @ 2018-11-01 09:46 网易数帆 阅读(795) 评论(0) 推荐(0)
摘要:此文已由作者黄锴授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 前言 由于Mongoose一直没有中文文档,加上现在市面上充斥着太多“快速上手”,很多中文文档都只盲目介绍了Mongoose的API用法(但是现在升级后,很多API发生了变化),没有做详细介绍,导致很多人用了半 阅读全文
posted @ 2018-11-01 09:30 网易数帆 阅读(197) 评论(0) 推荐(0)
摘要:此文已由作者刘超授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 八、基于OpenStack了解云平台 当有了虚拟机,并且虚拟机能够上网了之后,接下来就是搭建云平台的时候了。 云是基于计算,网络,存储虚拟化技术的,云和虚拟化的主要区别在于,管理员的管理模式不同,用户的使用模式 阅读全文
posted @ 2018-11-01 09:25 网易数帆 阅读(457) 评论(0) 推荐(2)
摘要:此文已由作者易国强授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 在SpringBoot项目中,使用的是内嵌的Tomcat容器,相关的配置项如下表: 在SpringBoot项目中,使用的是内嵌的Tomcat容器,相关的配置项如下表: 除去和默认值相同的配置,在项目中建议添加 阅读全文
posted @ 2018-11-01 09:16 网易数帆 阅读(512) 评论(0) 推荐(0)
摘要:此文已由作者易国强授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 解决问题 随着spring boot 框架的逐步使用,我们期望对于一些已有的系统进行改造,做成通用的脚手架,方便在后续新项目中继续使用。本章主要介绍了如何采用Spring Boot改造传统的jsp项目。 随着 阅读全文
posted @ 2018-11-01 09:11 网易数帆 阅读(243) 评论(0) 推荐(0)
摘要:此文已由作者易国强授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 Bean 的顺序加载 有些场景中,我们希望编写的Bean能够按照指定的顺序进行加载。比如,有UserServiceBean和OrderServiceBean,我们需要在OrderServiceBean中调用U 阅读全文
posted @ 2018-11-01 09:06 网易数帆 阅读(3108) 评论(0) 推荐(0)
摘要:此文已由作者易国强授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 传统的filter及listener配置 在传统的Java web项目中,servlet、filter和listener的配置很简单,直接在web.xml中按顺序配置好即可,程序启动时,就会按照你配置的顺序依 阅读全文
posted @ 2018-11-01 08:55 网易数帆 阅读(442) 评论(0) 推荐(0)