炼数成金 大数据
订阅

大数据

滴滴Elasticsearch多集群架构实践
滴滴Elasticsearch多集群架构实践
Elasticsearch 是基于 Lucene 实现的分布式搜索引擎,提供了海量数据实时检索和分析能力。Elastic 公司开源的一系列产品组成的 Elastic Stack,可以为日志服务、搜索引擎、系统监控等提供简单、易用的解决方案。滴滴 ...
分类:   
程序员面试被看不起,最后他用300行代码惊艳全场!
程序员面试被看不起,最后他用300行代码惊艳全场!
最近看到一个很解气的帖子,有位程序员分享了自己的面试经历,说自己在上海某一做外卖APP的公司,面试前端岗位,现场有200多个面试者,HR收到将近千份简历,刚开始面试官还看不起他,最后自己写了个特酷炫的特效,这 ...
分类:   
2019年Vue学习路线图
2019年Vue学习路线图
如果你是 Vue 开发新手,可能已经听过很多行话术语,比如单页面应用程序、异步组件、服务器端渲染,等等。你可能还听说过与 Vue 有关的一些工具和库,比如 Vuex、Webpack、Vue CLI 和 Nuxt。浸没在术语和工具的浩瀚 ...
分类:   
5G除了速度更快,还有这些,你知道么?
5G除了速度更快,还有这些,你知道么?
1G 大哥大2G txt3G jpg4G avi那5G呢?简单来说嘛……梅特卡夫定律指出:“网络连接数越多,网络就越有价值。这样说来,5G的价值可以说是潜力无限了!”不过……别急别急,这就来告诉你——上面的场景,可不是小移凭 ...
分类:   
关于5G的十个误解
关于5G的十个误解
误解一:5G马上要取代4G。5G刚建设的时候,可以采用非独立组网模式部署。也就是说,5G会依托于现有4G,并对4G的网络容量和覆盖进行扩充。很多运营商会选择利旧现有4G基站资源,逐步进行5G建设。所以说,从4G到5G,是 ...
分类:   
第一次有人把5G讲的这么简单明了!
第一次有人把5G讲的这么简单明了!
无论是往事随风的1G、2G、3G,还是意气风发的4G、5G,说来说去,都是在这个数学公式上做文章。。。且听我慢慢道来。。。有线?无线?…… 通信技术,无论什么黑科技白科技,只分两种——有线通信和无线通信。
分类:   
数据库智能运维探索与实践
数据库智能运维探索与实践
近些年,传统的数据库运维方式已经越来越难于满足业务方对数据库的稳定性、可用性、灵活性的要求。随着数据库规模急速扩大,各种NewSQL系统上线使用,运维逐渐跟不上业务发展,各种矛盾暴露的更加明显。在业务的驱动 ...
分类:   
这可能是搭建Zookeeper集群介绍最全的文章
这可能是搭建Zookeeper集群介绍最全的文章
怎么搭建单机无安全校验的就不说了,百度一搜一大堆。这里我就说说怎么搭建一个生产环境可用的Zookeeper集群。Docker方式不太建议,要考虑的东西比较多,如果要用Docker方式还是比较建议自建镜像,假如是Docker专家 ...
分类:   
安全的云原生微服务架构全景图
安全的云原生微服务架构全景图
微服务架构多年来一直在发展,有许多开源组件和供应商组件可用于部署安全的微服务平台。 下面,我将把关键组件和如何管理分发所需的不同功能组合在一起,以构建和部署一个模块化的即插即用平台,您可以扩展该平台, ...
分类:   
用校车系统理解事件驱动架构
用校车系统理解事件驱动架构
很小的时候,我就被系统迷住了。尤其是一个系统的优雅性最令我着迷。完美的执行、可预见性,一如校车系统的天才创意。校车系统是如此让我着迷,以至于童年的我几乎每天会在家里的地板上复刻这个过程。当时的我只是认 ...
分类:   
大数据开发者应该知道的分布式系统 CAP 理论
大数据开发者应该知道的分布式系统 CAP 理论
无论你是一个系统架构师,还是一个普通开发,当你开发或者设计一个分布式系统的时候,CAP理论是无论如何也绕不过去的。本文就来介绍一下到底什么是CAP理论,如何证明CAP理论,以及CAP的权衡问题。CAP理论概述CAP理论 ...
分类:   
HBase在人工智能场景的使用
HBase在人工智能场景的使用
近几年来,人工智能逐渐火热起来,特别是和大数据一起结合使用。人工智能的主要场景又包括图像能力、语音能力、自然语言处理能力和用户画像能力等等。这些场景我们都需要处理海量的数据,处理完的数据一般都需要存储 ...
分类:   
深入理解Flink核心技术
深入理解Flink核心技术
Flink的核心是一个流式的数据流执行引擎,其针对数据流的分布式计算提供了数据分布,数据通信以及容错机制等功能。基于流执行引擎,Flink提供了诸多更高抽象层的API以方便用户编写分布式任务:1. DataSet API, 对静 ...
分类:   
通过BulkLoad快速将海量数据导入到Hbase
通过BulkLoad快速将海量数据导入到Hbase
在第一次建立Hbase表的时候,我们可能需要往里面一次性导入大量的初始化数据。我们很自然地想到将数据一条条插入到Hbase中,或者通过MR方式等。但是这些方式不是慢就是在导入的过程的占用Region资源导致效率低下,所 ...
分类:   
人人都能读懂的编译器原理
人人都能读懂的编译器原理
你口中所说的编程语言本质上只是一个软件,这个软件叫做编译器,编译器读入一个文本文件,经过大量的处理,最终产生一个二进制文件。 编译器的语言部分就是它处理的文本样式。因为电脑只能读取 1 和 0 ,而人们编写 ...
分类:   
Julia语言创始人上榜福布斯30 Under 30榜单!
Julia语言创始人上榜福布斯30 Under 30榜单!
又到了每年福布斯最喜欢的一个评选系列:在各行业内选出30位30岁以下的精英。福布斯以前瞻性的目光,寻找那些年龄在30岁以下,已在行业内崭露头角,有一定的影响力,或展现出拥有成为社会翘楚的巨大潜力的年轻人,让 ...
分类:   
2018年11月全球数据库排行榜:Oracle、MySQL均大幅度下滑
2018年11月全球数据库排行榜:Oracle、MySQL均大幅度下滑
近日,DB-Engines 发布了 2018 年 11 月份的数据库排名。本月排行榜中排名前三的依然是:Oracle、MySQL 和 Microsoft SQL Server。Oracle和MySQL出现大幅度下滑,Oracle下滑了18.16分,相比去年同期下跌了58.94分;M ...
分类:   
下一代 HTTP 底层协议或将弃用 TCP 协议,改用 QUIC 协议
下一代 HTTP 底层协议或将弃用 TCP 协议,改用 QUIC 协议
据 iThome.com.tw 报道,国际互联网工程任务组(Internet Engineering Task Force, IETF)将于近日商讨下一代 HTTP 底层协议,可能不再使用已经沿用多年的 TCP 协议,而有望改用以 UDP 协议发展出的 QUIC 技术,同时 ...
分类:   
使用Java Stream API提高编程效率
使用Java Stream API提高编程效率
Stream API 作为 Java 8 的一大亮点,它与 java.io 包里的 InputStream 和 OutputStream 是完全不同的概念。它是对集合(Collection)对象功能的增强,它专注于对集合对象进行各种非常便利、高效的聚合操作或者大批 ...
分类:   
Linux 问题故障定位,看这一篇就够了
Linux 问题故障定位,看这一篇就够了
有时候会遇到一些疑难杂症,并且监控插件并不能一眼立马发现问题的根源。这时候就需要登录服务器进一步深入分析问题的根源。那么分析问题需要有一定的技术经验积累,并且有些问题涉及到的领域非常广,才能定位到问题 ...
分类:   
MySQL 8.0优化器都有哪些新特性?
MySQL 8.0优化器都有哪些新特性?
MySQL当前已经发布到MySQL 8.0版本,在新的版本中,可以看到MySQL之前被人诟病的优化器部分做了很多的改动。为什么需要配置cost model常量 ? 我们知道MySQL已经发展了好几十年的历史,但是在优化器中依然使用了hardc ...
分类:   
Kafka 的七年之痒
Kafka 的七年之痒
Kafka 是 2010 年左右在 LinkedIn 研发的一套流数据处理平台。当时 LinkedIn 也和很多大的互联网公司一样,分很多的组,有很多的产品,每天收集非常多的数据。这些数据都是实时生成的,比如用户活跃度、日志,我们有 ...
分类:   
一份Java架构师必备的知识清单
一份Java架构师必备的知识清单
什么是架构,什么是架构师?这似乎是聊架构话题时永恒的问题。代码写的好就是架构吗?显然不是。代码写的好只是表象,做所有事情都需要规划,尤其是一个复杂的软件系统,这更需要规划,否则可能连一行代码都写不出。 ...
分类:   
超级计算机哪家强?全球TOP500榜单中国企业囊括前三
超级计算机哪家强?全球TOP500榜单中国企业囊括前三
11月13日,最新一期全球高性能计算TOP500榜单公布,联想集团再次蝉联500强榜单冠军。浪潮和中科曙光则分列亚军和季军。此外华为也入围了14台,位列第八。中国超算上榜总数仍居第一,占全部上榜超算总量的45%以上。此 ...
分类:   
精选Python开源项目Top10!
精选Python开源项目Top10!
Py-spy 是一种由 Python 程序驱动的采样分析器,它允许可视化 Python 程序内容,而无需重新启动程序或以任何方式修改代码。它是用 Rust 语言编写的,运行速度快,计算成本极低,不需要在配置 Python 程序的进程中同 ...
分类:   
令人恐惧的固态硬盘:SSD 和 Bitlocker 加密机制被破解 !
令人恐惧的固态硬盘:SSD 和 Bitlocker 加密机制被破解 !
面对愚蠢的设计,安全专家只有捂脸的份。热门固态硬盘(SSD)所使用的加密系统近日爆出根本性的漏洞,一旦不法分子将这种设备搞到手,钻漏洞的空子,就能轻松解密数据。荷兰拉德堡德大学的两名研究人员卡洛•梅 ...
分类:   
中国 2018 软件业务收入TOP100
中国 2018 软件业务收入TOP100
根据国家统计局批准、工业和信息化部统计的2017年全国软件和信息技术服务业年报数据,经各地工业和信息化主管部门初步审核、工业和信息化部最终核定,2018年(第17届)中国软件业务收入前百家企业(下称“本届软件百 ...
分类:   
刚刚、Gartner发布物联网技术十大战略和趋势
刚刚、Gartner发布物联网技术十大战略和趋势
Gartner公司今天着重介绍了几大战略性的物联网技术趋势,这些趋势将推动2018年至2023年的数字化业务创新。Gartner的研究副总裁尼克•琼斯(Nick Jones)说:“物联网将在未来十年继续为数字化业务创新带来新的 ...
分类:   
想成为架构师,你必须掌握的CAP理论及细节
想成为架构师,你必须掌握的CAP理论及细节
理论的优点在于清晰简洁、易于理解,但缺点就是高度抽象化,省略了很多细节,导致在将理论应用到实践时,由于各种复杂情况,可能出现误解和偏差,CAP 理论也不例外。如果我们没有意识到这些关键的细节点,那么在实践 ...
分类:   
Kubernetes何时才会消于无形却又无处不在?
Kubernetes何时才会消于无形却又无处不在?
一项技术成熟的标志不仅仅在于它有多流行,还在于它有多不起眼并且易于使用。比如,没有人会去思考墙上的插座,除非你恰好需要给你的手机充电但又一个都找不到,这只是我们日常生活中所用到的大量技术的一个例子而已 ...
分类:   

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2018-12-17 01:27 , Processed in 0.246049 second(s), 19 queries .