炼数成金 大数据
订阅

大数据

携程框架团队对于应用监控系统的探索与思考
携程框架团队对于应用监控系统的探索与思考
随着市场环境的变化以及国际化的进程,企业的各种对内、对外需求也日益增长。服务化的架构以及容器化的应用加速了各种功能、产品的迭代与更新。随之而来,我们也面临着一个不断膨胀,日渐复杂的系统。复杂度的成倍增 ...
分类:   
备战618,京东如何保障系统稳定性?
备战618,京东如何保障系统稳定性?
每年 618 的大促都是一场技术团队大练兵的时候。作为技术研发人员,在这场战斗中,加深了对线上系统的敬畏之心,通过系统的备战,在技术上也得到了提升。大战在即,如何保障系统稳定,我们的备战思路是什么?首先确 ...
分类:   
运维十年回顾:当前很多新技术的本质都是在解决运维问题
运维十年回顾:当前很多新技术的本质都是在解决运维问题
第一个阶段,人工作坊阶段,也就是我们遇到的所有运维问题,基本靠人工操作完成。这种情况下,系统规模不大,遇到的问题相对简单,大多集中在硬件、网络和系统层面,所以有一定操作系统或网络维护经验的人就可以搞定 ...
分类:   
Java 失宠于 Oracle?
Java 失宠于 Oracle?
在 Python、JavaScript 等一众编程语言崛起风靡之际,一代霸主 Java 风采虽不及当年,但仍横扫了各大编程语言排行榜,也依旧是各大企业级应用开发语言中的 NO.1。不过,有不少网友发现,即使如此,Java 之于其母公司 ...
分类:   
世界将再次巨变,量子计算机将落地!
世界将再次巨变,量子计算机将落地!
2018年3月,谷歌公司量子人工智能实验室发布72量子比特通用处理器"狐尾松"(Bristlecone),单量子比特门错误率仅0.1%,双量子比特门错误率仅0.6%。业界公认当一台量子计算机的可操纵量子比特超过50时,即可拥有 ...
分类:   
gitlab+jenkins打造ceph的rpm自动编译
gitlab+jenkins打造ceph的rpm自动编译
需要添加的插件:Gitlab Hook、Build Authorization Token Root、Gitlab Authentication、Gitlab。新建一个自由风格的软件项目,输入"rpmbuilid_ceph",之后在源码管理里面选择git,输入之前新建的gitlab项目信 ...
分类:   
阿里、百度、腾讯都选择 Flink,它到底有什么魔力?
阿里、百度、腾讯都选择 Flink,它到底有什么魔力?
从媒体的最新资讯推送,到购物狂欢的实时数据大屏,实时计算已经应用到了多个生活、工作场景,随着业务的快速增长,我们对实时计算的需求越来越高。可用于实时计算的开源大数据计算引擎有多种选择,比如 Storm、Samz ...
分类:   
25 年后再次采访 Linux 之父
25 年后再次采访 Linux 之父
1994 年,《Linux Journal》创刊。当时杂志的特写文章是杂志的第一位发行人 Robert Young(后来与人联合创办了Red Hat)对 Linus Torvalds(Linux 内核的作者)的采访。25 年之后,两人再度坐到了一起,就 Linus 本 ...
分类:   
旧金山或成为美国「禁止人脸识别软件」的第一个城市
旧金山或成为美国「禁止人脸识别软件」的第一个城市
16日,旧金山通过了对《停止秘密监视》条例所作的一些修订,离成为美国第一个禁止使用人脸识别软件的城市更近了一步。监事兼规则委员会主席AaronPeskin表示,该条例将先征集公众意见,之后由县监事会投票表决。正如P ...
分类:   
微软重磅发布新语言Bosque,超越结构化编程
微软重磅发布新语言Bosque,超越结构化编程
20 世纪 70 年代,结构化编程和抽象数据类型的兴起代表了编程语言的重大转变。这些方法代表了从反映底层硬件体系结构附带特性的编程模型,开始转向更直接地强调程序员意图的模型。这种转变同时使开发人员更容易地将 ...
分类:   
万字详解Oracle架构、原理、进程,学会世间再无复杂架构
万字详解Oracle架构、原理、进程,学会世间再无复杂架构
对于一个数据库系统来说,假设这个系统没有运行,我们所能看到的和这个数据库相关的无非就是几个基于操作系统的物理文件,这是从静态的角度来看,如果从动态的角度来看呢,也就是说这个数据库系统运行起来了,能够对外 ...
分类:   
E级超算+深度学习,点亮癌症精准治疗之路
E级超算+深度学习,点亮癌症精准治疗之路
美国疾病预防与控制中心发布的最新发病率数据显示,癌症是美国民众的第二大致死原因,仅次于心脏病。沉重的统计数据让人感到沮丧。然而,最近我们迎来了抗癌的曙光,由专业研究团队牵头的“癌症分布式学习环境(CANDL ...
分类:   
让Elasticsearch飞起来!百亿级实时查询优化实战
让Elasticsearch飞起来!百亿级实时查询优化实战
最近的一个项目是风控过程数据实时统计分析和聚合的一个 OLAP 分析监控平台,日流量峰值在 10 到 12 亿上下,每年数据约 4000 亿条,占用空间大概 200T。面对这样一个数据量级的需求,我们的数据如何存储和实现实时 ...
分类:   
Kubernetes 2018 年度简史
Kubernetes 2018 年度简史
Kubernetes 在过去几年中一直是云计算领域最著名的开源项目之一。2018 年,Kubernetes 度过了自己的 4 岁生日。从 2014 年开源,到如今成功从 CNCF 孵化,它已成为容器编排的事实标准。虽然 Kubernetes 还很年轻,但 ...
分类:   
一文梳理 RedHat 和 CentOS 运维中的网络知识
一文梳理 RedHat 和 CentOS 运维中的网络知识
在很多公司,岗位职责都是很明确的,专职转岗,每人或者每组负责一块业务。系统运维岗基本上在IT架构上相对偏后一些,该岗位和网络管理岗基本上是平行的。因为今天咱们说的是系统运维方面网络方面的事情,或多或少都 ...
分类:   
基于 HTTP 协议的 3 种实时数据获取技术
基于 HTTP 协议的 3 种实时数据获取技术
HTTP协议是建立在TCP协议上的应用层协议,协议的本质是请求----应答:即对于HTTP协议来说,服务端给一次响应后整个请求就结束了,这是HTTP请求最大的特点,也是由于这个特点,HTTP请求无法做到的是服务端向客户端主 ...
分类:   
如何画出一张合格的技术架构图?
如何画出一张合格的技术架构图?
架构就是对系统中的实体以及实体之间的关系所进行的抽象描述,是一系列的决策。架构是结构和愿景。系统架构是概念的体现,是对物/信息的功能与形式元素之间的对应情况所做的分配,是对元素之间的关系以及元素同周边 ...
分类:   
我是如何把5万行C++代码移植到Go的?
我是如何把5万行C++代码移植到Go的?
从商业角度来看,这个项目是成功的:重写工作提前完成;性能在可接受的范围之内;并且整体代码量不超过 1W 行(代码量的剧减主要是因为重写团队删除了一些过时的或者不需要的特性)。但从开发者的角度来看,作者认为 ...
分类:   
C++ 力压 Python 进入最受欢迎编程语言前三
C++ 力压 Python 进入最受欢迎编程语言前三
发布新的语言定义 C++ 0x 的复杂性和延迟让 C++ 成功回春。这个新的语言标准最终在 2011 年发布后被命名为 C++ 11,它使这一编程语言变得更简单、更安全,同时也更具表现力。由于社区必须等待适当的编译器支持,所以 ...
分类:   
Elasticsearch 7 正式发布
Elasticsearch 7 正式发布
Elastic Stack 7.0.0 已正式发布,Elasticsearch 作为 Elastic Stack 的核心,它是一个分布式、面向文档的 RESTful 风格搜索和数据分析引擎,它支持结构化和非结构化查询,并且不需要提前定义模式。Elasticsearch 可 ...
分类:   
架构师的工作都干些什么?想做架构师必看!
架构师的工作都干些什么?想做架构师必看!
架构不是一个职业而是一种能力,每一种架构师只不过是在不同的领域里面使用不同的技术,没有什么可对比,就好比如你问一个篮球明星和一个足球明星有什么区别一样!架构师需要考虑4个问题,1. 确定系统干什么不干什么,也 ...
分类:   
大规模升级来临,谈谈Oracle 12cR2使用经验
大规模升级来临,谈谈Oracle 12cR2使用经验
随着2019年2月13日,Oracle 19c (Oracle 12.2.0.3) for Exadata 版本发布,Oracle 12cR2体系的数据库版本终于迎来了长期支持版本(Oracle 12c的最后一个大版本),也就是说数据库版本还在Oracle 10g/11g的系统是时候 ...
分类:   
在中国,SaaS公司怎么做生态
在中国,SaaS公司怎么做生态
过去做标准软件产品,而且是单部门(单部门单岗位或单部门多岗位)应用,所以过去做软件时分工特别简单:1、总部研发软件,然后构建分销网络,总部有专门的部门对分销网络进行培训、营销推广、管理与考核。2、分销网 ...
分类:   
ESXi CPU调度原理
ESXi CPU调度原理
很多客户会反映某些虚拟机的性能比较差,尤其是CPU,那么究竟如何去做优化呢?要想做好优化,需要首先了解一下ESXi的CPU调度原理。首先,作为虚拟化的基础架构平台,ESXi提供计算资源的共享,在ESXi上运行的所有虚拟 ...
分类:   
越南正开发自主5G芯片,越特尔已投资数百万美元
越南正开发自主5G芯片,越特尔已投资数百万美元
越南最大的电信运营商越特尔集团(Viettel)计划利用自己的核心技术建设第五代网络,这家越南国有企业准备在2021年前推出超高速无线服务。该公司的一名负责人表示:越特尔已投资数百万美元开发5G芯片,并正致力于开 ...
分类:   
Stack Overflow 最新调查告诉你,提升这项技能最有用!
Stack Overflow 最新调查告诉你,提升这项技能最有用!
Stack Overflow 2019年度开发者调查报告出炉,该调查来自170多个国家和地区的近90,000份回复,涵盖了从职业满意度和求职到教育和编码偏好等开发人员体验的各个方面。在全球范围内,使用Clojure的受访者的薪水最高, ...
分类:   
程序员群体的性取向如何?Stack Overflow 年度调查有亮点
程序员群体的性取向如何?Stack Overflow 年度调查有亮点
也不知道是从哪一年开始,GitHub 有了一个响亮的名号「最大的同性交友网站」,以至于程序员都把 GitHub 调侃称 GayHub。Python 是增长最快的主流编程语言。今年 Python 排位再次上升,由 2018 年的第 7 位(38.8%) ...
分类:   
Google发布Anthos:宣告多集群多云Kubernetes时代已来
Google发布Anthos:宣告多集群多云Kubernetes时代已来
Anthos(前身为Cloud Service Platform)让用户可以跨环境构建和管理现代混合应用程序,用户可以在Anthos之上交付和管理容器、Kubernetes、微服务架构和Service Mesh等。据Google CEO Sundar Pichai在大会发布时的介 ...
分类:   
2019最受欢迎数据库:MySQL居首PostgreSQL第二Oracle第八
2019最受欢迎数据库:MySQL居首PostgreSQL第二Oracle第八
共有 75,023人回答了这个问题,在用户采用上,MySQL 以 54.0% 位列第一,成为最为广泛采用的数据库产品,PostgreSQL 以 34.3% 位列第二,而 Microsoft SQL Server 以 32.8% 位列第三。PostgreSQL 成功的超越了2018 ...
分类:   
讲讲亿级PV的负载均衡架构!
讲讲亿级PV的负载均衡架构!
本来没想写这个题材的,为了某某童鞋能够更好的茁壮成长,临时写一篇负载均衡的。负载均衡,大家可能听过什么3层负载均衡、4层负载均衡、7层负载均衡什么的?那这是怎么分的呢,ok,是根据osi七层网络模型来分的,例 ...
分类:   

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2019-12-15 00:21 , Processed in 0.162638 second(s), 19 queries .