炼数成金 大数据
订阅

大数据

漫谈消息队列:以Kafka和RocketMQ为例
漫谈消息队列:以Kafka和RocketMQ为例
消息队列是一种帮助开发人员解决系统间异步通信的中间件,常用于解决系统解耦和请求的削峰平谷的问题。它是一种中间件,意味着它是面向研发人员而非终端用户的产品,它的存在不能直接的创造价值,但可以有效的简化研 ...
分类:   
从零开始搭建创业公司后台技术栈
从零开始搭建创业公司后台技术栈
项目管理软件是整个业务的需求,问题,流程等等的集中地,大家的跨部门沟通协同大多依赖于项目管理工具。有一些 SaaS 的项目管理服务可以使用,但是很多时间不满足需求,此时我们可以选择一些开源的项目,这些项目本 ...
分类:   
Steve Singh辞去Docker公司CEO一职
Steve Singh辞去Docker公司CEO一职
根据我们掌握的消息,Docker公司CEO Steve Singh在接掌企业两年之后,正计划辞去这一最高执行长职务。前Hortonworks公司CEO Rob Bearden将接替他的位置。此事已经在今早一封发送给Docker公司员工的邮件公告当中得到 ...
分类:   
分布式架构中数据一致性常见的几个问题
分布式架构中数据一致性常见的几个问题
针对分布式架构下的数据一致性,大家也许会问这样的问题:跨系统间分布式事务如何解决?系统内多个服务的分布式事务如何解决?一个服务内多个数据源/数据库的分布式事务如何解决?……这些问题大家是很容易理解的, ...
分类:   
5 月编程语言排行榜:Java第一,R跌出Top20
5 月编程语言排行榜:Java第一,R跌出Top20
近日,TIOBE 发布了 5 月份编程语言排行榜。排名前三的,还是几乎万年不变的 Java、C、C++,第四和第五为 Python 和 VB .NET。本月最值得的关注,之前持续在 Top 20 大约有 3 年的 R 语言掉出了 Top 20。按理说,统 ...
分类:   
编程界最厉害的14位程序员
编程界最厉害的14位程序员
前段时间,笔者分享了 代码世界值得你珍藏的 72 张面孔 ,今天来聊聊全球最厉害的14位程序员。让我们一起膜拜一下这些大神,排名不分先后。01 Jon Skeet个人名望:程序技术问答网站Stack Overflow总排名第一的大神, ...
分类:   
福利 | DTCC数据库技术大会,推出99元版经济寒冬单日限量票
福利 | DTCC数据库技术大会,推出99元版经济寒冬单日限量票
中国数据库技术大会的DTCC会务组特别推出只需要支付99元,就可获取单日的10个专场,超过50个精彩的演讲主题的门票抢购活动......
分类:   
ASC八年: 超算和AI将成为智能时代中的最强伴侣
ASC八年: 超算和AI将成为智能时代中的最强伴侣
超算和人工智能不再是平行线。自2013年以来,中国超算一直在全球超级计算机排名中位居第一,直到去年6月美国发布了“Summit”,重新回到了超算领域的顶峰。这台超级计算机是由IBM在英伟达帮助下开发,它的峰值计算能 ...
分类:   
官宣:Oracle Database 19.3 本地部署版正式发布
官宣:Oracle Database 19.3 本地部署版正式发布
Oracle Database 19c的设计目标为:向客户提供更加稳定、完善、自我优化的数据库。在该版本当中增加了90多个新特性,分布在应用开发,可用性、大数据等方面。Oracle Database 19c当中,有19个值得关注的领域,这些新 ...
分类:   
列式存储和行式存储它们真正的区别是什么
列式存储和行式存储它们真正的区别是什么
块遍历(Block Iteration)是相对于单记录遍历(per-tuple iteration)而言的,其实说白了就是一种批量化的操作。单记录遍历的问题在于对于每个条数据,我们都要从Row数据里面抽取出我们需要的column(针对Row-Store来说) ...
分类:   
Serverless五大优势,成本和规模不是最重要的,这点才是
Serverless五大优势,成本和规模不是最重要的,这点才是
为什么要改变架构?这个简单的架构似乎符合我们的要求,那么为什么对它做改进呢?关键在于未来开发和运维方面带来的一系列潜在的挑战和陷阱。在构建游戏时,需要具备 iOS 和 Java 开发方面的专业知识,以及配置,部 ...
分类:   
携程框架团队对于应用监控系统的探索与思考
携程框架团队对于应用监控系统的探索与思考
随着市场环境的变化以及国际化的进程,企业的各种对内、对外需求也日益增长。服务化的架构以及容器化的应用加速了各种功能、产品的迭代与更新。随之而来,我们也面临着一个不断膨胀,日渐复杂的系统。复杂度的成倍增 ...
分类:   
备战618,京东如何保障系统稳定性?
备战618,京东如何保障系统稳定性?
每年 618 的大促都是一场技术团队大练兵的时候。作为技术研发人员,在这场战斗中,加深了对线上系统的敬畏之心,通过系统的备战,在技术上也得到了提升。大战在即,如何保障系统稳定,我们的备战思路是什么?首先确 ...
分类:   
运维十年回顾:当前很多新技术的本质都是在解决运维问题
运维十年回顾:当前很多新技术的本质都是在解决运维问题
第一个阶段,人工作坊阶段,也就是我们遇到的所有运维问题,基本靠人工操作完成。这种情况下,系统规模不大,遇到的问题相对简单,大多集中在硬件、网络和系统层面,所以有一定操作系统或网络维护经验的人就可以搞定 ...
分类:   
Java 失宠于 Oracle?
Java 失宠于 Oracle?
在 Python、JavaScript 等一众编程语言崛起风靡之际,一代霸主 Java 风采虽不及当年,但仍横扫了各大编程语言排行榜,也依旧是各大企业级应用开发语言中的 NO.1。不过,有不少网友发现,即使如此,Java 之于其母公司 ...
分类:   
世界将再次巨变,量子计算机将落地!
世界将再次巨变,量子计算机将落地!
2018年3月,谷歌公司量子人工智能实验室发布72量子比特通用处理器"狐尾松"(Bristlecone),单量子比特门错误率仅0.1%,双量子比特门错误率仅0.6%。业界公认当一台量子计算机的可操纵量子比特超过50时,即可拥有 ...
分类:   
gitlab+jenkins打造ceph的rpm自动编译
gitlab+jenkins打造ceph的rpm自动编译
需要添加的插件:Gitlab Hook、Build Authorization Token Root、Gitlab Authentication、Gitlab。新建一个自由风格的软件项目,输入"rpmbuilid_ceph",之后在源码管理里面选择git,输入之前新建的gitlab项目信 ...
分类:   
阿里、百度、腾讯都选择 Flink,它到底有什么魔力?
阿里、百度、腾讯都选择 Flink,它到底有什么魔力?
从媒体的最新资讯推送,到购物狂欢的实时数据大屏,实时计算已经应用到了多个生活、工作场景,随着业务的快速增长,我们对实时计算的需求越来越高。可用于实时计算的开源大数据计算引擎有多种选择,比如 Storm、Samz ...
分类:   
25 年后再次采访 Linux 之父
25 年后再次采访 Linux 之父
1994 年,《Linux Journal》创刊。当时杂志的特写文章是杂志的第一位发行人 Robert Young(后来与人联合创办了Red Hat)对 Linus Torvalds(Linux 内核的作者)的采访。25 年之后,两人再度坐到了一起,就 Linus 本 ...
分类:   
旧金山或成为美国「禁止人脸识别软件」的第一个城市
旧金山或成为美国「禁止人脸识别软件」的第一个城市
16日,旧金山通过了对《停止秘密监视》条例所作的一些修订,离成为美国第一个禁止使用人脸识别软件的城市更近了一步。监事兼规则委员会主席AaronPeskin表示,该条例将先征集公众意见,之后由县监事会投票表决。正如P ...
分类:   
微软重磅发布新语言Bosque,超越结构化编程
微软重磅发布新语言Bosque,超越结构化编程
20 世纪 70 年代,结构化编程和抽象数据类型的兴起代表了编程语言的重大转变。这些方法代表了从反映底层硬件体系结构附带特性的编程模型,开始转向更直接地强调程序员意图的模型。这种转变同时使开发人员更容易地将 ...
分类:   
万字详解Oracle架构、原理、进程,学会世间再无复杂架构
万字详解Oracle架构、原理、进程,学会世间再无复杂架构
对于一个数据库系统来说,假设这个系统没有运行,我们所能看到的和这个数据库相关的无非就是几个基于操作系统的物理文件,这是从静态的角度来看,如果从动态的角度来看呢,也就是说这个数据库系统运行起来了,能够对外 ...
分类:   
E级超算+深度学习,点亮癌症精准治疗之路
E级超算+深度学习,点亮癌症精准治疗之路
美国疾病预防与控制中心发布的最新发病率数据显示,癌症是美国民众的第二大致死原因,仅次于心脏病。沉重的统计数据让人感到沮丧。然而,最近我们迎来了抗癌的曙光,由专业研究团队牵头的“癌症分布式学习环境(CANDL ...
分类:   
让Elasticsearch飞起来!百亿级实时查询优化实战
让Elasticsearch飞起来!百亿级实时查询优化实战
最近的一个项目是风控过程数据实时统计分析和聚合的一个 OLAP 分析监控平台,日流量峰值在 10 到 12 亿上下,每年数据约 4000 亿条,占用空间大概 200T。面对这样一个数据量级的需求,我们的数据如何存储和实现实时 ...
分类:   
Kubernetes 2018 年度简史
Kubernetes 2018 年度简史
Kubernetes 在过去几年中一直是云计算领域最著名的开源项目之一。2018 年,Kubernetes 度过了自己的 4 岁生日。从 2014 年开源,到如今成功从 CNCF 孵化,它已成为容器编排的事实标准。虽然 Kubernetes 还很年轻,但 ...
分类:   
一文梳理 RedHat 和 CentOS 运维中的网络知识
一文梳理 RedHat 和 CentOS 运维中的网络知识
在很多公司,岗位职责都是很明确的,专职转岗,每人或者每组负责一块业务。系统运维岗基本上在IT架构上相对偏后一些,该岗位和网络管理岗基本上是平行的。因为今天咱们说的是系统运维方面网络方面的事情,或多或少都 ...
分类:   
基于 HTTP 协议的 3 种实时数据获取技术
基于 HTTP 协议的 3 种实时数据获取技术
HTTP协议是建立在TCP协议上的应用层协议,协议的本质是请求----应答:即对于HTTP协议来说,服务端给一次响应后整个请求就结束了,这是HTTP请求最大的特点,也是由于这个特点,HTTP请求无法做到的是服务端向客户端主 ...
分类:   
如何画出一张合格的技术架构图?
如何画出一张合格的技术架构图?
架构就是对系统中的实体以及实体之间的关系所进行的抽象描述,是一系列的决策。架构是结构和愿景。系统架构是概念的体现,是对物/信息的功能与形式元素之间的对应情况所做的分配,是对元素之间的关系以及元素同周边 ...
分类:   
我是如何把5万行C++代码移植到Go的?
我是如何把5万行C++代码移植到Go的?
从商业角度来看,这个项目是成功的:重写工作提前完成;性能在可接受的范围之内;并且整体代码量不超过 1W 行(代码量的剧减主要是因为重写团队删除了一些过时的或者不需要的特性)。但从开发者的角度来看,作者认为 ...
分类:   
C++ 力压 Python 进入最受欢迎编程语言前三
C++ 力压 Python 进入最受欢迎编程语言前三
发布新的语言定义 C++ 0x 的复杂性和延迟让 C++ 成功回春。这个新的语言标准最终在 2011 年发布后被命名为 C++ 11,它使这一编程语言变得更简单、更安全,同时也更具表现力。由于社区必须等待适当的编译器支持,所以 ...
分类:   

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2019-8-20 06:47 , Processed in 0.225272 second(s), 19 queries .