炼数成金 大数据
订阅

大数据

CentOS 创始人创建新项目 Rocky Linux
CentOS 创始人创建新项目 Rocky Linux
CentOS 是 Red Hat Enterprise Linux(RHEL)的一个分支,并且由于其坚如磐石的稳定性和兼容性,无疑是在生产服务器上部署的一种流行选择。CentOS 是一个社区驱动的项目,是 RHEL 的分支,并作为 Red Hat Enterprise ...
分类:   
“MySQL Analytics Engine”来了
“MySQL Analytics Engine”来了
12月2日,Oracle在其官网正式推出“MySQL Database Service with Analytics Engine”。作为MySQL产品的一个重大增强,这一特性颇引人注目。周末抽空做了个简单了解,各位从中可窥其一二。MySQL,作为最为流行的一款 ...
分类:   
被弃用的 Docker 会被 Podman 取代吗?
被弃用的 Docker 会被 Podman 取代吗?
近日,Kubernetes 团队发布了最新的 1.20 版本,新版本更新了许多内容:存储卷快照功能趋于稳定;Kubectl Debug 进入 Beta;Beta:API 优先级和公平性;IPV4/IPV6 Alpha 功能更新;GA:限制进程 PID;Dockershim 弃 ...
分类:   
CentOS 并没有死
CentOS 并没有死
CentOS 官方发文称 CentOS Stream 才是 CentOS 项目的未来,在接下来的一年里,将逐步把开发工作的重心从 CentOS Linux 往 CentOS Stream 转移。随之而来的改变是原本拥有 10 年支持的 CentOS 8 将在2021年年底结束 ...
分类:   
TIOBE12月榜单:Java重回第二,Python有望四连冠年度语言
TIOBE12月榜单:Java重回第二,Python有望四连冠年度语言
TIOBE 将在下个月公布 2020 年的年度编程语言,一年内排名率增长最高的编程语言将获得这一称号。目前,Python 以 +1.90% 数据遥遥领先。其次分别是 C++(+0.71%)、R(+0.60%)和 Groovy(+0.69%)。TIOBE CEO Paul ...
分类:   
HBase数据迁移到Kafka?这种逆向操作你懵逼了吗?
HBase数据迁移到Kafka?这种逆向操作你懵逼了吗?
在实际的应用场景中,数据存储在HBase集群中,但是由于一些特殊的原因,需要将数据从HBase迁移到Kafka。正常情况下,一般都是源数据到Kafka,再有消费者处理数据,将数据写入HBase。但是,如果逆向处理,如何将HBase ...
分类:   
如何搭建一个大数据平台:从新项目到成熟阶段
如何搭建一个大数据平台:从新项目到成熟阶段
在业务增涨过程中,每个企业不知不觉积累积累了一些数据。无论数据是多是少,企业都希望让“数据说话”,通过对数据的采集、存储、分析、计算最终提供对业务有价值信息。此时,大数据平台的搭建就是企业面临的问题, ...
分类:   
Mirantis及时现身,接过Kubernetes dockershim支持大旗
Mirantis及时现身,接过Kubernetes dockershim支持大旗
关于dockershim即将灭亡的传言无疑存在严重夸大。如果一直有关注Kubernetes生态系统,很多朋友一时之间可能确实被Kubernetes 1.20版本的发布公告弄得有点不知所措。从公告内容来看,自1.20版本开始dockershim将被全 ...
分类:   
中国「九章」问世,超越谷歌「量子霸权」!潘建伟携90后团队登上Science
中国「九章」问世,超越谷歌「量子霸权」!潘建伟携90后团队登上Science
「量子霸权」再次被实现了吗?今日凌晨,国际著名学术期刊Science刊登了来自中国科学技术大学潘建伟、陆朝阳等研究团队的重磅成果。根据现有理论,其速度比目前世界排名第一的超级计算机日本「富岳」快一百万亿倍, ...
分类:   
惊了! MySQL 热冷数据分离设计还能这样!
惊了! MySQL 热冷数据分离设计还能这样!
数据量的增长其实一直是随着互联网的发展呈现爆发式增长的,因为各种各样的数据都在不断的被原样或者是经过少量的更改和增补后拷贝到互联网的各个角落。为了适应互联网数据的海量增长,在后端和架构意义上而言,数据 ...
分类:   
什么是“ 量子优越性 ”?
什么是“ 量子优越性 ”?
量子计算机是指利用原子、电子等微观物质遵循的物理学规律——“量子力学”的性质去实现计算的计算机。人们一直期待着通过利用微观物质的一些不可思议的性质,来实现远超现有计算机的计算速度。量子计算机一旦实用化 ...
分类:   
分布式搜索引擎Elasticsearch的架构分析
分布式搜索引擎Elasticsearch的架构分析
ES(Elasticsearch下文统一称为ES)越来越多的企业在业务场景是使用ES存储自己的非结构化数据,例如电商业务实现商品站内搜索,数据指标分析,日志分析等,ES作为传统关系型数据库的补充,提供了关系型数据库不具备 ...
分类:   
什么?Kubernetes已然弃用Docker?
什么?Kubernetes已然弃用Docker?
目前,kubelet中的Docker支持功能现已弃用,并将在之后的版本中被删除。Kubelet之前使用的是一个名为dockershim的模块,用以实现对Docker的CRI支持。但Kubernetes社区发现了与之相关的维护问题,因此建议大家考虑使 ...
分类:   
Rust可太香了!AWS为此拿下其编译器团队负责人
Rust可太香了!AWS为此拿下其编译器团队负责人
近日,AWS发表的一篇文章表达了对 Rust 的热情,概述了自己接受该语言的几种方式。AWS 的 Matt Assay 写道,该公司越来越多地使用 Rust 构建诸如 Firecracker VMM 等关键基础设施,凭借其开箱即用的功能降低达到预期 ...
分类:   
如何用Prometheus监控十万container的Kubernetes集群
如何用Prometheus监控十万container的Kubernetes集群
Prometheus依靠其强劲的单机性能,灵活的PromSQL,活跃的社区生态,逐渐成为云原生时代最核心的监控组件,被全球各大产商用于监控他们的核心业务。然而,面对大规模监控目标(数千万series)时,由于原生Prometheus ...
分类:   
这个可能打败Python的编程语言,正在征服科学界
这个可能打败Python的编程语言,正在征服科学界
Julia 语言是近年来科学世界中出现的一匹黑马。物理学家 Lee Phillips 发表了一篇科普文章,介绍了这种科学计算语言的真正魅力所在。最近,我和许多科学家在网上视频见面了很多次,他们对一个新工具感到兴奋。它既不 ...
分类:   
记一次 Linux 被入侵全过程
记一次 Linux 被入侵全过程
服务器系统CentOS 6.X,部署了nginx,tomcat,redis等应用,上来先把数据库全备份到本地,然后top命令看了一下,有2个99%的同名进程还在运行,叫gpg-agentd。GPG提供的gpg-agent提供了对SSH协议的支持,这个功能可以 ...
分类:   
MySQL 的慢 SQL 该怎么优化?
MySQL 的慢 SQL 该怎么优化?
索引对大数据的查询速度的提升是非常大的,Explain可以帮你分析SQL语句是否用到相关索引。索引类似大学图书馆建书目索引,可以提高数据检索的效率,降低数据库的IO成本。MySQL在300万条记录左右性能开始逐渐下降,虽 ...
分类:   
ZooKeeper集群“脑裂”问题处理大全
ZooKeeper集群“脑裂”问题处理大全
ZooKeeper是用来协调(同步)分布式进程的服务,提供了一个简单高性能的协调内核,用户可以在此之上构建更多复杂的分布式协调功能。脑裂通常会出现在集群环境中,比如Elasticsearch、ZooKeeper集群,而这些集群环境 ...
分类:   
最受欢迎Java数据库访问框架大比拼,你独爱哪一款?
最受欢迎Java数据库访问框架大比拼,你独爱哪一款?
假设您正在开发一个Java程序,有许多办法可以让您的应用连上数据库。下面会列举各数据库访问框架的适用场景,相信能够帮您选到适合项目的开发框架。JOOQ提供了一种DSL来解决查询问题。这种语言基于生成的entity对象 ...
分类:   
C++之父:成功来自有效使用硬件,C++ 11是转折点
C++之父:成功来自有效使用硬件,C++ 11是转折点
近日,C++ 之父 Bjarne Stroustrup 接受采访,谈及 C++ 的设计思想,以及 C++ 发展历程的关键转折点。1979 年,还在贝尔实验室的 Bjarne Stroustrup 着手开发 C++ 语言。C++ 的出发点之一是改进 C 语言,增加了面向 ...
分类:   
前沿实践:垃圾回收器是如何演进的?
前沿实践:垃圾回收器是如何演进的?
工业界的垃圾回收器,一般都是上篇中几种垃圾回收算法的组合实现。下图中列举了最常见及最新的几种垃圾回收器,大多数的垃圾回收器均采用了分代设计(或者适用于分代场景),且一般有固定的搭配使用模式,每种垃圾回 ...
分类:   
深度剖析不一样的Redis架构设计!
深度剖析不一样的Redis架构设计!
一般情况下,数据都是在数据库中,应用系统直接操作数据库。当访问量上万,数据库压力增大,这个时候,怎么办呢?有小伙伴会说,分库分表、读写分离。的确,这些确实是解决比较高的访问量的解决办法,但是,如果访问 ...
分类:   
Spark Operator 初体验
Spark Operator 初体验
目前企业级的大数据应用主流还是采用Yarn或者Mesos来进行资源分配和运行调度的,例如我行目前采用Yarn来进行作业调度,并使用HDFS作为大数据的存储平台,这是典型的计算和存储紧耦合的模式,这种方案是通过数据本地 ...
分类:   
微服务架构:注册中心ZooKeeper、Eureka、Consul 、Nacos 对比!
微服务架构:注册中心ZooKeeper、Eureka、Consul 、Nacos 对比!
服务注册中心本质上是为了解耦服务提供者和服务消费者。对于任何一个微服务,原则上都应存在或者支持多个提供者,这是由微服务的分布式属性决定的。更进一步,为了支持弹性扩缩容特性,一个微服务的提供者的数量和分 ...
分类:   
2020年11月DB-Engines排行:Oracle归零年内涨幅 PostgreSQL增长第一独秀
2020年11月DB-Engines排行:Oracle归零年内涨幅 PostgreSQL增长第一独秀
2020年11月,DB-Engines 流行度排行已经出炉,本月前十名的位置上,Redis 上升一位,和 Elasticsearch 交换了位置,其他数据库产品位次保持不变。在11月的排行榜上,分数下降的居多,前十位仅有 3个 数据库产品录得 ...
分类:   
Ubuntu 被曝严重漏洞,攻击者可轻松获取 root 权限
Ubuntu 被曝严重漏洞,攻击者可轻松获取 root 权限
近日,GitHub 安全研究员 Kevin Backhouse 发现了 Ubuntu 20.04(一个长期支持版本)中的漏洞,该漏洞可以使任何桌面用户无需系统密码,即可添加新的 sudo 用户,并获得 root 访问权限。Backhouse 指出,利用该漏洞 ...
分类:   
因为一次 Kafka 宕机,我明白了 Kafka 高可用原理!
因为一次 Kafka 宕机,我明白了 Kafka 高可用原理!
Kafka宕机引发的高可用问题,问题要从一次Kafka的宕机开始说起。笔者所在的是一家金融科技公司,但公司内部并没有采用在金融支付领域更为流行的 RabbitMQ ,而是采用了设计之初就为日志处理而生的 Kafka ,所以我一 ...
分类:   
64岁Python之父:我不退休了,我要去微软
64岁Python之父:我不退休了,我要去微软
几个小时前,Python 之父 Guido van Rossum 宣布了他已经加入微软的消息。去年 10 月,Van Rossum 在 Dropbox 公司工作了六年半后决定退休。在大多数顶级程序员都享受退休生活的时代,现年 64 岁的 van Rossum 决定 ...
分类:   
一次看完28个关于ES的性能调优技巧
一次看完28个关于ES的性能调优技巧
Elasticsearch默认被配置为使用单播发现,以防止节点无意中加入集群。组播发现应该永远不被使用在生产环境了,否则你得到的结果就是一个节点意外的加入到了你的生产环境,仅仅是因为他们收到了一个错误的组播信号。E ...
分类:   

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2021-3-3 03:31 , Processed in 0.135391 second(s), 19 queries .