炼数成金 大数据
订阅

大数据

GitHub 封杀「美国贸易制裁国家」的开发人员
GitHub 封杀「美国贸易制裁国家」的开发人员
如果你在面临美国制裁的国家/地区使用GitHub的在线服务,可能将被封杀,只能享用最基本的服务。在微软旗下的GitHub“限制”住在乌克兰克里米亚地区的一名开发人员的帐户后,人们开始围绕言论自由展开了争论,这名开 ...
分类:   
一年时间打造全球最大规模之一的Kubernetes集群,蚂蚁金服怎么做到的
一年时间打造全球最大规模之一的Kubernetes集群,蚂蚁金服怎么做到的
云原生的核心理念是让应用无差别运行在任何一朵云上,即将应用变成云的 “原住民”。而蚂蚁金服的 Kubernetes 开发团队在项目开始时需要思考的是如何将 Kubernetes 云原生化的运行在各个机房,并在没有任何基础设施 ...
分类:   
优于现有量子计算机性能 日本量子退火机真有这么牛?
优于现有量子计算机性能 日本量子退火机真有这么牛?
日本国立情报学研究所等机构证实,其开发的、采用新计算方式的高速计算机,拥有超过现有量子计算机的性能。这台计算机名为“Coherent Ising Machine”,其设计目的是为快速解决组合优化问题。这台新计算机的性能真能 ...
分类:   
突破!DNA 上的 SQL 查询已经成为现实
突破!DNA 上的 SQL 查询已经成为现实
几年前,连研究人员都不愿使用 DNA 来存储数据,觉得这么做太超前了,不具有任何实用价值。今天,你可以使用合适的软件和生化模块来扩展 PostgreSQL,并在 DNA 上运行 SQL。当下全世界的数据浪潮来势凶猛,不仅超出 ...
分类:   
阿里 10 PB/天日志系统设计和实现
阿里 10 PB/天日志系统设计和实现
为了定位问题,往往需要登录机器,查看各种散落的信息,有时候为了简便, pssh + grep 的命令组合,来查询日志,而这样的操作也存在风险,当系统负载本身较高时,全量扫描操作可能把机器直接打死。当时一个简单的想 ...
分类:   
时至今日,为何C语言仍在软件开发领域占据统治性地位?
时至今日,为何C语言仍在软件开发领域占据统治性地位?
对于计算机编程语言来说,没有什么技术能流传使用 50 年,除非它比其他的都好用。C 语言于 1972 年面世,如今在软件世界仍保持着基本底层开发的主流语言的地位。但有时一个技术能被长久的流传使用, 只是因为人们还 ...
分类:   
NoOps:IT完全自动化运营之路
NoOps:IT完全自动化运营之路
自动化领域的IT领导者正在关注和探索无人值守运营环境的可能性。但是DevOps的这种演变实现起来绝非易事。自动化已经成为一种在简化IT运营中广泛使用的工具,Mindtree就是这样一个组织,它从基础设施中移除手动流程, ...
分类:   
百亿流量微服务网关的设计与实现
百亿流量微服务网关的设计与实现
其实,网关跟面向服务架构和微服务架构有很深的渊源。十多年以前,银行等金融机构完成全国业务系统大集中以后,分散的系统都变得集中,也带来了各种问题:业务发展过快如何应对,对接系统过多如何集成和管理。为了解 ...
分类:   
除了海底、山洞 在数据中心节能这件事上还有哪些灵感?
除了海底、山洞 在数据中心节能这件事上还有哪些灵感?
一年前,我在播报微软在海底建设数据中心的新闻时,还是很震惊的,感叹在解决数据中心能耗问题上,行业内真是用尽办法,后来就陆续看到北极圈构建数据中心,腾讯在山洞构建数据中心等各种创意实践。互联网公司建立在 ...
分类:   
记一次Linux被入侵,服务器变“矿机”全过程
记一次Linux被入侵,服务器变“矿机”全过程
周一早上刚到办公室,就听到同事说有一台服务器登陆不上了,我也没放在心上,继续边吃早点,边看币价是不是又跌了。不一会运维的同事也到了,气喘吁吁的说:我们有台服务器被阿里云冻结了,理由:对外恶意发包。我放 ...
分类:   
中国跨过数据库这座大山了吗?
中国跨过数据库这座大山了吗?
今年5月甲骨文中华区大规模的裁员,就是中国跨过数据库这座大山造成的局部“山体滑坡”。在09年以前,甲骨文Oracle可以说是世界数据库的强者,占据着绝对的霸主地位。但是放在10年后,在2019年就已经被崛起的云数据 ...
分类:   
Ceph部署在Centos7上简明摘要
Ceph部署在Centos7上简明摘要
Ceph是一个可靠地、自动重均衡、自动恢复的分布式存储系统,根据场景划分可以将Ceph分为三大块,分别是对象存储、块设备存储和文件系统服务。在虚拟化领域里,比较常用到的是Ceph的块设备存储,比如在OpenStack项目 ...
分类:   
除了负载均衡,Nginx还可以做限流、缓存、黑白名单……
除了负载均衡,Nginx还可以做限流、缓存、黑白名单……
Nginx擅长处理静态文件,是非常好的图片、文件服务器。把所有的静态资源的放到nginx上,可以使应用动静分离,性能更好。Nginx通过反向代理可以实现服务的负载均衡,避免了服务器单节点故障,把请求按照一定的策略转 ...
分类:   
程序员该如在低代码和无代码开发中抉择?
程序员该如在低代码和无代码开发中抉择?
对于一个人第一次是如何了解低代码/无代码这两种开发方式,我总是充满好奇。这就是为什么我觉得贸易展会是如此有趣的原因;因为我可以拿同样的问题问每一个走进你的展台的人们。通常这是我问他们的第一个问题,当然 ...
分类:   
Kubernetes 预测性集群伸缩
Kubernetes 预测性集群伸缩
Kubernetes 本身有很多方面的 scaling,包括 Pod 的垂直扩展和集群物理节点的扩展等。今天我想介绍的是 Cluster-Autoscaler 用于物理节点的扩展。如果大家经常关注 Kubernetes scaling 相关的一些 talk,应该会比较 ...
分类:   
PostgreSQL 隐式类型转换探秘
PostgreSQL 隐式类型转换探秘
数据表t_cast中的id列类型为int,执行第一条SQL没有出错,第二条SQL则出错,错误信息为没有相匹配的operator,给出的HINT为添加显式类型转换。对于熟悉Oracle数据库的同学来说,不禁会产生疑问:’1’和’1’::text ...
分类:   
MySQL高可用方案升级规划
MySQL高可用方案升级规划
这两天在梳理MySQL高可用方案的升级计划,发现要做的事情还真不少。我们目前有新系统和老系统,老系统因为历史原因使用的是MySQL 5.5版本,新系统有了整体的规划,使用的是MySQL 5.7版本。
分类:   
Gartner 2018年度全球公有云市场前五:AWS、Azure、阿里云、谷歌云、IBM云
Gartner 2018年度全球公有云市场前五:AWS、Azure、阿里云、谷歌云、IBM云
7月10日,权威研究机构Gartner发布全球云计算市场数据,2018年阿里云全球市场份额增长近一倍,在全球市场“坐三望二”。分析师认为阿里云研发投入近乎激进,建立起全球最丰富技术产品矩阵,带来强劲增长。据Gartner ...
分类:   
SQL on Hadoop在快手大数据平台的实践与优化
SQL on Hadoop在快手大数据平台的实践与优化
SQL on Hadoop,顾名思义它是基于Hadoop生态的一个SQL引擎架构,我们其实常常听到Hive、SparkSQL、Presto、Impala架构,接下来,我会简单的描述一下常用的架构情况。HIVE,一个数据仓库系统。它将数据结构映射到存储 ...
分类:   
分布式模式将给企业的岗位职责带来哪些变化?
分布式模式将给企业的岗位职责带来哪些变化?
什么是分布式?一个企业两套系统是否可以看作一个分布式部署?一套系统两个数据库、计算和存储分离、一个数据库部署在多个物理机是否可视为分布式部署?这里我们不纠结于场景或者实现形式的差异 , 从本质上看问题。
分类:   
Linux 流编辑器 sed 详解
Linux 流编辑器 sed 详解
Linux 中,常使用流编辑器 sed 进行文本替换工作。与常使用的交互式编辑器(如vim)不同,sed 编辑器以批处理的方式来编辑文件,这比交互式编辑器快得多,可以快速完成对数据的编辑修改。在 sed 编辑器匹配完一行数 ...
分类:   
使用Spring 5实现响应式微服务架构,简洁版来了
使用Spring 5实现响应式微服务架构,简洁版来了
随着以Dubbo、Spring Cloud等框架为代表的分布式服务调用和治理工具的大行其道,以及以Docker、Kubernetes等容器技术的日渐成熟,微服务架构(Microservices Architecture)毫无疑问是近年来最热门的一种服务化架构 ...
分类:   
金融行业微服务架构解析
金融行业微服务架构解析
对于微服务,每个人都有自己的理解,与互联网企业的大量落地相比,微服务在传统金融行业还没有普及,这首先是传统金融行业线上系统需求更新和版本迭代没有互联网公司那么频繁;其次是技术能力约束了新技术的落地;再 ...
分类:   
一个监控系统的诞生
一个监控系统的诞生
监控,从中文的字义来看,有两个内容,一是监测,二是控制,重点在第一个字眼“监”上,即监测、预防的意思。监控,对应的英文单词是Monitoring。按照维基百科对于Monitoring的分类,在计算机领域,可以将其分为应用 ...
分类:   
2019 年,Hadoop 还是数据处理的可选方案吗?
2019 年,Hadoop 还是数据处理的可选方案吗?
Apache Hadoop 是提供“可靠的、可扩展的、分布式计算”的开源框架, 它基于 Google 2003 年发布的白皮书 “MapReduce:针对大数据的简化数据处理”(点击获取),在 2006 问世。接下来,越来越多的工具(如 Yahoo ...
分类:   
系统运行缓慢,CPU 100%,Full GC次数过多,这一招帮你全搞定!
系统运行缓慢,CPU 100%,Full GC次数过多,这一招帮你全搞定!
处理过线上问题的同学基本上都会遇到系统突然运行缓慢,CPU 100%,以及Full GC次数过多的问题。当然,这些问题的最终导致的直观现象就是系统运行缓慢,并且有大量的报警。本文主要针对系统运行缓慢这一问题,提供该 ...
分类:   
最新数据库排行:Oracle 分数增长最多,Redis 持续下降
最新数据库排行:Oracle 分数增长最多,Redis 持续下降
总体排名依旧是没有什么变化,虽然分数基本都有所增加,但可以看到,和去年同时期的相比,今年增加的分数稍显疲软。哪怕是分数增长最多的 Oracle,在 6 月也只是增加了 22.04 分。至于其他数据库,分数方面没有亮眼 ...
分类:   
Azure 云服务 Linux 使用率超过了 Windows
Azure 云服务 Linux 使用率超过了 Windows
微软开发人员透露:现在Linux在Azure上用得比Windows Server还多!现在Linux称霸所有云,包括微软自己的Azure。三年半前,微软云Azure的首席技术官Mark Russinovich说:“四分之一的实例是Linux。”后来在2017年,微 ...
分类:   
大数据架构如何做到流批一体?
大数据架构如何做到流批一体?
现在已经有越来越多的行业和技术领域需求大数据分析系统,例如金融行业需要使用大数据系统结合 VaR(value at risk) 或者机器学习方案进行信贷风控,零售、餐饮行业需要大数据系统实现辅助销售决策,各种 IOT 场景需 ...
分类:   
谁在“谋杀” Hadoop?
谁在“谋杀” Hadoop?
在 Hadoop 的发展史上,有三家公司不得不提,分别是 Cloudera、Hortonworks 和 MapR。Cloudera 是第一家 Hadoop 商业化公司,成立于 2008 年 8 月,创始人来自 Google、FaceBook 和 Yahoo!,其首席架构师 Doug Cutti ...
分类:   

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2019-10-19 17:12 , Processed in 0.184284 second(s), 19 queries .