炼数成金 大数据
订阅

大数据

Flink 原理与实现:Table & SQL API
Flink 原理与实现:Table & SQL API
Flink 已经拥有了强大的 DataStream / DataSet API,可以基本满足流计算和批计算中的所有需求。为什么还需要 Table & SQL API 呢?首先 Table API 是一种关系型 API,类 SQL 的 API,用户可以像操作表一样地操作数 ...
分类:   
堡垒机哲学史
堡垒机哲学史
那时候,数据中心的运维管理人员的技术水平还处于 “社会主义初级阶段“,经常会出现一些低级的误操作,导致网站突然无法正常访问,解决问题基本靠在人堆里吼一声 “谁TM干的”。痛苦在于,误操作而导致的运维事故极 ...
分类:   
“王者对战”之 MySQL 8 vs PostgreSQL 10
“王者对战”之 MySQL 8 vs PostgreSQL 10
过去经常会说 MySQL 最适合在线事务,PostgreSQL 最适合分析流程。但现在不是了。公共表表达式(CTEs) 和窗口函数是选择 PostgreSQL 的主要原因。但是现在,通过引用同一个表中的 boss_id 来递归地遍历一张雇员表,或 ...
分类:   
TensorFlow 等“开源陷阱",会掐住中国 AI 企业的命门吗?
TensorFlow 等“开源陷阱",会掐住中国 AI 企业的命门吗?
近来美国基于出口管制条例(EAR)规范,要求多个不同领域的企业、组织不得与特定的中国企业往来,这其中除了已为外界所知的原料、芯片、零部件、软件以外,也包括不同形式的技术标准与产业联盟组织。这些企业或组织 ...
分类:   
Linux 与 Unix 到底有什么不同?
Linux 与 Unix 到底有什么不同?
如果你是一名20多岁或30多岁的软件开发人员,那么你已成长在一个由Linux主导的世界中。数十年来,它一直是数据中心的重要参与者,尽管很难找到明确的操作系统市场份额的报告,但Linux在数据中心操作系统上的份额可能 ...
分类:   
浅谈几种常见 RAID 的异同
浅谈几种常见 RAID 的异同
RAID 0 可用于两个或更多硬盘或 SSD。目标是提高读的性能。数据以特定大小(通常为 64KB)的块写入,并在可用驱动器中平均分配。下图显示了带有三个硬盘的 RAID 0 阵列的示意图。RAID 控制器将第一个数据块写入硬盘 ...
分类:   
5G牌照正式发放!中国为什么不是第一个5G商用国家?
5G牌照正式发放!中国为什么不是第一个5G商用国家?
6月6日早上消息,工信部在预告消息发布三天后,正式向三大运营商和广电颁发5G牌照。这也就意味着,相较于之前2020年5G商用表,中国的5G商用时间整整提速了一年,我国将成为自韩国、美国、瑞士、英国之后,全球第五个 ...
分类:   
评估磁盘性能的几个指标
评估磁盘性能的几个指标
IOPS (Input/Output Per Second)即每秒的输入输出量(或读写次数),是衡量磁盘性能的主要指标之一。IOPS是指单位时间内系统能处理的I/O请求数量,一般以每秒处理的I/O请求数量为单位,I/O请求通常为读或写数据操作请 ...
分类:   
五个 PostgreSQL 典型故障案例及处理
五个 PostgreSQL 典型故障案例及处理
PostgreSQL 是一个免费数据库,对于处理分析型+交易型混合型系统来说确实很不错,特别是版本的升级到11.2后性能提升很多,很多运行机制跟Oracle越来越接近,确实很强大,但是开源系统确实存在一些不如意地方,需要长 ...
分类:   
2019年6月数据库流行度排行:哪些数据库还可以过儿童节?
2019年6月数据库流行度排行:哪些数据库还可以过儿童节?
在过去的 5月,Oracle公司可谓风起云涌。这家公司经历了业界瞩目的裁员计划,中国区的研发中心被裁撤(报道称影响 1500个岗位),而随后不久,又传出西雅图裁员300人。这家转型中的巨头一时倍受瞩目,尤其是在中美贸 ...
分类:   
非Flink不可?构建实时数据集成平台,这4个因素怎能不注意!
非Flink不可?构建实时数据集成平台,这4个因素怎能不注意!
随着企业应用复杂性的上升和微服务架构的流行,数据正变得越来越以应用为中心。服务之间仅在必要时以接口或者消息队列方式进行数据交互,从而避免了构建单一数据库集群来支撑不断增长的业务需要。以应用为中心的数据 ...
分类:   
DataOps崛起:数据治理需要重建!
DataOps崛起:数据治理需要重建!
最近 Gartner 的一篇 研究发现,组织认为糟糕的数据质量平均每年会带来 1500 万美元的损失。GDPR 的第一个 罚款大单是法国数据管理局对谷歌的 5700 万美元罚金。Equifax 数据泄露已使 公司损失了 14 亿美元(总额还 ...
分类:   
成也数据库 败也数据库 Oracle如何云渡劫
成也数据库 败也数据库 Oracle如何云渡劫
一石激起千层浪,继中国区浩浩荡荡的大裁员告一段落之后,甲骨文并未因此收起手中的剪刀。据Business Insider上周报道称,在过去几周和几个月时间里,甲骨文解雇了西雅图办公室的数百名员工(据说有300人),这是甲 ...
分类:   
史上最全MySQL锁机制
史上最全MySQL锁机制
锁是计算机协调多个进程或线程并发访问某一资源的机制。因为数据也是一种供许多用户共享的资源,如何保证数据并发访问的一致性、有效性是所有数据库必须解决的一个问题,锁冲突也是影响数据库并发访问性能的一个重要 ...
分类:   
图文了解 Kafka 的副本复制机制
图文了解 Kafka 的副本复制机制
让分布式系统的操作变得简单,在某种程度上是一种艺术,通常这种实现都是从大量的实践中总结得到的。Apache Kafka 的受欢迎程度在很大程度上归功于其设计和操作简单性。随着社区添加更多功能,开发者们会回过头来重 ...
分类:   
下一个开源项目可能仅是一个接口
下一个开源项目可能仅是一个接口
我们可能会看到有更多的开放接口和元框架,但它们也有缺点。深度学习、无服务器功能和流处理有何共同之处?它们除了成为计算领域的大趋势之外,支持这些变化的开源项目正在以一种全新的、也许是独特的方式进行构建。 ...
分类:   
用Go语言编程的利与弊
用Go语言编程的利与弊
Go 语言有多火爆?国外如 Google、AWS、Cloudflare、CoreOS 等,国内如七牛、阿里等都已经开始大规模使用 Go 语言开发其云计算相关产品。在 Go 语言的使用过程中,需要注意哪些 Yes 和 But?最近,我们使用 Go 语言 ...
分类:   
五大核心构成的AIoT,正在遭遇三大挑战,两条突破口外还有什么?
五大核心构成的AIoT,正在遭遇三大挑战,两条突破口外还有什么?
近年来,物联网呈现突飞猛进的发展态势。根据中商情报网的数据,2018年全球物联网设备已经达到70亿台;到2020年,活跃的物联网设备数量预计将增加到100亿台,2025年将进一步增加到220亿台。全球物联网产业规模由2008 ...
分类:   
中国操作系统往事
中国操作系统往事
“如果他们突然断了我们的粮食,Android 系统不给我用了,Windows Phone 8系统也不给我用了,我们是不是就傻了?”2012年,华为创始人任正非曾在一场对话中这样谈到。7年以后,在整个科技行业中,无论是PC、还是移动 ...
分类:   
今天是 Java 诞生日,Java 24 岁了!
今天是 Java 诞生日,Java 24 岁了!
今天是 Java 诞生日,Java 今年 24 岁了,比栈长还年轻。。还有得搞,别慌!作为一名Java语言的学习者,对Java的起源和发展有个大概的了解应是必要的。1991年,Sun公司成立Green项目。Oak语言诞生。1992年11月,Sun ...
分类:   
权威解读 GitHub、Apache 疑云:主流开源软件究竟是否会被闭源?
权威解读 GitHub、Apache 疑云:主流开源软件究竟是否会被闭源?
近几日来,因基于美国 BIS 将华为列入管制“实体名单”,Google 将向华为停止软硬件及技术方面的合作,尽管本身已“开源”的 Android 系统部分依然可以使用,但Google 本身闭源的移动服务 (Google Mobile Service) ...
分类:   
开源应自由!Apache、OpenStack 基金会权威回应美国出口管制
开源应自由!Apache、OpenStack 基金会权威回应美国出口管制
受到美国 BIS 将华为列入管制“实体名单”事件的波及,业界关于开源及Apache 基金会的质疑声也越来越大:已“开源”的技术是否依然可以安心使用?强制“闭源”的背后又是否会让中国企业陷入覆灭的境地?——对此,Ap ...
分类:   
Nginx从理论到实践超详细笔记
Nginx从理论到实践超详细笔记
nginx里的高性能主要归咎于其相应特有的io多路复用。每当有请求发送过来的时候,请求的都会被放入到一个select队列里面,专门存储客户端的http链接信息,然后通过一个专门的选择器来处理轮询,监听客户端是否有发送 ...
分类:   
Python 2.7终结于7个月后,这是你需要了解的3.X炫酷新特性
Python 2.7终结于7个月后,这是你需要了解的3.X炫酷新特性
从 3.0 到 3.8,Python 3 已经更新了一波又一波,但似乎我们用起来和 2.7 没有太大区别?以前该怎么写 2.7 的代码现在就怎么写,只不过少数表达方式变了而已。在这篇文章中,作者介绍了 3.0 以来真正 Amazing 的新函 ...
分类:   
工行基于MySQL构建分布式架构的转型之路
工行基于MySQL构建分布式架构的转型之路
本文将介绍工行 IT 架构转型中,传统 OLTP 数据库架构面临的挑战和诉求,构建基于 MySQL 分布式企业级解决方案实践历程,包括技术选择、高可用设计、两地三中心容灾、运维管理、资源使用效率等方面的思考和实践经验 ...
分类:   
10 个 Docker 镜像安全最佳实践
10 个 Docker 镜像安全最佳实践
人们编写项目的 Dockerfile 时,经常使用一个通用的 Docker 容器镜像作为基础,例如 From Node 。 Node 镜像实际上是以一个完整安装的 Debian Stretch 发行版为基础,这意味着构建得到的项目容器镜像将包含一个完整 ...
分类:   
2.4G Wi-Fi和5G Wi-Fi各有什么优劣?
2.4G Wi-Fi和5G Wi-Fi各有什么优劣?
目前手机和路由器厂商在宣传的时候经常都会使用“双频”等概念,我们在连接WiFi网络的时候也经常会看到2.4G和5G的字样,同时许多情况下是否支持5G WiFi也成为了人们是否选择某款手机的重要参考依据。也许在许多人的 ...
分类:   
GitHub放出重大更新:加入免费软件包管理服务
GitHub放出重大更新:加入免费软件包管理服务
GitHub 的新功能为开发者们解决了大问题,在社交网络上,人们对于 Package Registry 表示出了极高的兴趣。当然,此前承担这种功能的 Maven Central 等产品看来也将因此而退休了。使用 GitHub Package Registry,你可 ...
分类:   
GitHub最热!码代码不得不知的所有定律法则
GitHub最热!码代码不得不知的所有定律法则
当谈到开发问题时,人们总会谈论各种定律。但对于大多数人来说,总有一些是你不了解的,这个问题就需要使用程序员最喜欢的方法解决了:最近 GitHub 上的一个「定律合集」项目突然登上了趋势榜第二位,Star 数上千, ...
分类:   
云游戏是真来了还是“狼来了”
云游戏是真来了还是“狼来了”
PC硬件发展史上,总是伴随着游戏的身影。《魔兽世界》《孤岛惊魂》《绝地求生》等一批游戏,直接推动着玩家对硬件设备进行更新换代,以适应此类顶级游戏对硬件性能的要求。然而,这样的模式或许将被终结。在今年于美 ...
分类:   

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2019-6-16 05:40 , Processed in 0.128019 second(s), 19 queries .