炼数成金 ›大数据

大数据

Kubernetes 预测性集群伸缩: Kubernetes 本身有很多方面的 scaling，包括 Pod 的垂直扩展和集群物理节点的扩展等。今天我想介绍的是 Cluster-Autoscaler 用于物理节点的扩展。如果大家经常关注 Kubernetes scaling 相关的一些 talk，应该会比较 ...; 分类: 虚拟化

PostgreSQL 隐式类型转换探秘: 数据表t_cast中的id列类型为int，执行第一条SQL没有出错，第二条SQL则出错，错误信息为没有相匹配的operator，给出的HINT为添加显式类型转换。对于熟悉Oracle数据库的同学来说，不禁会产生疑问：’1’和’1’::text ...; 分类: 数据库

MySQL高可用方案升级规划: 这两天在梳理MySQL高可用方案的升级计划，发现要做的事情还真不少。我们目前有新系统和老系统，老系统因为历史原因使用的是MySQL 5.5版本，新系统有了整体的规划，使用的是MySQL 5.7版本。; 分类: Mysql

Gartner 2018年度全球公有云市场前五：AWS、Azure、阿里云、谷歌云、IBM云: 7月10日，权威研究机构Gartner发布全球云计算市场数据，2018年阿里云全球市场份额增长近一倍，在全球市场“坐三望二”。分析师认为阿里云研发投入近乎激进，建立起全球最丰富技术产品矩阵，带来强劲增长。据Gartner ...; 分类: 云计算

SQL on Hadoop在快手大数据平台的实践与优化: SQL on Hadoop，顾名思义它是基于Hadoop生态的一个SQL引擎架构，我们其实常常听到Hive、SparkSQL、Presto、Impala架构，接下来，我会简单的描述一下常用的架构情况。HIVE，一个数据仓库系统。它将数据结构映射到存储 ...; 分类: Hadoop

分布式模式将给企业的岗位职责带来哪些变化？: 什么是分布式？一个企业两套系统是否可以看作一个分布式部署？一套系统两个数据库、计算和存储分离、一个数据库部署在多个物理机是否可视为分布式部署？这里我们不纠结于场景或者实现形式的差异 , 从本质上看问题。; 分类: 分布式系统

Linux 流编辑器 sed 详解: Linux 中，常使用流编辑器 sed 进行文本替换工作。与常使用的交互式编辑器（如vim）不同，sed 编辑器以批处理的方式来编辑文件，这比交互式编辑器快得多，可以快速完成对数据的编辑修改。在 sed 编辑器匹配完一行数 ...; 分类: Linux

使用Spring 5实现响应式微服务架构，简洁版来了: 随着以Dubbo、Spring Cloud等框架为代表的分布式服务调用和治理工具的大行其道，以及以Docker、Kubernetes等容器技术的日渐成熟，微服务架构（Microservices Architecture）毫无疑问是近年来最热门的一种服务化架构 ...; 分类: 架构

金融行业微服务架构解析: 对于微服务，每个人都有自己的理解，与互联网企业的大量落地相比，微服务在传统金融行业还没有普及，这首先是传统金融行业线上系统需求更新和版本迭代没有互联网公司那么频繁；其次是技术能力约束了新技术的落地；再 ...; 分类: 架构

一个监控系统的诞生: 监控，从中文的字义来看，有两个内容，一是监测，二是控制，重点在第一个字眼“监”上，即监测、预防的意思。监控，对应的英文单词是Monitoring。按照维基百科对于Monitoring的分类，在计算机领域，可以将其分为应用 ...; 分类: 架构

2019 年，Hadoop 还是数据处理的可选方案吗？: Apache Hadoop 是提供“可靠的、可扩展的、分布式计算”的开源框架，它基于 Google 2003 年发布的白皮书 “MapReduce：针对大数据的简化数据处理”（点击获取），在 2006 问世。接下来，越来越多的工具（如 Yahoo ...; 分类: Hadoop

系统运行缓慢，CPU 100%，Full GC次数过多，这一招帮你全搞定！: 处理过线上问题的同学基本上都会遇到系统突然运行缓慢，CPU 100%，以及Full GC次数过多的问题。当然，这些问题的最终导致的直观现象就是系统运行缓慢，并且有大量的报警。本文主要针对系统运行缓慢这一问题，提供该 ...; 分类: Java

最新数据库排行：Oracle 分数增长最多，Redis 持续下降: 总体排名依旧是没有什么变化，虽然分数基本都有所增加，但可以看到，和去年同时期的相比，今年增加的分数稍显疲软。哪怕是分数增长最多的 Oracle，在 6 月也只是增加了 22.04 分。至于其他数据库，分数方面没有亮眼 ...; 分类: 数据库

Azure 云服务 Linux 使用率超过了 Windows: 微软开发人员透露：现在Linux在Azure上用得比Windows Server还多！现在Linux称霸所有云，包括微软自己的Azure。三年半前，微软云Azure的首席技术官Mark Russinovich说：“四分之一的实例是Linux。”后来在2017年，微 ...; 分类: 云计算

大数据架构如何做到流批一体？: 现在已经有越来越多的行业和技术领域需求大数据分析系统，例如金融行业需要使用大数据系统结合 VaR(value at risk) 或者机器学习方案进行信贷风控，零售、餐饮行业需要大数据系统实现辅助销售决策，各种 IOT 场景需 ...; 分类: 架构

谁在“谋杀” Hadoop？: 在 Hadoop 的发展史上，有三家公司不得不提，分别是 Cloudera、Hortonworks 和 MapR。Cloudera 是第一家 Hadoop 商业化公司，成立于 2008 年 8 月，创始人来自 Google、FaceBook 和 Yahoo!，其首席架构师 Doug Cutti ...; 分类: Hadoop

不做中台会死吗？: 2015年，阿里彷佛又再次超前般地开启了对于企业战略管理模式的大变革。在2015年年末，阿里巴巴集体进行了一次组织架构大调整，将搜索事业部、共享业务平台、数据技术、产品部提出来，组成了“中台事业群”，并喊出“ ...; 分类: 架构

上云隐性成本坑人: 作为一项系统性工程，IT云化不是买几台服务器就可以，也不是单纯将物理机架在虚拟机上。要知道，不仅各自系统之间会有隔离，网络层面也要涉及复杂的拓扑关系，而且应用兼容性的话语权也掌握在不同的软件开发商手里， ...; 分类: 云计算

不管你爱与不爱，Java都在变得更好: TechRepublic 网站最近发布了一篇文章，讨论了开发者喜爱和讨厌的编程语言。结果很有意思，Java 既是第三大最受程序员喜爱的语言，也是第二大最受程序员讨厌的语言。很显然，作为一门编程语言，Java 出现了两极分化 ...; 分类: Java

树莓派4正式上线！「PC级」性能，支持4K双屏，仅售241: 6 月 24 日，树莓派悄然发布了第四代产品 Raspberry Pi 4。新一代开发板经过了从里到外的全面革新，得益于制程和架构的提升，4 代性能预计可比上代树莓派 3B+提升 2-4 倍。树莓派开发机构（Raspberry Pi Foundation ...; 分类: 树莓派

V 语言强势登顶 GitHub TOP1，欲取 Go 而代之？: 长久以来，编程语言在语法、语义和标准库等方面都存在着千差万别，使得程序员在选择时不得不面临着差异化等难题。自然选择下，就会有旧语言的淘汰（PHP 是个意外，至今还存在）和新语言的诞生。在 JetBrains 最新发 ...; 分类: 编程开发

华为的5G技术，源于这种数学方法: 近日，华为遭美国贸易制裁后，任正非的表态受到各大媒体关注。任正非对华为的 5G 技术充满了信心：“华为的 5G 是绝对不会受影响，在 5G 技术方面，别的国家两三年内肯定追不上华为。”值得注意的是，任正非在接受采 ...; 分类: 网络技术

Python与RFM分析实战: RFM是一种用于分析客户价值的方法。它通常用于数据库营销和直接营销，并在零售和专业服务行业受到特别关注。InvoiceNo：发票编号。定类数据，为每个事务唯一分配的6位整数。如果此代码以字母'c'开头，则表示取消 ...; 分类: Python

Flink 原理与实现：Table & SQL API: Flink 已经拥有了强大的 DataStream / DataSet API，可以基本满足流计算和批计算中的所有需求。为什么还需要 Table & SQL API 呢？首先 Table API 是一种关系型 API，类 SQL 的 API，用户可以像操作表一样地操作数 ...; 分类: 大数据

堡垒机哲学史: 那时候，数据中心的运维管理人员的技术水平还处于 “社会主义初级阶段“，经常会出现一些低级的误操作，导致网站突然无法正常访问，解决问题基本靠在人堆里吼一声 “谁TM干的”。痛苦在于，误操作而导致的运维事故极 ...; 分类: 安全

“王者对战”之 MySQL 8 vs PostgreSQL 10: 过去经常会说 MySQL 最适合在线事务，PostgreSQL 最适合分析流程。但现在不是了。公共表表达式(CTEs) 和窗口函数是选择 PostgreSQL 的主要原因。但是现在，通过引用同一个表中的 boss_id 来递归地遍历一张雇员表，或 ...; 分类: Mysql

TensorFlow 等“开源陷阱"，会掐住中国 AI 企业的命门吗？: 近来美国基于出口管制条例（EAR）规范，要求多个不同领域的企业、组织不得与特定的中国企业往来，这其中除了已为外界所知的原料、芯片、零部件、软件以外，也包括不同形式的技术标准与产业联盟组织。这些企业或组织 ...; 分类: 开源软件

Linux 与 Unix 到底有什么不同？: 如果你是一名20多岁或30多岁的软件开发人员，那么你已成长在一个由Linux主导的世界中。数十年来，它一直是数据中心的重要参与者，尽管很难找到明确的操作系统市场份额的报告，但Linux在数据中心操作系统上的份额可能 ...; 分类: Linux

浅谈几种常见 RAID 的异同: RAID 0 可用于两个或更多硬盘或 SSD。目标是提高读的性能。数据以特定大小（通常为 64KB）的块写入，并在可用驱动器中平均分配。下图显示了带有三个硬盘的 RAID 0 阵列的示意图。RAID 控制器将第一个数据块写入硬盘 ...; 分类: 存储

5G牌照正式发放！中国为什么不是第一个5G商用国家？: 6月6日早上消息，工信部在预告消息发布三天后，正式向三大运营商和广电颁发5G牌照。这也就意味着，相较于之前2020年5G商用表，中国的5G商用时间整整提速了一年，我国将成为自韩国、美国、瑞士、英国之后，全球第五个 ...; 分类: 网络技术

1 2 3 4 567 8 9 10 ... 180 / 180 页下一页

热门频道

大数据
商业智能

量化投资
科学探索
创业

即将开课

热门文章

GMT+8, 2020-1-20 11:38 , Processed in 0.119399 second(s), 19 queries .