炼数成金 ›大数据

大数据

分布式锁用 Redis 还是 Zookeeper？: 为什么用分布式锁？在讨论这个问题之前，我们先来看一个业务场景：系统A是一个电商系统，目前是一台机器部署，系统中有一个用户下订单的接口，但是用户下订单之前一定要去检查一下库存，确保库存足够了才会给用户下 ...; 分类: 架构

深度解读 Flink 1.11：流批一体 Hive 数仓: Flink 1.11 中流计算结合 Hive 批处理数仓，给离线数仓带来 Flink 流处理实时且 Exactly-once 的能力。另外，Flink 1.11 完善了 Flink 自身的 Filesystem connector，大大提高了 Flink 的易用性。针对离线数仓的特点 ...; 分类: 大数据

卧槽！红警代码竟然开源了！！！: 有个项目偷偷爬上了热榜的位置，它就是：CnC_Remastered_Collection。这个可不是一般的项目，里面存放的，是由国外知名电子游戏公司 Electronic Arts（艺电）所开源的两款「命运与征服」系列的经典游戏代码：Red Ale ...; 分类: 开源软件

阿里巴巴为什么不用 ZooKeeper 做服务发现？: 站在未来的路口，回望历史的迷途，常常会很有意思，因为我们会不经意地兴起疯狂的念头，例如如果当年某事提前发生了，而另外一件事又没有发生会怎样？一如当年的奥匈帝国皇位继承人斐迪南大公夫妇如果没有被塞尔维亚 ...; 分类: 架构

交易、账务系统去 Oracle 经验: 2013 年 5 月，支付宝最后一台小型机下线，去 “IOE” 取得里程碑进展。支付宝（以及后来的蚂蚁金服）走的是一条跟传统金融行业不同的分布式架构之路。要基于普通硬件资源实现金融级的性能和可靠性，有不少难题要解 ...; 分类: Oracle

终于有人把 HTTPS 原理讲清楚了！: 大家可能都听说过 HTTPS 协议之所以是安全的是因为 HTTPS 协议会对传输的数据进行加密，而加密过程是使用了非对称加密实现。但其实，HTTPS 在内容传输的加密上使用的是对称加密，非对称加密只作用在证书验证阶段。在 ...; 分类: 网络技术

GitHub告警：恶意软件正通过流行开源 IDE 攻击 Java 项目: 3 月 9 日，GitHub 收到了安全研究员 JJ 发来的警告通知：“我发现了一组感染了恶意程序 Octopus Scanner 的开源库。”随后，GitHub 开始自查，在站点上共发现了 26 个包含 Octopus Scanner 恶意软件的存储库。据 Gi ...; 分类: 安全

HTTP/3 来了！未来可期: 随着网络技术的发展，1999 年设计的 HTTP/1.1 已经不能满足需求，所以 Google 在 2009 年设计了基于 TCP 的 SPDY，后来 SPDY 的开发组推动 SPDY 成为正式标准，不过最终没能通过。不过 SPDY 的开发组全程参与了 HTTP ...; 分类: 网络技术

Prometheus Metrics 设计的最佳实践和应用实例: Prometheus 是一个开源的监控解决方案，部署简单易使用，难点在于如何设计符合特定需求的 Metrics 去全面高效地反映系统实时状态，以助力故障问题的发现与定位。本文即基于最佳实践的 Metrics 设计方法，结合具体的 ...; 分类: 运维

Spark 3.0 自适应查询优化介绍，在运行时加速 Spark SQL 的执行性能: 多年以来，社区一直在努力改进 Spark SQL 的查询优化器和规划器，以生成高质量的查询执行计划。最大的改进之一是基于成本的优化（CBO，cost-based optimization）框架，该框架收集并利用各种数据统计信息（如行数， ...; 分类: Spark

Redis背后的故事: Redis已成为世界上最受欢迎的数据库之一，但当初正是因为Sanfilippo对数据库“缺乏经验”，使他敢于打破“良好”数据库工程的各种神圣规则，创建了Redis。如果Redis之父萨尔瓦多·桑菲利波普（Salvatore Sanfilippo ...; 分类: Nosql

树莓派基金会重磅发布PI4B 8GB: 树莓派最新发布PI4B 8GB，内存从原来的最大4GB 提升到8GB;电源部分有改善，其他硬件变化不大；主要面向人群，有大量编译工作，同时需要执行很多软件，双屏显示，同时加载多个网页，运行重量级服务器软件：最重要的运 ...; 分类: 树莓派

美国 5G 掉队简史: 2020 年 2 月，距离特朗普把华为列入实体清单后 9 个月。美国总统特朗普在电话上，知道英国首相约翰逊将会准许华为在英国兴建 5G 基建后，感到十分失望。即便约翰逊多番解释，但特朗普仍然当场气得怒摔电话。本来他 ...; 分类: 网络技术

美国拟5年内向AI、量子计算等投资千亿美元，「无尽前沿法案」或掀起全球高科技竞赛: 近日，美国参议院民主党领袖Chuck Schumer提出《无尽前沿法案》（Endless Frontiers Act），拟在未来5年内向美国国家科学基金会投资1000亿美元，用于人工智能、量子计算、机器人技术、先进通信和先进制造业等十大关 ...; 分类: 超级计算

K8s和YARN都不够好！全面解析Facebook自研流处理服务管理平台: Facebook 在许多使用场景采用了分布式流处理，包括推荐系统、网站内容交互分析等，这些应用的大规模实时运行需要达成严格的 SLO。为此，Facebook 构建了新的流处理服务管理平台 Turbine，并在生产系统中上线运行近三 ...; 分类: 大数据

如何画出优秀的架构图？: 架构就是对系统中的实体以及实体之间的关系所进行的抽象描述，是一系列的决策。架构是结构和愿景。系统架构是概念的体现，是对物/信息的功能与形式元素之间的对应情况所做的分配，是对元素之间的关系以及元素同周边 ...; 分类: 架构

质疑谷歌量子优越性：阿里团队发预印本论文，所谓10000年问题可20天解决: 2019 年见证了许多历史性时刻，但这些历史性时刻仍需经受考验。例如谷歌宣布实现量子优越性（Quantum Supremacy）。当时，谷歌在其刊登于 Nature 的论文中表示，已经开发出了一款名为 Sycamore 的 54 量子比特数的量 ...; 分类: 超级计算

手把手教你在 CentOS 上搭建 Kubernetes 集群: 使用kubeadm init命令初始化集群之下载Docker镜像到所有主机的实始化时会下载kubeadm必要的依赖镜像，同时安装etcd,kube-dns,kube-proxy,由于我们GFW防火墙问题我们不能直接访问，因此先通过其它方法下载下面列表中 ...; 分类: 虚拟化

互联网公司常用 MySQL 分库分表方案: 不管是IO瓶颈，还是CPU瓶颈，最终都会导致数据库的活跃连接数增加，进而逼近甚至达到数据库可承载活跃连接数的阈值。在业务Service来看就是，可用数据库连接少甚至无连接可用。接下来就可以想象了吧（并发量、吞吐量 ...; 分类: Mysql

关于数据中台建设之思考: 数据中台是聚合和治理跨域数据，将数据抽象封装成服务，提供给前台以业务价值的逻辑概念。数据中台是一套可持续“让企业的数据用起来”的机制，一种战略选择和组织形式，是依据企业特有的业务模式和组织架构，通过有 ...; 分类: 架构

Kafka加Flink不是终点！下一代大数据平台Pravega: 发展到现在，Apache Kafka 无疑是很成功的，Confluent 公司曾表示世界五百强中有三分之一的企业在使用 Kafka。实时备份机制让它在推荐、广告等互联网场景中游刃有余，但是实际生产中还有很多不允许丢数据的场景存在 ...; 分类: 大数据

Redis 6.0.0 GA 正式发布，有这些新特性: Redis 创始人宣布 Redis 6.0.0 稳定版正式 GA。正如 Redis 作者 antirez 所说，这是迄今最“企业”化的版本（SSL 与 ACL 等特性与企业极相关），也是最大的版本，同时也是参与人数最多的版本。GA 版本除了比 RC1 更 ...; 分类: Nosql

如何画出优秀的架构图？: 架构就是对系统中的实体以及实体之间的关系所进行的抽象描述，是一系列的决策。架构是结构和愿景。系统架构是概念的体现，是对物/信息的功能与形式元素之间的对应情况所做的分配，是对元素之间的关系以及元素同周边 ...; 分类: 架构

动图展示 10 大 Git 命令: 尽管 Git 是一款非常强大的工具，但如果我说 Git 用起来简直是噩梦，大多数人也会认同我的说法。我发现在使用 Git 时，在头脑里可视化地想象它会非常有用：当我执行一个特定命令时，这些分支会如何交互，又会怎样影 ...; 分类: 开源软件

浅谈使用Binlog实现MySQL增量备份: 在写文章的时候，我一直在纠结，这个到底能不能算增量备份，因为使用binlog的这种方式，按照官方文档的说话，应该叫做 point-in-time ，而非正经的增量模式，但是也聊胜于无。首先我先阐述一下，他的基本原理，就是 ...; 分类: Mysql

Flink SQL vs Spark SQL: Spark SQL 的核心是Catalyst优化器，首先将SQL处理成未优化过的逻辑计划（Unresolved Logical Plan），其只包括数据结构，不包含任何数据信息。然后通过解析，形成解析后的逻辑计划（ Logical Plan），这里节点上就 ...; 分类: 大数据

什么是Service Mesh: Service Mesh作为下一代微服务技术的代名词，初出茅庐却深得人心一鸣惊人，大有一统微服务时代的趋势。那么到底什么是Service Mesh？一言以蔽之：Service Mesh是微服务时代的TCP协议。有了这样一个感性的初步认知， ...; 分类: 架构

一篇文章带你逆袭 Kafka: Apache Kafka 是一个快速、可扩展的、高吞吐的、可容错的分布式“发布-订阅”消息系统，使用 Scala 与 Java 语言编写，能够将消息从一个端点传递到另一个端点。较之传统的消息中间件（例如 ActiveMQ、RabbitMQ），K ...; 分类: 分布式系统

中国 SaaS 企业的抱团生态: 2014年是中国企业服务热潮开启的元年。以Salesforce为标杆代表的SaaS模式，深深刺激了国内ToB行业从业人士，以及投资人。无论是再造一个中国自己的Salesforce，亦或者在其他赛道领域，跑出一两家SaaS标杆，都成为了 ...; 分类: 云计算

中台崛起的本质是“去ERP化”: 中台的崛起代表了一部分中国领先企业的“去 ERP 化”趋势，从以资源集约化为中心走向以用户价值为中心，从闭源单体架构的商业 ERP 套件走向分布式微服务架构的业务开放平台。本文将从微观宏观双视角展开阐述，微观层 ...; 分类: 架构

1 2 345 6 7 8 9 10 ... 186 / 186 页下一页

热门频道

大数据
商业智能

量化投资
科学探索
创业

即将开课

热门文章

GMT+8, 2020-8-5 06:56 , Processed in 0.132137 second(s), 19 queries .