炼数成金 ›大数据

大数据

业务库负载翻了百倍，我做了什么来拯救MySQL架构？: 最近有一个业务库的负载比往常高了很多，最直观的印象就是原来的负载最高是100%，现在不是翻了几倍或者指数级增长，而是突然翻了100倍，导致业务后端的数据写入剧增，产生了严重的性能阻塞。这类问题引起了我的兴趣 ...; 分类: Mysql

这场MongDB事故暴露的潜在危机，你是否也正在忽视？: MongoDB是一个可扩展的高性能基于文档的NoSQL数据库，具备但不限于以下特性：无数据结构限制和高性能，MongoDB以文档结构的存储方式，能够更便捷的获取数据；MongoDB没有表结构的概念，每条记录可以有完全不同的结构 ...; 分类: 安全

揭开容器的神秘面纱：帮助初学者深入了解容器技术: 你的笔记本电脑以及其它所有计算机都是基于CPU，持久存储（磁盘驱动器，SSD），内存，网卡等硬件构建的。要与此硬件进行交互，操作系统中被称为内核的软件将充当硬件与系统其余部分之间的桥梁。内核负责调度要运行的 ...; 分类: 虚拟化

2018弱密码TOP 100出炉：123456再次卫冕: 2018年眼看着就要结束了，SplashData 一年一度的弱密码TOP 100榜单也终于公布了。依照前几年弱密码榜单的情况来看，被使用最多的弱密码一般也不会发生太大的位置变化，2018年弱密码TOP 100榜单中，网红弱密码“12345 ...; 分类: 安全

两位拯救谷歌的超级工程师的故事：计算机界最好的结对编程榜样: 在很多人眼中，Jeff Dean 就是谷歌技术的代名词，也是谷歌如此强大的重要原因。但实际上他们都忽视了 Jeff Dean 背后的另外一位技术大神。在谷歌从创业公司成长为一代巨头的过程中，有数不清的工程师参与贡献，其中 ...; 分类: 编程开发

12306的西天取经路 - 春节抢票与PostgreSQL数据库设计思考: 马上春节了，又到了火车票的销售旺季，一票难求的问题依旧存在吗？还记得10年前春节前买火车票得在放票前1天搬个小板凳去排队，对于热门路线，排一个晚上都有可能买不到票。随着互联网的发展，几年前建设了12306网上 ...; 分类: 数据库

22 岁的 Postgres，可能是史上最先进的数据库: 作为一个技术人，我参与过的很多争论归根到底无非就是一个问题：尝试新技术还是坚持老技术？尽管这个问题总是争论不休，但对于少数技术来说，答案是简单的：两个都要！Postgres 就是这样一项技术。1982 年开始开发、 ...; 分类: 开源软件

1G到5G之争：一部30年惊心动魄的移动通信史: 曾经的移动通信设备商，有阿尔卡特、爱立信、华为、LG、朗讯、摩托罗拉、北电、诺基亚、富士通、西门子、NEC、三星、中兴….十多家巨头林立，如今只剩下华为、爱立信、诺基亚和中兴四大主流玩家，那些曾经伟大的公 ...; 分类: 网络技术

滴滴Elasticsearch多集群架构实践: Elasticsearch 是基于 Lucene 实现的分布式搜索引擎，提供了海量数据实时检索和分析能力。Elastic 公司开源的一系列产品组成的 Elastic Stack，可以为日志服务、搜索引擎、系统监控等提供简单、易用的解决方案。滴滴 ...; 分类: 架构

程序员面试被看不起，最后他用300行代码惊艳全场！: 最近看到一个很解气的帖子，有位程序员分享了自己的面试经历，说自己在上海某一做外卖APP的公司，面试前端岗位，现场有200多个面试者，HR收到将近千份简历，刚开始面试官还看不起他，最后自己写了个特酷炫的特效，这 ...; 分类: 编程开发

2019年Vue学习路线图: 如果你是 Vue 开发新手，可能已经听过很多行话术语，比如单页面应用程序、异步组件、服务器端渲染，等等。你可能还听说过与 Vue 有关的一些工具和库，比如 Vuex、Webpack、Vue CLI 和 Nuxt。浸没在术语和工具的浩瀚 ...; 分类: JavaScript

5G除了速度更快，还有这些，你知道么？: 1G 大哥大2G txt3G jpg4G avi那5G呢？简单来说嘛……梅特卡夫定律指出：“网络连接数越多，网络就越有价值。这样说来，5G的价值可以说是潜力无限了！”不过……别急别急，这就来告诉你——上面的场景，可不是小移凭 ...; 分类: 网络技术

关于5G的十个误解: 误解一：5G马上要取代4G。5G刚建设的时候，可以采用非独立组网模式部署。也就是说，5G会依托于现有4G，并对4G的网络容量和覆盖进行扩充。很多运营商会选择利旧现有4G基站资源，逐步进行5G建设。所以说，从4G到5G，是 ...; 分类: 网络技术

第一次有人把5G讲的这么简单明了！: 无论是往事随风的1G、2G、3G，还是意气风发的4G、5G，说来说去，都是在这个数学公式上做文章。。。且听我慢慢道来。。。有线？无线？…… 通信技术，无论什么黑科技白科技，只分两种——有线通信和无线通信。; 分类: 网络技术

数据库智能运维探索与实践: 近些年，传统的数据库运维方式已经越来越难于满足业务方对数据库的稳定性、可用性、灵活性的要求。随着数据库规模急速扩大，各种NewSQL系统上线使用，运维逐渐跟不上业务发展，各种矛盾暴露的更加明显。在业务的驱动 ...; 分类: 运维

这可能是搭建Zookeeper集群介绍最全的文章: 怎么搭建单机无安全校验的就不说了，百度一搜一大堆。这里我就说说怎么搭建一个生产环境可用的Zookeeper集群。Docker方式不太建议，要考虑的东西比较多，如果要用Docker方式还是比较建议自建镜像，假如是Docker专家 ...; 分类: 分布式系统

安全的云原生微服务架构全景图: 微服务架构多年来一直在发展，有许多开源组件和供应商组件可用于部署安全的微服务平台。下面，我将把关键组件和如何管理分发所需的不同功能组合在一起，以构建和部署一个模块化的即插即用平台，您可以扩展该平台， ...; 分类: 架构

用校车系统理解事件驱动架构: 很小的时候，我就被系统迷住了。尤其是一个系统的优雅性最令我着迷。完美的执行、可预见性，一如校车系统的天才创意。校车系统是如此让我着迷，以至于童年的我几乎每天会在家里的地板上复刻这个过程。当时的我只是认 ...; 分类: 架构

大数据开发者应该知道的分布式系统 CAP 理论: 无论你是一个系统架构师，还是一个普通开发，当你开发或者设计一个分布式系统的时候，CAP理论是无论如何也绕不过去的。本文就来介绍一下到底什么是CAP理论，如何证明CAP理论，以及CAP的权衡问题。CAP理论概述CAP理论 ...; 分类: 分布式系统

HBase在人工智能场景的使用: 近几年来，人工智能逐渐火热起来，特别是和大数据一起结合使用。人工智能的主要场景又包括图像能力、语音能力、自然语言处理能力和用户画像能力等等。这些场景我们都需要处理海量的数据，处理完的数据一般都需要存储 ...; 分类: Hadoop

深入理解Flink核心技术: Flink的核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布，数据通信以及容错机制等功能。基于流执行引擎，Flink提供了诸多更高抽象层的API以方便用户编写分布式任务：1. DataSet API, 对静 ...; 分类: 分布式系统

通过BulkLoad快速将海量数据导入到Hbase: 在第一次建立Hbase表的时候，我们可能需要往里面一次性导入大量的初始化数据。我们很自然地想到将数据一条条插入到Hbase中，或者通过MR方式等。但是这些方式不是慢就是在导入的过程的占用Region资源导致效率低下，所 ...; 分类: Hadoop

人人都能读懂的编译器原理: 你口中所说的编程语言本质上只是一个软件，这个软件叫做编译器，编译器读入一个文本文件，经过大量的处理，最终产生一个二进制文件。编译器的语言部分就是它处理的文本样式。因为电脑只能读取 1 和 0 ，而人们编写 ...; 分类: 编程开发

Julia语言创始人上榜福布斯30 Under 30榜单！: 又到了每年福布斯最喜欢的一个评选系列：在各行业内选出30位30岁以下的精英。福布斯以前瞻性的目光，寻找那些年龄在30岁以下，已在行业内崭露头角，有一定的影响力，或展现出拥有成为社会翘楚的巨大潜力的年轻人，让 ...; 分类: Julia

2018年11月全球数据库排行榜：Oracle、MySQL均大幅度下滑: 近日，DB-Engines 发布了 2018 年 11 月份的数据库排名。本月排行榜中排名前三的依然是：Oracle、MySQL 和 Microsoft SQL Server。Oracle和MySQL出现大幅度下滑，Oracle下滑了18.16分，相比去年同期下跌了58.94分；M ...; 分类: 数据库

下一代 HTTP 底层协议或将弃用 TCP 协议，改用 QUIC 协议: 据 iThome.com.tw 报道，国际互联网工程任务组（Internet Engineering Task Force, IETF）将于近日商讨下一代 HTTP 底层协议，可能不再使用已经沿用多年的 TCP 协议，而有望改用以 UDP 协议发展出的 QUIC 技术，同时 ...; 分类: 网络技术

使用Java Stream API提高编程效率: Stream API 作为 Java 8 的一大亮点，它与 java.io 包里的 InputStream 和 OutputStream 是完全不同的概念。它是对集合（Collection）对象功能的增强，它专注于对集合对象进行各种非常便利、高效的聚合操作或者大批 ...; 分类: Java

Linux 问题故障定位，看这一篇就够了: 有时候会遇到一些疑难杂症，并且监控插件并不能一眼立马发现问题的根源。这时候就需要登录服务器进一步深入分析问题的根源。那么分析问题需要有一定的技术经验积累，并且有些问题涉及到的领域非常广，才能定位到问题 ...; 分类: Linux

MySQL 8.0优化器都有哪些新特性？: MySQL当前已经发布到MySQL 8.0版本，在新的版本中，可以看到MySQL之前被人诟病的优化器部分做了很多的改动。为什么需要配置cost model常量 ? 我们知道MySQL已经发展了好几十年的历史，但是在优化器中依然使用了hardc ...; 分类: Mysql

Kafka 的七年之痒: Kafka 是 2010 年左右在 LinkedIn 研发的一套流数据处理平台。当时 LinkedIn 也和很多大的互联网公司一样，分很多的组，有很多的产品，每天收集非常多的数据。这些数据都是实时生成的，比如用户活跃度、日志，我们有 ...; 分类: 分布式系统

12 3 4 5 6 7 8 9 10 ... 169 / 169 页下一页

热门频道

大数据
商业智能

量化投资
科学探索
创业

即将开课

热门文章

GMT+8, 2018-12-17 18:45 , Processed in 0.739348 second(s), 19 queries .