炼数成金 大数据
订阅

大数据

分布式快照算法: Chandy-Lamport 算法
分布式快照算法: Chandy-Lamport 算法
Spark 的 Structured Streaming 的 Continuous Processing Mode 的容错处理使用了分布式快照(Distributed Snapshot)算法 Chandy-Lamport 算法,那么分布式快照算法可以用来解决什么问题呢?简单来说就是用来在缺乏 ...
分类:   
HBase 协处理器入门及实战
HBase 协处理器入门及实战
HBase 和 MapReduce 有很高的集成,我们可以使用 MR 对存储在 HBase 中的数据进行分布式计算。但是在很多情况下,例如简单的加法计算或者聚合操作(求和、计数等),如果能够将这些计算推送到 RegionServer,这将大 ...
分类:   
5 个面向新手的 Linux 发行版
5 个面向新手的 Linux 发行版
从最初的 Linux 到现在,Linux 已经发展了很长一段路。但是,无论你曾经多少次听说过现在使用 Linux 有多容易,仍然会有表示怀疑的人。而要真的承担得其这份声明,桌面必须足够简单,以便不熟悉 Linux 的人也能够使 ...
分类:   
Kubernetes实战——谈谈微博应对春晚等突发峰值流量的经验
Kubernetes实战——谈谈微博应对春晚等突发峰值流量的经验
2016年微博平台实现基于混合云的弹性平台DCP,提升了Feed、手机微博、广告、搜索、话题、视频、直播等多个核心业务热点应对能力。2017年微博平台率先探索基于Kubernetes的PAAS层弹性混合部署解决方案,并且积极的和 ...
分类:   
是否值得付费?Oracle,Open JDK等四大JVM性能全面对比
是否值得付费?Oracle,Open JDK等四大JVM性能全面对比
市面上可供选择的JVM发行版还是有不少的。选择合适的JVM需要考虑不同的因素。性能是其中一个重要的因素。靠谱的性能研究是很困难的。在本文中,我创建了一个测试,在不同的JVM上执行对比测试。测试程序包括Spring Bo ...
分类:   
历时三年,美图全面容器化踩过的坑
历时三年,美图全面容器化踩过的坑
单体容器如集装箱,它统一的标准方便了调度运输。Kubernetes提供了对集装进行集中调度的码头和轮渡,让一切井然有序并且易于实施。容器基础平台则好比基于容器和kubernetes之上的完整的运输系统,它需要集装箱,码头 ...
分类:   
MySQL性能突发事件问题排查技巧
MySQL性能突发事件问题排查技巧
作为DBA在面对性能上突发问题的时候,是否出现过束手无策,无从下手的经历。 其实性能无非问题点在于存储、操作系统, 应用程序,数据库 等方面。性能分析问题 并没有想象的那么难,当了解到一些常用的Linux 系统命 ...
分类:   
TiDB 在摩拜单车的深度实践及应用
TiDB 在摩拜单车的深度实践及应用
摩拜单车 2017 年开始将 TiDB 尝试应用到实际业务当中,根据业务的不断发展,TiDB 版本快速迭代,我们将 TiDB 在摩拜单车的使用场景逐渐分为了三个等级:P0 级核心业务:线上核心业务,必须单业务单集群,不允许多个 ...
分类:   
2018年阿里巴巴关于Java重要开源项目汇总
2018年阿里巴巴关于Java重要开源项目汇总
Spring Cloud Alibaba 致力于提供分布式应用服务开发的一站式解决方案。此项目包含开发分布式应用服务的必需组件,方便开发者通过 Spring Cloud 编程模型轻松使用这些组件来开发分布式应用服务。依托 Spring Cloud A ...
分类:   
MAT入门到精通(二)
MAT入门到精通(二)
使用MAT打开一个heap dump文件,解析完成后,默认会进入欢迎页,欢迎页里包含了一些常见的分析:最大内存占用分析、常见的分析动作、常用的分析报告、MAT使用教程等等。
分类:   
MAT入门到精通(一)
MAT入门到精通(一)
尽管JVM提供了自动内存管理的机制,试图降低程序员的开发门槛,确实也实现了这一目标,在日常开发中,我们一般都不需要关心对象的内存释放。JVM大部分都是使用trace算法来判断一个对象是否该被回收,那么JVM只能回收 ...
分类:   
分布式架构知识体系
分布式架构知识体系
随着移动互联网的发展智能终端的普及,计算机系统早就从单机独立工作过渡到多机器协作工作。计算机以集群的方式存在,按照分布式理论的指导构建出庞大复杂的应用服务,也已经深入人心。本文力求从分布式基础理论,架 ...
分类:   
深圳一AI公司人脸数据泄露,超256万用户敏感信息在“裸奔”!
深圳一AI公司人脸数据泄露,超256万用户敏感信息在“裸奔”!
就在刚刚过去的一天里,追踪 MongoDB 数据库多年的荷兰著名安全研究员 Victor Gevers 又发现了新的“裸奔”用户数据,这次他将矛头指向了一家中国安防视觉领域的企业——SenseNets(深圳深网视界科技有限公司,下称 ...
分类:   
国内某人脸识别公司数据泄露,超250万人数据可被获取
国内某人脸识别公司数据泄露,超250万人数据可被获取
2月15日,根据某404网站,以及微博安全应急响应中心消息,国内某人脸识别公司发生大规模数据泄露事件。超过250万人的数据可被获取,680万条记录泄露,其中包括身份证信息,人脸识别图像及捕捉地点等。这家公司的对外 ...
分类:   
Ceph的正确玩法之SSD作为HDD的缓存池
Ceph的正确玩法之SSD作为HDD的缓存池
缓存分层特性也是在Ceph的Firefly版中正式发布的,这也是Ceph的Firefly版本中被谈论最多的一个特性。缓存分层是在更快的磁盘(通常是SSD),上创建一个Ceph池。这个缓存池应放置在一个常规的复制池或erasure池的前端 ...
分类:   
两大阵营宣布:5G与Wi-Fi融合!
两大阵营宣布:5G与Wi-Fi融合!
3GPP已经开发了相关的技术规范来确保3GPP和非3GPP无线电技术(例如Wi-Fi)的紧密集成。为了更好地服务客户并提供完整的5G体验,还需要在5G核心网络内确保对于非3GPP技术的紧密集成。实现其中一些目标的解决方案,已 ...
分类:   
程序员锁死服务器,游戏公司解散亏 600 万
程序员锁死服务器,游戏公司解散亏 600 万
据微博@首席内幕官消息,日前,深圳市螃蟹网络科技有限公司创始人尹柏霖发文控诉,前员工燕某在游戏上线测试当天,锁死服务器与电脑,并恶意失踪,致公司损失惨重。他表示,时隔这么久才曝光燕某是觉得项目败了无所 ...
分类:   
另一种可微架构搜索:商汤提出在反传中学习架构参数的SNAS
另一种可微架构搜索:商汤提出在反传中学习架构参数的SNAS
自 2016 年 Barret Zoph 和 Quoc Le 提出「用强化学习进行神经架构搜索」(《Neural architecture search with reinforcement learning》)以来,在大量科研人员的努力下,自动搜寻最先进的网络架构的趋势一直在增长 ...
分类:   
央行发布金融业贯彻《推进互联网协议第六版(IPv6)规模部署行动计划》实施意见
央行发布金融业贯彻《推进互联网协议第六版(IPv6)规模部署行动计划》实施意见
2019年1月10日,中国人民银行发布关于金融行业贯彻《推进互联网协议第六版(IPv6)规模部署行动计划》的实施意见。提出到2019年底,金融服务机构门户网站支持IPv6链接访问。基于IPv6安全特点,金融行业针对IPv6网络构 ...
分类:   
超2亿中国用户简历曝光!MongoDB又一重大安全事故
超2亿中国用户简历曝光!MongoDB又一重大安全事故
近日,外网安全研究人员偶然发现一个没有被很好保护的 MongoDB 数据库服务器,整个实例包含 854GB 数据,共有 202,730,434 条记录,其中大部分是中国用户简历,内容非常详细,包括中文全名、家庭住址、电话号码、电 ...
分类:   
AWS回击了!推出DocumentDB,可兼容MongoDB
AWS回击了!推出DocumentDB,可兼容MongoDB
AWS1 月 9 日宣布推出完全托管的 DocumentDB,可兼容 MongoDB。2018 年 10 月,MongoDB 将其开源许可证从 GNU AGPLv3 切换到 Server Side Public License(SSPL),并明确指出之所以会更改开源协议是因为部分云计算公 ...
分类:   
谈谈Greenplum的人工智能应用场景
谈谈Greenplum的人工智能应用场景
Greenplum是一个MPP架构的分布式数据库,其特点是可以做非常大规模的数据计算,它可以在几百个节点的服务器规模的集群内做数据的拓展,并且可以在PB级,就是一千个T或者几千个T的数据容量上,做快速的数据存储和计算 ...
分类:   
Redis存储总是心里没底?你大概漏了这些数据结构原理
Redis存储总是心里没底?你大概漏了这些数据结构原理
想要弄清楚Redis内部如何支持5种数据类型,也就是要弄清Redis到底是使用什么样的数据结构来存储、查找我们设置在内存中的数据。虽然我们使用5种数据类型来缓存数据,但是Redis会根据我们存储数据的不同而选用不同的 ...
分类:   
NoSQL没落了?NewSQL有机会挑大梁吗?
NoSQL没落了?NewSQL有机会挑大梁吗?
2018年4月20日,苹果宣布开源FoundationDB——一款支持多种数据模型、高性能、高可用、可扩展,且具备ACID事务的分布式KV NoSQL系统。FoundationDB已在苹果公司内部的生产环境使用三年,主要用于iCloud上的云存储服 ...
分类:   
一文看懂分布式文件存储 CephFS
一文看懂分布式文件存储 CephFS
Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。摒弃了传统的集中式存储元数据寻址的方案,采用CRUSH算法,数据分布均衡,并行度高。考虑了容灾域的隔离,能够实现各类负载的副本放置规 ...
分类:   
GitHub重磅更新!私有代码库从此免费,开发者齐夸微软送福利
GitHub重磅更新!私有代码库从此免费,开发者齐夸微软送福利
刚刚,GitHub有了重大更新!之前需要付费使用的私有代码库,现在可以免费使用了。企业和组织也有了更简单统一的产品GitHub Enterprise。这是微软收购GitHub之后的又一次重大更新,也是开发者首次可以免费在GtiHub上 ...
分类:   
关于Oracle DBA和MySQL DBA
关于Oracle DBA和MySQL DBA
Oracle DBA和MySQL DBA的工作重心也不大一样,Oracle的业务数据库规模都不是很大,如果有上百台就是很大的规模了,而互联网行业里面的MySQL使用广泛,几百台都是很平常的事情。对于DBA的技能范围和要求也有很大的差 ...
分类:   
大牛是怎么思考设计MySQL优化方案的?
大牛是怎么思考设计MySQL优化方案的?
在进行MySQL的优化之前,必须要了解的就是MySQL的查询过程,很多查询优化工作实际上就是遵循一些原则,让MySQL的优化器能够按照预想的合理方式运行而已。优化不总是对一个单纯的环境进行,还很可能是一个复杂的已投 ...
分类:   
Spark+Alluxio性能调优十大技巧
Spark+Alluxio性能调优十大技巧
由于统一访问对象存储(如S3)和HDFS数据的场景的出现和普及,Apache Spark结合Alluxio的大数据栈越来越受欢迎。此外,越来越流行的计算与存储分离的架构导致计算端查询延迟增大。因此,Alluxio常被用作贴近计算端的 ...
分类:   
超过 C++、压制 Java 与 C,Python 拔得 TIOBE 年度编程语言!
超过 C++、压制 Java 与 C,Python 拔得 TIOBE 年度编程语言!
如同两个月前,TIOBE 编程语言社区于官网预料的那般,2018 年的年度编程语言终将在一众老牌编程语言如 Java、C、C++、Python、Visual Basic .NET 中诞生。近日,TIOBE 排行榜官方正式宣布,时隔 8 年后:Python 再一 ...
分类:   

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2019-4-21 16:05 , Processed in 0.172807 second(s), 19 queries .