炼数成金 ›大数据

大数据

分布式快照算法: Chandy-Lamport 算法: Spark 的 Structured Streaming 的 Continuous Processing Mode 的容错处理使用了分布式快照（Distributed Snapshot）算法 Chandy-Lamport 算法，那么分布式快照算法可以用来解决什么问题呢？简单来说就是用来在缺乏 ...; 分类: 分布式系统

HBase 协处理器入门及实战: HBase 和 MapReduce 有很高的集成，我们可以使用 MR 对存储在 HBase 中的数据进行分布式计算。但是在很多情况下，例如简单的加法计算或者聚合操作（求和、计数等），如果能够将这些计算推送到 RegionServer，这将大 ...; 分类: 分布式系统

5 个面向新手的 Linux 发行版: 从最初的 Linux 到现在，Linux 已经发展了很长一段路。但是，无论你曾经多少次听说过现在使用 Linux 有多容易，仍然会有表示怀疑的人。而要真的承担得其这份声明，桌面必须足够简单，以便不熟悉 Linux 的人也能够使 ...; 分类: Linux

Kubernetes实战——谈谈微博应对春晚等突发峰值流量的经验: 2016年微博平台实现基于混合云的弹性平台DCP，提升了Feed、手机微博、广告、搜索、话题、视频、直播等多个核心业务热点应对能力。2017年微博平台率先探索基于Kubernetes的PAAS层弹性混合部署解决方案，并且积极的和 ...; 分类: 虚拟化

是否值得付费？Oracle,Open JDK等四大JVM性能全面对比: 市面上可供选择的JVM发行版还是有不少的。选择合适的JVM需要考虑不同的因素。性能是其中一个重要的因素。靠谱的性能研究是很困难的。在本文中，我创建了一个测试，在不同的JVM上执行对比测试。测试程序包括Spring Bo ...; 分类: Java

历时三年，美图全面容器化踩过的坑: 单体容器如集装箱，它统一的标准方便了调度运输。Kubernetes提供了对集装进行集中调度的码头和轮渡，让一切井然有序并且易于实施。容器基础平台则好比基于容器和kubernetes之上的完整的运输系统，它需要集装箱，码头 ...; 分类: 虚拟化

MySQL性能突发事件问题排查技巧: 作为DBA在面对性能上突发问题的时候，是否出现过束手无策，无从下手的经历。其实性能无非问题点在于存储、操作系统，应用程序，数据库等方面。性能分析问题并没有想象的那么难，当了解到一些常用的Linux 系统命 ...; 分类: Mysql

TiDB 在摩拜单车的深度实践及应用: 摩拜单车 2017 年开始将 TiDB 尝试应用到实际业务当中，根据业务的不断发展，TiDB 版本快速迭代，我们将 TiDB 在摩拜单车的使用场景逐渐分为了三个等级：P0 级核心业务：线上核心业务，必须单业务单集群，不允许多个 ...; 分类: 数据库

2018年阿里巴巴关于Java重要开源项目汇总: Spring Cloud Alibaba 致力于提供分布式应用服务开发的一站式解决方案。此项目包含开发分布式应用服务的必需组件，方便开发者通过 Spring Cloud 编程模型轻松使用这些组件来开发分布式应用服务。依托 Spring Cloud A ...; 分类: Java

MAT入门到精通（二）: 使用MAT打开一个heap dump文件，解析完成后，默认会进入欢迎页，欢迎页里包含了一些常见的分析：最大内存占用分析、常见的分析动作、常用的分析报告、MAT使用教程等等。; 分类: Java

MAT入门到精通（一）: 尽管JVM提供了自动内存管理的机制，试图降低程序员的开发门槛，确实也实现了这一目标，在日常开发中，我们一般都不需要关心对象的内存释放。JVM大部分都是使用trace算法来判断一个对象是否该被回收，那么JVM只能回收 ...; 分类: Java

分布式架构知识体系: 随着移动互联网的发展智能终端的普及，计算机系统早就从单机独立工作过渡到多机器协作工作。计算机以集群的方式存在，按照分布式理论的指导构建出庞大复杂的应用服务，也已经深入人心。本文力求从分布式基础理论，架 ...; 分类: 存储

深圳一AI公司人脸数据泄露，超256万用户敏感信息在“裸奔”！: 就在刚刚过去的一天里，追踪 MongoDB 数据库多年的荷兰著名安全研究员 Victor Gevers 又发现了新的“裸奔”用户数据，这次他将矛头指向了一家中国安防视觉领域的企业——SenseNets（深圳深网视界科技有限公司，下称 ...; 分类: 安全

国内某人脸识别公司数据泄露，超250万人数据可被获取: 2月15日，根据某404网站，以及微博安全应急响应中心消息，国内某人脸识别公司发生大规模数据泄露事件。超过250万人的数据可被获取，680万条记录泄露，其中包括身份证信息，人脸识别图像及捕捉地点等。这家公司的对外 ...; 分类: 安全

Ceph的正确玩法之SSD作为HDD的缓存池: 缓存分层特性也是在Ceph的Firefly版中正式发布的，这也是Ceph的Firefly版本中被谈论最多的一个特性。缓存分层是在更快的磁盘（通常是SSD），上创建一个Ceph池。这个缓存池应放置在一个常规的复制池或erasure池的前端 ...; 分类: 存储

两大阵营宣布：5G与Wi-Fi融合！: 3GPP已经开发了相关的技术规范来确保3GPP和非3GPP无线电技术（例如Wi-Fi）的紧密集成。为了更好地服务客户并提供完整的5G体验，还需要在5G核心网络内确保对于非3GPP技术的紧密集成。实现其中一些目标的解决方案，已 ...; 分类: 网络技术

程序员锁死服务器，游戏公司解散亏 600 万: 据微博@首席内幕官消息，日前，深圳市螃蟹网络科技有限公司创始人尹柏霖发文控诉，前员工燕某在游戏上线测试当天，锁死服务器与电脑，并恶意失踪，致公司损失惨重。他表示，时隔这么久才曝光燕某是觉得项目败了无所 ...; 分类: 安全

另一种可微架构搜索：商汤提出在反传中学习架构参数的SNAS: 自 2016 年 Barret Zoph 和 Quoc Le 提出「用强化学习进行神经架构搜索」（《Neural architecture search with reinforcement learning》）以来，在大量科研人员的努力下，自动搜寻最先进的网络架构的趋势一直在增长 ...; 分类: 架构

央行发布金融业贯彻《推进互联网协议第六版(IPv6)规模部署行动计划》实施意见: 2019年1月10日，中国人民银行发布关于金融行业贯彻《推进互联网协议第六版(IPv6)规模部署行动计划》的实施意见。提出到2019年底，金融服务机构门户网站支持IPv6链接访问。基于IPv6安全特点，金融行业针对IPv6网络构 ...; 分类: 网络技术

超2亿中国用户简历曝光！MongoDB又一重大安全事故: 近日，外网安全研究人员偶然发现一个没有被很好保护的 MongoDB 数据库服务器，整个实例包含 854GB 数据，共有 202,730,434 条记录，其中大部分是中国用户简历，内容非常详细，包括中文全名、家庭住址、电话号码、电 ...; 分类: Nosql

AWS回击了！推出DocumentDB，可兼容MongoDB: AWS1 月 9 日宣布推出完全托管的 DocumentDB，可兼容 MongoDB。2018 年 10 月，MongoDB 将其开源许可证从 GNU AGPLv3 切换到 Server Side Public License(SSPL)，并明确指出之所以会更改开源协议是因为部分云计算公 ...; 分类: Nosql

谈谈Greenplum的人工智能应用场景: Greenplum是一个MPP架构的分布式数据库，其特点是可以做非常大规模的数据计算，它可以在几百个节点的服务器规模的集群内做数据的拓展，并且可以在PB级，就是一千个T或者几千个T的数据容量上，做快速的数据存储和计算 ...; 分类: 数据库

Redis存储总是心里没底？你大概漏了这些数据结构原理: 想要弄清楚Redis内部如何支持5种数据类型，也就是要弄清Redis到底是使用什么样的数据结构来存储、查找我们设置在内存中的数据。虽然我们使用5种数据类型来缓存数据，但是Redis会根据我们存储数据的不同而选用不同的 ...; 分类: Nosql

NoSQL没落了？NewSQL有机会挑大梁吗？: 2018年4月20日，苹果宣布开源FoundationDB——一款支持多种数据模型、高性能、高可用、可扩展，且具备ACID事务的分布式KV NoSQL系统。FoundationDB已在苹果公司内部的生产环境使用三年，主要用于iCloud上的云存储服 ...; 分类: Nosql

一文看懂分布式文件存储 CephFS: Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。摒弃了传统的集中式存储元数据寻址的方案，采用CRUSH算法，数据分布均衡，并行度高。考虑了容灾域的隔离，能够实现各类负载的副本放置规 ...; 分类: 存储

GitHub重磅更新！私有代码库从此免费，开发者齐夸微软送福利: 刚刚，GitHub有了重大更新！之前需要付费使用的私有代码库，现在可以免费使用了。企业和组织也有了更简单统一的产品GitHub Enterprise。这是微软收购GitHub之后的又一次重大更新，也是开发者首次可以免费在GtiHub上 ...; 分类: 开源软件

关于Oracle DBA和MySQL DBA: Oracle DBA和MySQL DBA的工作重心也不大一样，Oracle的业务数据库规模都不是很大，如果有上百台就是很大的规模了，而互联网行业里面的MySQL使用广泛，几百台都是很平常的事情。对于DBA的技能范围和要求也有很大的差 ...; 分类: Mysql

大牛是怎么思考设计MySQL优化方案的？: 在进行MySQL的优化之前，必须要了解的就是MySQL的查询过程，很多查询优化工作实际上就是遵循一些原则，让MySQL的优化器能够按照预想的合理方式运行而已。优化不总是对一个单纯的环境进行，还很可能是一个复杂的已投 ...; 分类: Mysql

Spark+Alluxio性能调优十大技巧: 由于统一访问对象存储（如S3）和HDFS数据的场景的出现和普及，Apache Spark结合Alluxio的大数据栈越来越受欢迎。此外，越来越流行的计算与存储分离的架构导致计算端查询延迟增大。因此，Alluxio常被用作贴近计算端的 ...; 分类: Spark

超过 C++、压制 Java 与 C，Python 拔得 TIOBE 年度编程语言！: 如同两个月前，TIOBE 编程语言社区于官网预料的那般，2018 年的年度编程语言终将在一众老牌编程语言如 Java、C、C++、Python、Visual Basic .NET 中诞生。近日，TIOBE 排行榜官方正式宣布，时隔 8 年后：Python 再一 ...; 分类: Python

1 ... 3 4 5 6 789 10 11 12 ... 177 / 177 页下一页

热门频道

大数据
商业智能

量化投资
科学探索
创业

即将开课

热门文章

GMT+8, 2019-10-19 17:10 , Processed in 0.201604 second(s), 19 queries .