炼数成金 ›大数据

大数据

架构演进这件事儿，和吃火锅是一样儿的: 对于搞架构的技术人来说，一起吃个火锅，喝个酒，聊个天，技术上的很多解决思路就出来了，一家5口人围着一张大桌子吃饭，这叫单体架构。不想在家吃饭，去河底捞下馆子，这叫需求多样性。厨房里多人分工洗菜和做菜， ...; 分类: 架构

被质疑“滥用许可和特权”，AWS 和 Oracle 被 MariaDB 点名吐槽: 据 ZDNet 报道，在近日曼哈顿金融区举行的 MariaDB用户与开发者大会上，MariaDB CEO Michael Howard 毫不留情地抨击云厂商在开源社区滥用许可和特权，不回馈开源社区。Howard 吐槽大型私有云公司就是在「露天开采开 ...; 分类: 数据库

5000量子位支持量子编程！D-Wave争议中推出下一代量子计算平台: 近日，全球量子商用化重要参与者 D-Wave 公司又有大动作：推出其 5000 量子比特量子计算的发展蓝图。D-Wave 下一代量子计算平台的各个组成部分将计划在 2020 年中进入市场。其中包括了研发中的量子处理器（Quantum C ...; 分类: 超级计算

5G商用前夜，芯片厂、运营商、设备方共下一盘大棋: 5G蓄势待发，利益链条和玩家版图越发清晰。「就是这里，对，再深入一些。」在巴萨罗那的世界移动通信大会的会议中心讲台上，来自西班牙的医生，胃肠外科主任Antonio de Lacy在屏幕上指划出肠道神经所在的位置。屏幕 ...; 分类: 网络技术

浅析Redis分布式集群倾斜问题: 对于分布式系统而言，整个集群处理请求的效率和存储容量，往往取决于集群中响应最慢或存储增长最快的节点。所以在系统设计和容量规划时，我们尽量保障集群中各节点的“数据和请求分布均衡“。但在实际生产系统中，出 ...; 分类: Nosql

RESTful 架构基础: REST（Representational State Transfer）架构风格是一种世界观，把信息提升为架构中的一等公民。通过 REST 可以实现系统的高性能、可伸缩、通用性、简单性、可修改性和可扩展等特性。这篇文章解释了主要的 HTTP 操 ...; 分类: 架构

利用“爬虫”非法获取数据案评析：不完美法律制度下的解决方案: 2018年9月，北京市海淀区人民法院对全国首例利用“爬虫技术”侵入计算机系统抓取数据案作出判决。本案爬虫软件在数据抓取的过程中，使用了伪造device_id绕过服务器的身份校验，伪造UA及IP绕过服务器的访问频率限制等 ...; 分类: 安全

定义为“AI计算公司”，业绩大幅下滑的英伟达新变量在哪？: 1999年，英伟达发明了 GPU，20年后今天，GPU让英伟达攀至行业顶峰。然而，急速膨胀后潜藏的危机，也增加了这家明星公司的焦虑感。今年2月15日，英伟达公布了 2019 财年第四季度及全年财报，收入达 22.1 亿美元，较去 ...; 分类: 超级计算

HBase Rowkey 设计指南: 我们常说看一张 HBase 表设计的好不好，就看它的 RowKey 设计的好不好。可见 RowKey 在 HBase 中的地位。那么 RowKey 到底是什么？RowKey 的特点如下：类似于 MySQL、Oracle中的主键，用于标示唯一的行；完全是由用 ...; 分类: 分布式系统

列式存储和行式存储它们真正的区别是什么: 分析类查询往往只查询一个表里面很少的几个字段，Column-Store只需要从磁盘读取用户查询的Column，而Row-Store读取每一条记录的时候你会把所有Column的数据读出来，在IO上Column-Store比Row-Store效率高很多，因此性 ...; 分类: 数据库

分布式快照算法: Chandy-Lamport 算法: Spark 的 Structured Streaming 的 Continuous Processing Mode 的容错处理使用了分布式快照（Distributed Snapshot）算法 Chandy-Lamport 算法，那么分布式快照算法可以用来解决什么问题呢？简单来说就是用来在缺乏 ...; 分类: 分布式系统

HBase 协处理器入门及实战: HBase 和 MapReduce 有很高的集成，我们可以使用 MR 对存储在 HBase 中的数据进行分布式计算。但是在很多情况下，例如简单的加法计算或者聚合操作（求和、计数等），如果能够将这些计算推送到 RegionServer，这将大 ...; 分类: 分布式系统

5 个面向新手的 Linux 发行版: 从最初的 Linux 到现在，Linux 已经发展了很长一段路。但是，无论你曾经多少次听说过现在使用 Linux 有多容易，仍然会有表示怀疑的人。而要真的承担得其这份声明，桌面必须足够简单，以便不熟悉 Linux 的人也能够使 ...; 分类: Linux

Kubernetes实战——谈谈微博应对春晚等突发峰值流量的经验: 2016年微博平台实现基于混合云的弹性平台DCP，提升了Feed、手机微博、广告、搜索、话题、视频、直播等多个核心业务热点应对能力。2017年微博平台率先探索基于Kubernetes的PAAS层弹性混合部署解决方案，并且积极的和 ...; 分类: 虚拟化

是否值得付费？Oracle,Open JDK等四大JVM性能全面对比: 市面上可供选择的JVM发行版还是有不少的。选择合适的JVM需要考虑不同的因素。性能是其中一个重要的因素。靠谱的性能研究是很困难的。在本文中，我创建了一个测试，在不同的JVM上执行对比测试。测试程序包括Spring Bo ...; 分类: Java

历时三年，美图全面容器化踩过的坑: 单体容器如集装箱，它统一的标准方便了调度运输。Kubernetes提供了对集装进行集中调度的码头和轮渡，让一切井然有序并且易于实施。容器基础平台则好比基于容器和kubernetes之上的完整的运输系统，它需要集装箱，码头 ...; 分类: 虚拟化

MySQL性能突发事件问题排查技巧: 作为DBA在面对性能上突发问题的时候，是否出现过束手无策，无从下手的经历。其实性能无非问题点在于存储、操作系统，应用程序，数据库等方面。性能分析问题并没有想象的那么难，当了解到一些常用的Linux 系统命 ...; 分类: Mysql

TiDB 在摩拜单车的深度实践及应用: 摩拜单车 2017 年开始将 TiDB 尝试应用到实际业务当中，根据业务的不断发展，TiDB 版本快速迭代，我们将 TiDB 在摩拜单车的使用场景逐渐分为了三个等级：P0 级核心业务：线上核心业务，必须单业务单集群，不允许多个 ...; 分类: 数据库

2018年阿里巴巴关于Java重要开源项目汇总: Spring Cloud Alibaba 致力于提供分布式应用服务开发的一站式解决方案。此项目包含开发分布式应用服务的必需组件，方便开发者通过 Spring Cloud 编程模型轻松使用这些组件来开发分布式应用服务。依托 Spring Cloud A ...; 分类: Java

MAT入门到精通（二）: 使用MAT打开一个heap dump文件，解析完成后，默认会进入欢迎页，欢迎页里包含了一些常见的分析：最大内存占用分析、常见的分析动作、常用的分析报告、MAT使用教程等等。; 分类: Java

MAT入门到精通（一）: 尽管JVM提供了自动内存管理的机制，试图降低程序员的开发门槛，确实也实现了这一目标，在日常开发中，我们一般都不需要关心对象的内存释放。JVM大部分都是使用trace算法来判断一个对象是否该被回收，那么JVM只能回收 ...; 分类: Java

分布式架构知识体系: 随着移动互联网的发展智能终端的普及，计算机系统早就从单机独立工作过渡到多机器协作工作。计算机以集群的方式存在，按照分布式理论的指导构建出庞大复杂的应用服务，也已经深入人心。本文力求从分布式基础理论，架 ...; 分类: 存储

深圳一AI公司人脸数据泄露，超256万用户敏感信息在“裸奔”！: 就在刚刚过去的一天里，追踪 MongoDB 数据库多年的荷兰著名安全研究员 Victor Gevers 又发现了新的“裸奔”用户数据，这次他将矛头指向了一家中国安防视觉领域的企业——SenseNets（深圳深网视界科技有限公司，下称 ...; 分类: 安全

国内某人脸识别公司数据泄露，超250万人数据可被获取: 2月15日，根据某404网站，以及微博安全应急响应中心消息，国内某人脸识别公司发生大规模数据泄露事件。超过250万人的数据可被获取，680万条记录泄露，其中包括身份证信息，人脸识别图像及捕捉地点等。这家公司的对外 ...; 分类: 安全

Ceph的正确玩法之SSD作为HDD的缓存池: 缓存分层特性也是在Ceph的Firefly版中正式发布的，这也是Ceph的Firefly版本中被谈论最多的一个特性。缓存分层是在更快的磁盘（通常是SSD），上创建一个Ceph池。这个缓存池应放置在一个常规的复制池或erasure池的前端 ...; 分类: 存储

两大阵营宣布：5G与Wi-Fi融合！: 3GPP已经开发了相关的技术规范来确保3GPP和非3GPP无线电技术（例如Wi-Fi）的紧密集成。为了更好地服务客户并提供完整的5G体验，还需要在5G核心网络内确保对于非3GPP技术的紧密集成。实现其中一些目标的解决方案，已 ...; 分类: 网络技术

程序员锁死服务器，游戏公司解散亏 600 万: 据微博@首席内幕官消息，日前，深圳市螃蟹网络科技有限公司创始人尹柏霖发文控诉，前员工燕某在游戏上线测试当天，锁死服务器与电脑，并恶意失踪，致公司损失惨重。他表示，时隔这么久才曝光燕某是觉得项目败了无所 ...; 分类: 安全

另一种可微架构搜索：商汤提出在反传中学习架构参数的SNAS: 自 2016 年 Barret Zoph 和 Quoc Le 提出「用强化学习进行神经架构搜索」（《Neural architecture search with reinforcement learning》）以来，在大量科研人员的努力下，自动搜寻最先进的网络架构的趋势一直在增长 ...; 分类: 架构

央行发布金融业贯彻《推进互联网协议第六版(IPv6)规模部署行动计划》实施意见: 2019年1月10日，中国人民银行发布关于金融行业贯彻《推进互联网协议第六版(IPv6)规模部署行动计划》的实施意见。提出到2019年底，金融服务机构门户网站支持IPv6链接访问。基于IPv6安全特点，金融行业针对IPv6网络构 ...; 分类: 网络技术

超2亿中国用户简历曝光！MongoDB又一重大安全事故: 近日，外网安全研究人员偶然发现一个没有被很好保护的 MongoDB 数据库服务器，整个实例包含 854GB 数据，共有 202,730,434 条记录，其中大部分是中国用户简历，内容非常详细，包括中文全名、家庭住址、电话号码、电 ...; 分类: Nosql

1 ... 4 5 6 7 8910 11 12 13 ... 179 / 179 页下一页

热门频道

大数据
商业智能

量化投资
科学探索
创业

即将开课

热门文章

• 数据治理的定义，挑战和最佳实践

GMT+8, 2019-12-15 00:08 , Processed in 0.088207 second(s), 19 queries .