炼数成金 大数据
订阅

大数据

架构演进这件事儿,和吃火锅是一样儿的
架构演进这件事儿,和吃火锅是一样儿的
对于搞架构的技术人来说,一起吃个火锅,喝个酒,聊个天,技术上的很多解决思路就出来了,一家5口人围着一张大桌子吃饭,这叫单体架构。不想在家吃饭,去河底捞下馆子,这叫需求多样性。厨房里多人分工洗菜和做菜, ...
分类:   
被质疑“滥用许可和特权”,AWS 和 Oracle 被 MariaDB 点名吐槽
被质疑“滥用许可和特权”,AWS 和 Oracle 被 MariaDB 点名吐槽
据 ZDNet 报道,在近日曼哈顿金融区举行的 MariaDB用户与开发者大会上,MariaDB CEO Michael Howard 毫不留情地抨击云厂商在开源社区滥用许可和特权,不回馈开源社区。Howard 吐槽大型私有云公司就是在「露天开采开 ...
分类:   
5000量子位支持量子编程!D-Wave争议中推出下一代量子计算平台
5000量子位支持量子编程!D-Wave争议中推出下一代量子计算平台
近日,全球量子商用化重要参与者 D-Wave 公司又有大动作:推出其 5000 量子比特量子计算的发展蓝图。D-Wave 下一代量子计算平台的各个组成部分将计划在 2020 年中进入市场。其中包括了研发中的量子处理器(Quantum C ...
分类:   
5G商用前夜,芯片厂、运营商、设备方共下一盘大棋
5G商用前夜,芯片厂、运营商、设备方共下一盘大棋
5G蓄势待发,利益链条和玩家版图越发清晰。「就是这里,对,再深入一些。」在巴萨罗那的世界移动通信大会的会议中心讲台上,来自西班牙的医生,胃肠外科主任Antonio de Lacy在屏幕上指划出肠道神经所在的位置。屏幕 ...
分类:   
浅析Redis分布式集群倾斜问题
浅析Redis分布式集群倾斜问题
对于分布式系统而言,整个集群处理请求的效率和存储容量,往往取决于集群中响应最慢或存储增长最快的节点。所以在系统设计和容量规划时,我们尽量保障集群中各节点的“数据和请求分布均衡“。但在实际生产系统中,出 ...
分类:   
RESTful 架构基础
RESTful 架构基础
REST(Representational State Transfer)架构风格是一种世界观,把信息提升为架构中的一等公民。通过 REST 可以实现系统的高性能、可伸缩、通用性、简单性、可修改性和可扩展等特性。这篇文章解释了主要的 HTTP 操 ...
分类:   
利用“爬虫”非法获取数据案评析:不完美法律制度下的解决方案
利用“爬虫”非法获取数据案评析:不完美法律制度下的解决方案
2018年9月,北京市海淀区人民法院对全国首例利用“爬虫技术”侵入计算机系统抓取数据案作出判决。本案爬虫软件在数据抓取的过程中,使用了伪造device_id绕过服务器的身份校验,伪造UA及IP绕过服务器的访问频率限制等 ...
分类:   
定义为“AI计算公司”,业绩大幅下滑的英伟达新变量在哪?
定义为“AI计算公司”,业绩大幅下滑的英伟达新变量在哪?
1999年,英伟达发明了 GPU,20年后今天,GPU让英伟达攀至行业顶峰。然而,急速膨胀后潜藏的危机,也增加了这家明星公司的焦虑感。今年2月15日,英伟达公布了 2019 财年第四季度及全年财报,收入达 22.1 亿美元,较去 ...
分类:   
HBase Rowkey 设计指南
HBase Rowkey 设计指南
我们常说看一张 HBase 表设计的好不好,就看它的 RowKey 设计的好不好。可见 RowKey 在 HBase 中的地位。那么 RowKey 到底是什么?RowKey 的特点如下:类似于 MySQL、Oracle中的主键,用于标示唯一的行;完全是由用 ...
分类:   
列式存储和行式存储它们真正的区别是什么
列式存储和行式存储它们真正的区别是什么
分析类查询往往只查询一个表里面很少的几个字段,Column-Store只需要从磁盘读取用户查询的Column,而Row-Store读取每一条记录的时候你会把所有Column的数据读出来,在IO上Column-Store比Row-Store效率高很多,因此性 ...
分类:   
分布式快照算法: Chandy-Lamport 算法
分布式快照算法: Chandy-Lamport 算法
Spark 的 Structured Streaming 的 Continuous Processing Mode 的容错处理使用了分布式快照(Distributed Snapshot)算法 Chandy-Lamport 算法,那么分布式快照算法可以用来解决什么问题呢?简单来说就是用来在缺乏 ...
分类:   
HBase 协处理器入门及实战
HBase 协处理器入门及实战
HBase 和 MapReduce 有很高的集成,我们可以使用 MR 对存储在 HBase 中的数据进行分布式计算。但是在很多情况下,例如简单的加法计算或者聚合操作(求和、计数等),如果能够将这些计算推送到 RegionServer,这将大 ...
分类:   
5 个面向新手的 Linux 发行版
5 个面向新手的 Linux 发行版
从最初的 Linux 到现在,Linux 已经发展了很长一段路。但是,无论你曾经多少次听说过现在使用 Linux 有多容易,仍然会有表示怀疑的人。而要真的承担得其这份声明,桌面必须足够简单,以便不熟悉 Linux 的人也能够使 ...
分类:   
Kubernetes实战——谈谈微博应对春晚等突发峰值流量的经验
Kubernetes实战——谈谈微博应对春晚等突发峰值流量的经验
2016年微博平台实现基于混合云的弹性平台DCP,提升了Feed、手机微博、广告、搜索、话题、视频、直播等多个核心业务热点应对能力。2017年微博平台率先探索基于Kubernetes的PAAS层弹性混合部署解决方案,并且积极的和 ...
分类:   
是否值得付费?Oracle,Open JDK等四大JVM性能全面对比
是否值得付费?Oracle,Open JDK等四大JVM性能全面对比
市面上可供选择的JVM发行版还是有不少的。选择合适的JVM需要考虑不同的因素。性能是其中一个重要的因素。靠谱的性能研究是很困难的。在本文中,我创建了一个测试,在不同的JVM上执行对比测试。测试程序包括Spring Bo ...
分类:   
历时三年,美图全面容器化踩过的坑
历时三年,美图全面容器化踩过的坑
单体容器如集装箱,它统一的标准方便了调度运输。Kubernetes提供了对集装进行集中调度的码头和轮渡,让一切井然有序并且易于实施。容器基础平台则好比基于容器和kubernetes之上的完整的运输系统,它需要集装箱,码头 ...
分类:   
MySQL性能突发事件问题排查技巧
MySQL性能突发事件问题排查技巧
作为DBA在面对性能上突发问题的时候,是否出现过束手无策,无从下手的经历。 其实性能无非问题点在于存储、操作系统, 应用程序,数据库 等方面。性能分析问题 并没有想象的那么难,当了解到一些常用的Linux 系统命 ...
分类:   
TiDB 在摩拜单车的深度实践及应用
TiDB 在摩拜单车的深度实践及应用
摩拜单车 2017 年开始将 TiDB 尝试应用到实际业务当中,根据业务的不断发展,TiDB 版本快速迭代,我们将 TiDB 在摩拜单车的使用场景逐渐分为了三个等级:P0 级核心业务:线上核心业务,必须单业务单集群,不允许多个 ...
分类:   
2018年阿里巴巴关于Java重要开源项目汇总
2018年阿里巴巴关于Java重要开源项目汇总
Spring Cloud Alibaba 致力于提供分布式应用服务开发的一站式解决方案。此项目包含开发分布式应用服务的必需组件,方便开发者通过 Spring Cloud 编程模型轻松使用这些组件来开发分布式应用服务。依托 Spring Cloud A ...
分类:   
MAT入门到精通(二)
MAT入门到精通(二)
使用MAT打开一个heap dump文件,解析完成后,默认会进入欢迎页,欢迎页里包含了一些常见的分析:最大内存占用分析、常见的分析动作、常用的分析报告、MAT使用教程等等。
分类:   
MAT入门到精通(一)
MAT入门到精通(一)
尽管JVM提供了自动内存管理的机制,试图降低程序员的开发门槛,确实也实现了这一目标,在日常开发中,我们一般都不需要关心对象的内存释放。JVM大部分都是使用trace算法来判断一个对象是否该被回收,那么JVM只能回收 ...
分类:   
分布式架构知识体系
分布式架构知识体系
随着移动互联网的发展智能终端的普及,计算机系统早就从单机独立工作过渡到多机器协作工作。计算机以集群的方式存在,按照分布式理论的指导构建出庞大复杂的应用服务,也已经深入人心。本文力求从分布式基础理论,架 ...
分类:   
深圳一AI公司人脸数据泄露,超256万用户敏感信息在“裸奔”!
深圳一AI公司人脸数据泄露,超256万用户敏感信息在“裸奔”!
就在刚刚过去的一天里,追踪 MongoDB 数据库多年的荷兰著名安全研究员 Victor Gevers 又发现了新的“裸奔”用户数据,这次他将矛头指向了一家中国安防视觉领域的企业——SenseNets(深圳深网视界科技有限公司,下称 ...
分类:   
国内某人脸识别公司数据泄露,超250万人数据可被获取
国内某人脸识别公司数据泄露,超250万人数据可被获取
2月15日,根据某404网站,以及微博安全应急响应中心消息,国内某人脸识别公司发生大规模数据泄露事件。超过250万人的数据可被获取,680万条记录泄露,其中包括身份证信息,人脸识别图像及捕捉地点等。这家公司的对外 ...
分类:   
Ceph的正确玩法之SSD作为HDD的缓存池
Ceph的正确玩法之SSD作为HDD的缓存池
缓存分层特性也是在Ceph的Firefly版中正式发布的,这也是Ceph的Firefly版本中被谈论最多的一个特性。缓存分层是在更快的磁盘(通常是SSD),上创建一个Ceph池。这个缓存池应放置在一个常规的复制池或erasure池的前端 ...
分类:   
两大阵营宣布:5G与Wi-Fi融合!
两大阵营宣布:5G与Wi-Fi融合!
3GPP已经开发了相关的技术规范来确保3GPP和非3GPP无线电技术(例如Wi-Fi)的紧密集成。为了更好地服务客户并提供完整的5G体验,还需要在5G核心网络内确保对于非3GPP技术的紧密集成。实现其中一些目标的解决方案,已 ...
分类:   
程序员锁死服务器,游戏公司解散亏 600 万
程序员锁死服务器,游戏公司解散亏 600 万
据微博@首席内幕官消息,日前,深圳市螃蟹网络科技有限公司创始人尹柏霖发文控诉,前员工燕某在游戏上线测试当天,锁死服务器与电脑,并恶意失踪,致公司损失惨重。他表示,时隔这么久才曝光燕某是觉得项目败了无所 ...
分类:   
另一种可微架构搜索:商汤提出在反传中学习架构参数的SNAS
另一种可微架构搜索:商汤提出在反传中学习架构参数的SNAS
自 2016 年 Barret Zoph 和 Quoc Le 提出「用强化学习进行神经架构搜索」(《Neural architecture search with reinforcement learning》)以来,在大量科研人员的努力下,自动搜寻最先进的网络架构的趋势一直在增长 ...
分类:   
央行发布金融业贯彻《推进互联网协议第六版(IPv6)规模部署行动计划》实施意见
央行发布金融业贯彻《推进互联网协议第六版(IPv6)规模部署行动计划》实施意见
2019年1月10日,中国人民银行发布关于金融行业贯彻《推进互联网协议第六版(IPv6)规模部署行动计划》的实施意见。提出到2019年底,金融服务机构门户网站支持IPv6链接访问。基于IPv6安全特点,金融行业针对IPv6网络构 ...
分类:   
超2亿中国用户简历曝光!MongoDB又一重大安全事故
超2亿中国用户简历曝光!MongoDB又一重大安全事故
近日,外网安全研究人员偶然发现一个没有被很好保护的 MongoDB 数据库服务器,整个实例包含 854GB 数据,共有 202,730,434 条记录,其中大部分是中国用户简历,内容非常详细,包括中文全名、家庭住址、电话号码、电 ...
分类:   

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2019-12-15 00:08 , Processed in 0.088207 second(s), 19 queries .