炼数成金 大数据
订阅

大数据

15 位权威专家深度解析:2018 年物联网需要关注的重大趋势
15 位权威专家深度解析:2018 年物联网需要关注的重大趋势
毋庸置疑,物联网是 2017 年最受关注的技术之一。物联网在短短几年内就对各个行业和业务功能产生了明显的影响,据 Statista 统计,全球物联网市场规模预计将超过 1.7 万亿美元。TechJini团队向17位知名行业专家询问 ...
分类:   
从天龙八部小说衍生出的google语义分析与gephi社交网络
从天龙八部小说衍生出的google语义分析与gephi社交网络
最近迷上了可视化,周末在家好好学了echarts与python+echarts的集合pyecharts,还有gephi。感兴趣的小伙伴可以看看。忠告下,MAC下的gephi是大坑,windows下的pyecharts也稍微有点坑。本文主要提供一个思路,把分析 ...
分类:   
基础设施助力双11(七):软硬件深度优化,让存储IO如丝般顺滑
基础设施助力双11(七):软硬件深度优化,让存储IO如丝般顺滑
某业务在使用某型号搭配新型NVME SSD的服务器过程中发现IO抖动问题,IO抖动造成了业务抖动,严重影响业务性能稳定性。业务不仅关注NVME SSD本身的读写延时、IOPS,而且需要保证所有IO的延时、IOPS要保持稳定,不能剧 ...
分类:   
基础设施助力双11(六):看网络如何“自愈”
基础设施助力双11(六):看网络如何“自愈”
目前每天的数据采集量接近万亿级的水平,采集的类型包括日志、SNMP采集(路由器交换机性能指标采集)、AliPing采集(内网质量采集)、AliInternet采集(互联网质量采集)、Netflow采集(流数据采集)等。网络设备跟 ...
分类:   
阿里巴巴新一代自研SSD - AliFlash V2 上线支持业务
阿里巴巴新一代自研SSD - AliFlash V2 上线支持业务
作为阿里巴巴数据中心的重要组成部分, 存储系统承载着双11巨大的数据读写流量, 其性能、可靠性和稳定性对用户体验有着重要的影响。2017年的双11全球购物狂欢节,阿里巴巴新一代自研SSD - AliFlash V2在阿里巴巴数据 ...
分类:   
基础设施助力双11(四):图片编码FPGA硬件优化
基础设施助力双11(四):图片编码FPGA硬件优化
目前互联网上的图片还是以JPEG格式为主,伴随新的图像视频编解码技术的发展,也产生了多种更高效的图片编解码算法,这些高效的图片编解码算法相比JPEG图片格式可以提升50%以上的压缩率。如果客户端对图片的请求采用 ...
分类:   
基础设施助力双11(三):阿里智能流量调度(NetO)
基础设施助力双11(三):阿里智能流量调度(NetO)
阿里部署了互联网质量分析系统,实时监测互联网质量,为用户分配最近的阿里网络入口,让用户尽快连接到阿里提供的服务。此外,阿里持续大力增加与中小运营商的Peering合作,在用户热点地区增加阿里的服务点从而提升 ...
分类:   
基础设施助力双11(二): 发挥异构计算硬件资源的软实力
基础设施助力双11(二): 发挥异构计算硬件资源的软实力
经典的编译算法解决了多种编程语言对多种微处理器架构的问题,在统一的编译框架上实现高级编程语言(比如C++ 和Java)到目标机器可执行代码的转换,这是编译1.0 时代的主要目标。在编译2.0 时代,增强了通用优化和关 ...
分类:   
基础设施助力双11(一):X86 CPU的定制和演进
基础设施助力双11(一):X86 CPU的定制和演进
双11的最终成功是一个从上层业务应用到底层服务器集群的庞大系统协同的结果,其中作为计算力输出主角的定制X86 CPU功不可没 。双11只是阿里业务对计算需求的高速持续增长的一个缩影。而与之形成鲜明对比的是,支撑半 ...
分类:   
常见的 JavaScript 内存泄露
常见的 JavaScript 内存泄露
JavaScript对未声明变量的处理方式:在全局对象上创建该变量的引用(即全局对象上的属性,不是变量,因为它能通过 delete删除)。如果在浏览器中,全局对象就是window对象。如果未声明的变量缓存大量的数据,会导致这 ...
分类:   
Apache Spark强势崛起
Apache Spark强势崛起
Apache Spark是在2012年开源的,两年后又发布了第一个稳定版本,它很快就成为大数据领域的杰出工具。从那时起,大数据公司采用Spark就的增长速度引人注目。毫无疑问,内存的处理是Spark的一个关键特性,从技术上,处 ...
分类:   
刘哲轩:构建基于无人机的物联网
刘哲轩:构建基于无人机的物联网
物联网是现在非常火热的话题了,一句话概括就是万物相联。可是为什么我们需要它,或者说它们能为我们带来什么呢?现在对于物联网的解读非常多,我始终觉得 Kevin Ashton 在 2009 年的一次评论中的观点非常有启发,这 ...
分类:   
甲骨文拟以 16 亿美元收购 Aconex 增强云计算业务
甲骨文拟以 16 亿美元收购 Aconex 增强云计算业务
据外媒报道,美国科技巨头甲骨文公司 (Oracle) 已经同意斥资 16 亿美元收购基于云计算的建筑软件供应商 Aconex,这笔交易将以全额现金支付的方式完成。具体收购形式上,纽交所上市的甲骨文将以每股 7.80 美元的价格 ...
分类:   
微软正考虑添加 Python 为官方的 Excel 脚本语言
微软正考虑添加 Python 为官方的 Excel 脚本语言
据外媒报道,微软正考虑添加 Python 为官方的一种 Excel 脚本语言,如果获得批准,Excel 用户将能够像目前使用 VBA 脚本一样,使用 Python 脚本与 Excel 文档、数据以及一些 Excel 核心函数进行交互。微软在上个月开 ...
分类:   
双十一的数据库,数据库的双十一
双十一的数据库,数据库的双十一
我一个做数据库多年的朋友给我转了一篇文章,是发表在InfoQ上的,题目是“阿里自研分布式强一致关系型数据库--X-DB”。朋友想问一下我的看法。读了这篇文章之后,我的第一个感觉这个数据库真牛逼。有一副对联可以估 ...
分类:   
Apache Hadoop 3.0.0 GA版正式发布,可以部署到线上
Apache Hadoop 3.0.0 GA版正式发布,可以部署到线上
今天凌晨 Apache Hadoop 3.0.0 GA 版本正式发布,这意味着我们就可以正式在线上使用 Hadoop 3.0.0 了!这个版本是 Apache Hadoop 3.0.0 的第一个稳定版本,有很多重大的改进,比如支持 EC、支持多于2个的NameNodes、 ...
分类:   
量子计算:突破 49 个量子比特模拟大关
量子计算:突破 49 个量子比特模拟大关
如今,量子计算的发展来到了一个临界点,开始解决其他更传统的方式无法高效计算甚至无法计算的重要问题。想要跨过这个临界点,我们需要构建、测试和运行能够容纳至少 50 个量子比特的可靠量子计算机。而要释放这方面 ...
分类:   
正则表达式太慢?这里有一个提速100倍的方案
正则表达式太慢?这里有一个提速100倍的方案
“当遇到一个文本处理问题时,如果你在第一时间想到了正则表达式,那么恭喜你,你的问题从一个变成了俩!“如果你曾参与过文本数据分析,正则表达式(Regex)对你来说一定不陌生。词库索引、关键词替换……正则表达 ...
分类:   
新手必学的Ceph理论知识
新手必学的Ceph理论知识
Ceph是一个分布式存储系统,诞生于2004年,最早致力于开发下一代高性能分布式文件系统的项目。随着云计算的发展,ceph乘上了OpenStack的春风,进而成为了开源社区受关注较高的项目之一。Crush算法是ceph的两大创新之 ...
分类:   
外媒:云计算厂商想站稳中国市场 要懂得规则
外媒:云计算厂商想站稳中国市场 要懂得规则
想必大家还记得,前段时间被媒体铺天盖地报道的关于AWS中国将以约3亿美元出售给光环新网的消息。虽然最后证实这是一个谣言,但事实往往比我们想象的要复杂得多。AWS很快就宣布了这一消息,声明:亚马逊提到他们仍旧致 ...
分类:   
Git 的 4 个阶段的撤销更改
Git 的 4 个阶段的撤销更改
虽然git诞生距今已有12年之久,网上各种关于git的介绍文章数不胜数,但是依然有很多人(包括我自己在内)对于它的功能不能完全掌握。以下的介绍只是基于我个人对于git的理解,并且可能生编硬造了一些不完全符合git说 ...
分类:   
SAP这些年的收购清单
SAP这些年的收购清单
要说ERP软件就不得不提SAP,因为它是业内公认的ERP鼻祖。1972年5位从IBM西德分公司辞职的德国人开始了创业之旅,他们成立了SAP公司。近半世纪过去,SAP已然成为全球ERP领导者。这一路走来固然多亏其自身产品的不断创 ...
分类:   
SAP之前世今生
SAP之前世今生
当5名IBM的经理人于1972年决定成立自己的公司并探索能够让商业更有效的途径时,人们很难预料到他们的软件最终会成为世界商业领域的金牌解决方案。三十年后,SAP的软件已经为120多个国家的18,800多家企业使用,其中包 ...
分类:   
重大突破! 微软Q#量子编程语言预览版推出
重大突破! 微软Q#量子编程语言预览版推出
微软昨天推出了一个名为Q#的量子计算新编程语言的预览版本。该行业巨人还推出了量子模拟器,开发人员可以使用它来测试和调试量子算法。语言和模拟器在九月份就已经宣布。当时未命名的语言在将传统的编程概念为函数 ...
分类:   
全国计算机等级考试二级Python考试大纲预测和分析
全国计算机等级考试二级Python考试大纲预测和分析
虽然已经确定2018年9月份在全国计算机等级考试科目中加入“二级Python”,但现在还没有出台完整详细的考试大纲,官方网站也仅仅是简单说明了考试时长(120分钟)、大概形式(网络环境、无纸化)和环境要求(Python 3 ...
分类:   
6 大主流 Web 框架优缺点对比
6 大主流 Web 框架优缺点对比
我是否需要使用框架?如果不尝试回答这个问题就是我们的失职,这越来越成为社会上某些人的口头禅,在网络平台上的争论也已经发展到犹如不需要额外编写 API 能更简单创建 Web 应用那样的地步。就像本系列中所有的内容 ...
分类:   
Docker 核心技术与实现原理
Docker 核心技术与实现原理
提到虚拟化技术,我们首先想到的一定是 Docker,经过四年的快速发展 Docker 已经成为了很多公司的标配,也不再是一个只能在开发阶段使用的玩具了。作为在生产环境中广泛应用的产品,Docker 有着非常成熟的社区以及大 ...
分类:   
如何实现多维智能监控?--AI运维的实践探索
如何实现多维智能监控?--AI运维的实践探索
监控的核心是对监控对象的指标采集、处理、检测和分析。传统监控的对象是一个单一的实体,例如服务器、路由器、交换机等。这些单一对象通过指标反映运行状态,例如服务器的状态指标有CPU使用率、内存使用大小、磁盘I ...
分类:   
运维和开发是冤家么?
运维和开发是冤家么?
众所周知,一个网站或者一个项目要创建和运营,绝不是一个人可以完成的(个人玩玩那种不算)。至少需要产品、设计、程序开发(前端、后台)、测试、系统维护(部署、运营、维护)、平台运营等等若干职位。在团队的认 ...
分类:   
清华裴丹:AIOps 落地路线图
清华裴丹:AIOps 落地路线图
运维在人类未来的生产生活中的作用会越来越重要。预计到2020年全球将有500亿到1000亿的设备,这些设备会承载无数的服务,涵盖互联网、金融、物联网、智能制造、电信、电力网络、政府等等的生产生活的方方面面。这些 ...
分类:   

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2018-4-22 14:28 , Processed in 0.177900 second(s), 19 queries .