炼数成金 大数据
订阅

大数据

hadoop的1TB排序
hadoop的1TB排序
1、1TB(或1分钟)排序的冠军作为分布式数据处理的框架,集群的数据处理能力究竟有多快?或许1TB排序可以作为衡量的标准之一。 1TB排序,就是对1TB(1024GB,大约100亿行数据)的数据进行排序。2008年,Hadoop赢得1T ...
分类:   
大数据能否成为网络入侵者的克星?
大数据能否成为网络入侵者的克星?
大数据给我们在对抗入侵方面带来新希望,觊觎敏感信息的攻击者们变得更容易落网。"大数据”领域的安全体系具备这样一种特点:只要企业能够将自身与安全相关的事件数据与业务信息仓库相结合,就完全可以通过对大数据 ...
分类:   
Hadoop生态图谱
Hadoop生态图谱
当下Hadoop已经成长为一个庞大的体系,貌似只要和海量数据相关的,没有哪个领域缺少Hadoop的身影,下面是一个Hadoop生态系统的图谱,详细的列举了在Hadoop这个生态系统中出现的各种数据工具。 这一切,都起源自Web数 ...
分类:   
淘宝海量数据库OceanBase:系统架构详解
淘宝海量数据库OceanBase:系统架构详解
无论从数据量还是访问量,OceanBase不再能够是一个单机系统,即使一台单机能服务高达几个TB的数据、提供几万QPS的服务能力,因此,分布式系统不可避免,然而,内部如何实现拆表(拆库)以及如何实现数据库的事务,成为 ...
分类:   
云服务扩张诱发IT环境新问题
云服务扩张诱发IT环境新问题
随着IT厂商加速采用了由亚马逊及其主要竞争对手推出的云服务,越来越多的厂商发现他们以无法有效控制服务成本。由于云服务在财务上的不透明导致了一些厂商不仅花了冤枉钱还过度供应了云服务,由此占用了为其他需求专 ...
分类:   
云中的网络:Open vSwitch带来的巨变
云中的网络:Open vSwitch带来的巨变
计算,存储,网络,安全,是构建任何大型数据中心都绕不过去的四个问题。云也不例外。在这个风起云涌的云时代,各厂商赛马般发布层出不穷的新技术,着实让我们目不暇接。很多人昨天刚玩过Xen,今天看到Redhat宣称KVM ...
分类:   
浅谈云计算数据中心对布线系统的影响
浅谈云计算数据中心对布线系统的影响
在谈云计算数据中心之前,我们要先了解一下,什么是云计算?云计算是指IT基础设施的交付和使用模式,指通过网络以按需、易扩展的方式获得所需的资源。 提供资源的网络被称为“云”。 “云”是IT的资源池,可以随时获 ...
分类:   
iPad轻松办公:iCloud Mail 同步记录
iPad轻松办公:iCloud Mail 同步记录
为什么要用 iPad 来办公?我是一名服务于媒体行业的产品经理。平时的工作中,除了利用思维导图整理思路和利用原型工具制作 apps 的展示以外,还有一些日常的工作要处理,譬如收发邮件、安排日程、做做幻灯展示之类。
分类:   
Intel Xeon八核处理器将会给服务器带来什么改变?
Intel Xeon八核处理器将会给服务器带来什么改变?
采用了服务器虚拟化的企业IT工作站现在可以用八核Intel Xeon CPU了,它能支持更多内存,扩展了10千兆以太网(10 GbE)的使用 实例。IBM、HP和Dell都引入了基于这个新芯片的服务器。最近Intel的Xeon E5-2600 CPU支持 ...
分类:   
大数据处理三大瓶颈:大容量、多格式和速度
大数据处理三大瓶颈:大容量、多格式和速度
Yahoo CTO Raymie Stata是领导海量数据分析引擎的关键人物。IBM和Hadoop将更多的精力专注在海量数据上,海量数据正在潜移默化的改变企业和IT部门。越来越多的大企业的数据集以及创建需要的一切技术,包括存储、网络、 ...
分类:   
如何在私有云中检测虚拟机蔓延情况?
如何在私有云中检测虚拟机蔓延情况?
一般人都会认为,私有云是最最安全的云计算模式,因为是由企业自身直接掌控云计算的安全控制运行。但是,如同众多理论或产品原型一样,其在现实世界中所面临实际问题的复杂性往往是难以预料的,也就是说新事物在带来 ...
分类:   
Redis曝新BUG:内存超限后的死循环
Redis曝新BUG:内存超限后的死循环
Redis曝出了一个新bug,如果你设定了Redis的maxmemory,并且这个Redis有Slave,那么当你的maxmemory限制达到后,就会出现死循环。具体原因和流程如下:Redis 达到了配置中设定的maxmemory限制,开始按LRU策略删除数据 ...
分类:   
Space Monkey推新型云存储服务:1TB硬盘搬到家
Space Monkey推新型云存储服务:1TB硬盘搬到家
创业公司Space Monkey今夏将推出一项新的云存储服务“Space Monkey”,其最大特点是将P2P概念应用到数据存储上,在用户家中放置1TB(1000GB)硬盘,允许用户通过移动应用或已连接的计算机进行数据访问。
分类:   
Hadoop MapReduce:数据科学家的探索之路
Hadoop MapReduce:数据科学家的探索之路
Forrester分析师James Kobielus在一篇关于“大数据”的博客中指出:“关键不在于采用什么方法,而在于能够使用任意可用工具或方法真正地解决问题。” 近几年在解决大数据问题的迫切感驱使下,许多组织的数据架构师开 ...
分类:   
使用Redis的五个注意事项
使用Redis的五个注意事项
下面内容来源于Quora上的一个提问,问题是使用Redis需要避免的五个问题。而回答中超出了五个问题的范畴,描述了五个使用Redis的注意事项。如果你在使用或者考虑使用Redis,可能你可以学习一下下面的一些建议,避免一 ...
分类:   
Hadoop——Microsoft大数据战略的核心
Hadoop——Microsoft大数据战略的核心
众所周知,大数据浪潮正在渐渐的席卷全球的各个角落。而Hadoop正是这股风暴的动力之源。Microsoft更是史无前例的与Apache Hadoop社区合作。Microsoft此举就是希望利用自己在软件领域的优势构建一个打上Microsoft烙印 ...
分类:   
IDC预测2015年大数据市场规模或达169亿美元
IDC预测2015年大数据市场规模或达169亿美元
北京时间3月8日早间消息,市场调研机构IDC周三发布一份报道,预测大数据(Big Data)市场将会进一步蓬勃发展。 该报告预测,大数据技术与服务市场将从2010年的32亿美元攀升至2015年的169亿美元。根据IDC的介绍,这将实 ...
分类:   
数据仓库≠数据集市
数据仓库≠数据集市
我们知道,决策支持系统(DSS)主要有两种实现方式,即建立一个数据集市或者一个数据仓库。到底哪一种更能满足决策支持的要求并且适合企业今后的发展,是近两年来学术界和有关供应商激烈争论的一个话题。在数据集市领域,主 ...
分类:   
IEEE预见全球云计算应用之路的障碍
IEEE预见全球云计算应用之路的障碍
IEEE的会员正在帮助全球各地各种规模的企业清除可能会拖慢这项创新技术应用进度的障碍,履行推动云计算进步的承诺。目前云计算系统显而易见的潜在收益正在被广泛讨论,包括:在IT基础设施的使用及维护方面显著的成本 ...
分类:   
揭秘隐藏在非结构化数据背后的真相
揭秘隐藏在非结构化数据背后的真相
随着互联网技术的发展,大量非结构化数据逐渐走入人们的视野,数据科学家也开始将研究重点转移至非结构化数据。据Gartner预计,全球信息量每年的最低增长率为59%,其中有15%是结构化数据,其余的85%则由各种非结构化 ...
分类:   
MongoDB推出聚合框架 新增Group By功能
MongoDB推出聚合框架 新增Group By功能
为了回应用户对简单数据访问的需求,MongoDB推出了聚合框架(Aggregation Framework)。该框架使用声明性管道符号来支持类似于SQL Group By操作的功能,而不再需要用户编写自定义的JavaScript例程。
分类:   
Intel新款Xeon处理器剑指云计算 性能提高80%
Intel新款Xeon处理器剑指云计算 性能提高80%
据路透社报道,Intel公司于本周二正式揭开了最新版Xeon服务器处理器的面纱,此举说明了Intel希望在由云计算、社交网络以及增长的智能手机和平板电脑所引发的互联网流量大爆炸浪潮中占据先机。
分类:   
数据科学家:黑客与数据分析师的完美结合
数据科学家:黑客与数据分析师的完美结合
数据科学家大显神通的时刻到了!但究竟什么是数据科学家?数据科学家需要具备怎样的技能?他们为何与众不同? 大数据时代的到来驱动了数据,带宽和处理能力成指数级的增长。现今数据科学这一新兴领域已经引发了众人极 ...
分类:   
数据迁移工具辅助向云端迁移
数据迁移工具辅助向云端迁移
云计算和数据仓库是合理的一对。云存储可以按需扩展,云可以将大量服务器贡献于某一具体任务。数据仓库通用功能是本地数据分析工具,受到计算和存储资源的限制,同时也受到设计者考虑新数据源集成的能力的限制。如果 ...
分类:   
水冷式服务器能否引起数据中心的关注?
水冷式服务器能否引起数据中心的关注?
数据中心经理人在考虑采取何种方式,以达到最有效地保持设备低温。虽然数据中心进水可能是场噩梦,但是对于处理器数量日益增加的高效运转的数据中心服务器而言,通过水冷方式给服务器处理器降温可能很快成为最行之有 ...
分类:   
HBase在淘宝的应用和优化小结
HBase在淘宝的应用和优化小结
  1 前言  hbase是从hadoop中分离出来的apache顶级开源项目。由于它很好 地用java实现了google的bigtable系统大部分特性,因此在数据量猛增的今天非常受到欢迎。对于淘宝而言,随着市场规模的扩大,产品与技术 的 ...
分类:   
Hadoop连接器软件让数据库进入大数据库时代
Hadoop连接器软件让数据库进入大数据库时代
Hadoop有多火?从业界的一系列举动就可以看出来。包括甲骨文、微软、Sybase在内的主流数据库厂商都纷纷发布了Hadoop连接器产品,为的就是让用户可以在传统关系型数据库与开源分布式处理系统之间更轻松地传输信息。这 ...
分类:   
如何克服云端数据仓库数据迁移问题?
如何克服云端数据仓库数据迁移问题?
尽管传统关系型数据库管理系统和云端非关系型数据库之间可以并行描述,但是在两个片段之间转移数据时,不同的运行方式会导致问题。抽取、转换和加载流程甚至会造成更多挑战。
分类:   
大数据信息图:MongoDB使用率疯狂增长
大数据信息图:MongoDB使用率疯狂增长
据商业智能软件开发公司Jaspersoft在近日发布的报告中称,在2011年超过15000大数据工具被下载。在被誉为商业智能大数据风向标的报告中大数据相关的工具下载排名领先,包括Hadoop Hive、Hadoop HBase、MongoDB、Cassa ...
分类:   
Box创始人谈谷歌Drive及云战争:碎片化云加剧
Box创始人谈谷歌Drive及云战争:碎片化云加剧
北京时间3月5日消息,云存储服务Box联合创始人Aaron Levie近日对云服务市场的现状及未来的发展发表了自己的看法。过去6年里,任何一家涉足云存储市场的初创都有一种预感,那就是Google将进军这片市场。Google Drive的 ...
分类:   

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2018-6-19 01:27 , Processed in 0.171023 second(s), 19 queries .