炼数成金 大数据
订阅

大数据

大型数据中心建设的两大误区
大型数据中心建设的两大误区
云计算热潮在国内各省市持续发酵。不仅仅是一二线城市,甚至三线、四线城市也纷纷表达了对云计算的建设热情,重金下注。然而,大型数据中心怎样设计才能更合理、采用怎样的方法建设周期能够更快且安全可靠?
分类:   
MongoDB智能查询优化的问题
MongoDB智能查询优化的问题
自动查询优化是MongoDB一个专门设计的功能。简言之,这个功能就是通过对查询进行分析,从而判断出更有利的索引使用策略。而这个智能的功能,实际潜伏着一些问题。 传统的查询优化是通过对语句进行语义分析来进行索引 ...
分类:   
横向扩展NAS迎战大数据的5大原则
横向扩展NAS迎战大数据的5大原则
对将非结构化数据转化为可操作的商业智能的美好前景感到兴奋?你需要做的第一步是创建一个可以处理PB级数据的存储架构。EMC Isilon的Nick Kirsch表示,横向扩展NAS(网络附加存储)是最佳解决方案,他还为首席信息官提供 ...
分类:   
实战!五步实现“用SQL语句操作AWS HBase”
实战!五步实现“用SQL语句操作AWS HBase”
Hadoop是专为大量数据进行分布式处理而设计的。HBase则是一个分布式的、可以随机存取大型数据集的开源NoSQL数据库。HBase是Hadoop的子项目,可以通过Cloudera's Hadoop来发行。目前,广泛采用的NoSQL数据库的主要应用 ...
分类:   
Denali不复存在:SQL Server 2012已经宣布,关注BI和大数据
Denali不复存在:SQL Server 2012已经宣布,关注BI和大数据
在最近的PASS峰会上,微软宣布SQL Server的下一版本会叫做SQL Server 2012,它之前的开发代号是“Denali”。此外还为其它产品赋予了官方的名称,包括Power View(之前叫做“Crescent”)和SQL Server 数据工具(之前 ...
分类:   
虚拟广域网优化将加速公有云发展
虚拟广域网优化将加速公有云发展
虚拟广域网(WAN)优化设备已经被用在地球上的4个角落——阿富汗偏远山顶,非洲农村地区的建筑工地,海上石油钻井平台,穿越太平洋的货轮。它下一个落脚点:公有云。荷兰电信运营商Carrier 2 Carrier Telecom B.V. ( ...
分类:   
NoSQL崛起的六大原因
NoSQL崛起的六大原因
NoSQL产品越来越火,NoSQL产品通常以其高性能,强扩展性和高容错性为大家所称道,我们在问为什么NoSQL会流行起来的时候,或许应该问一下为什么这些功能会变得这么重要。 We’re dealing with much more data. Althou ...
分类:   
五个值得关注的图形数据库
五个值得关注的图形数据库
图形数据库是一种非关系型数据库,它应用图形理论存储实体之间的关系信息。最常见的一个例子,就是社会网络中人与人之间的关系。关系型数据库用于存储“关系型”数据的效果并不好,其查询复杂、缓慢、超出预期,而图 ...
分类:   
RavenDB:基于Windows/.NET平台的NoSQL数据库
RavenDB:基于Windows/.NET平台的NoSQL数据库
众所周知,NoSQL运动旨在成为大数据时代传统关系数据库管理系统的替代品。如今Microsoft对开源的态度有所转变,RavenDB就是很好的例子。Microsoft对RavenDB(NoSQL数据库)的认可令很多人感到惊讶。RavenDB可以轻易的 ...
分类:   
超级计算机模拟1兆吨级核弹摧毁袭地小行星
超级计算机模拟1兆吨级核弹摧毁袭地小行星
据国外媒体报道,在美国政府的洛斯阿拉莫斯国家实验室,科学家进行了一次电脑模拟。模拟中,他们发射一枚1兆吨级核弹,轰击一颗飞向地球的巨型小行星,希望用强大的爆炸威力摧毁小行星,进而挽救地球。这种电脑模拟不 ...
分类:   
将物理数据中心向云计算迁移的四大步骤
将物理数据中心向云计算迁移的四大步骤
尽管把基础架构迁移到云平台上好处多多,但是如果考虑不细致反而会妨碍系统性能,把基础架构从物理迁移到虚拟才能带来最好的资源利用率。我们需要把物理到虚拟,然后在迁移到云,即所谓的P2V2C(physical to virtual ...
分类:   
Redis RDB文件格式全解析
Redis RDB文件格式全解析
RDB文件是Redis持久化的一种方式,Redis通过制定好的策略,按期将内存中的数据以镜像的形式转存到RDB文件中。那么RDB文件内部格式是什么样的呢,Redis又做了哪些工作让RDB能够更快的dump和加载呢,下面我们深入RDB文 ...
分类:   
新密钥技术简化云端数据加密
新密钥技术简化云端数据加密
静态数据一直是通过被称为公钥基础设施(PKI)的技术来保护:当数据被创建时,就会使用公钥对数据进行加密,并且从理论上讲,只有持有私钥的授权人才能够解密数据。当将这种数据保护办法扩展到云环境后,事情会变得更加 ...
分类:   
走进Affinity:VMware开源数据库Affinity介绍
走进Affinity:VMware开源数据库Affinity介绍
Affinity是VMware公司在今年2月28日发布的一种新型的开源数据库系统,其设计思想借鉴了关系型数据库、面向对象数据库、文档型数据库、RDF/XML数据库等多种数据库系统的优点,具有灵活多样、方便易用、接口丰富等优点 ...
分类:   
百度和谷歌背后的云计算应用特性与优势
百度和谷歌背后的云计算应用特性与优势
每天使用的“百度”“谷歌”就是云计算的最好应用,问题是我们如何看待云计算在企业信息化的应用前景。我想就这个问题谈一下个人看法:1、云计算四个显著特点,云计算提供了最可靠、最安全的数据存储中心,用户不用再 ...
分类:   
混合云:云部署的先驱
混合云:云部署的先驱
凭借VMware公司和其他一些大厂商近期声明的推动,混合云已经越来越吸引公众的眼球了。混合云把公共的外部云和内部私有“云”(其实目前就相当于传统的内部IT环境)整合成更具功能性的解决方案。而混合云的“秘诀”就 ...
分类:   
Hadoop——Microsoft大数据战略的核心
Hadoop——Microsoft大数据战略的核心
众所周知,大数据浪潮正在渐渐的席卷全球的各个角落。而Hadoop正是这股风暴的动力之源。Microsoft更是史无前例的与Apache Hadoop社区合作。Microsoft此举就是希望利用自己在软件领域的优势构建一个打上Microsoft烙印 ...
分类:   
HBase coprocessor的分析
HBase coprocessor的分析
本文来自于NoSQLFan联合作者@koven2049,他在淘宝从事Hadoop及HBase相关的应用和优化。对Hadoop、HBase都有深入的了解,本文就是他对HBase coprocessor的一些分析,分享给大家。 原文地址:http://walkoven.com/?p= ...
分类:   
应用云平台的可用性——从新浪SAE看云平台设计
应用云平台的可用性——从新浪SAE看云平台设计
一、可用性如何定义 可用性(availability)是关于系统可供使用时间的表述,以不可用的时间为衡量指标。不可用时间越短,可用性越高。通常用n个9来描述。比如4个9的可用性,则是指一年中不可用时间在52分钟内,平均每 ...
分类:   
下一代Hadoop战略——数据即平台
下一代Hadoop战略——数据即平台
在上周的Strata大会上,与会者透露出有关下代Hadoop的消息。包括对6000节点的支持、配备高可用性的HDFS以及下一代MapReduce的特性等。而未来Hadoop替代操作系统的大胆想法也让我们充满无限遐想。
分类:   
谷歌算法揭秘:一次搜索请求平均往返2400公里
谷歌算法揭秘:一次搜索请求平均往返2400公里
3月12日消息,作为全球使用最广泛的搜索引擎,谷歌算法一直有一层神秘面纱。近日谷歌工程总监斯科特·霍夫曼向腾讯科技讲述谷歌算法幕后故事,称2011年有520多项改进,自2003年到现在,Google搜索已解决4500亿个搜索 ...
分类:   
小文件存储的方案对比:nginx、Redis、Moosefs
小文件存储的方案对比:nginx、Redis、Moosefs
大量小文件存储一直是典型的应用场景之一,下面是一篇转载文章,对大量小文件存储分别采用Nginx+NFS、Redis和分布式文件系统Moosefs三种方案的优缺点进行了分析。现在有3KW的数据,单条数据都很小的,如果按key-valu ...
分类:   
quickdb 另辟捷径高效解决NOSQL数据库 数据持久性问题
quickdb 另辟捷径高效解决NOSQL数据库 数据持久性问题
目前的NOSQL主要分为两种,一种是基于内存型的如redis、memcached,一种是基于磁盘型的如Tokyo Tyrant、Tokyo Cabinet、Berkeley DB。 redis、memcached这类内存型NOSQL。虽然读写效率很高,但是有一个大问题,就是数 ...
分类:   
用还是不用MongoDB?悲催用户 PK 10gen CTO
用还是不用MongoDB?悲催用户 PK 10gen CTO
前几天在HackNew上出现了一篇文章,标题很彪悍,叫《Don’t use MongoDB》,其内容也是直接表达了对MongoDB的不满,作者列举了MongoDB使用过程中遇到的种种问题。甚至上升到对其开发团队的质疑,表示他们可能只关心b ...
分类:   
hadoop的1TB排序
hadoop的1TB排序
1、1TB(或1分钟)排序的冠军作为分布式数据处理的框架,集群的数据处理能力究竟有多快?或许1TB排序可以作为衡量的标准之一。 1TB排序,就是对1TB(1024GB,大约100亿行数据)的数据进行排序。2008年,Hadoop赢得1T ...
分类:   
大数据能否成为网络入侵者的克星?
大数据能否成为网络入侵者的克星?
大数据给我们在对抗入侵方面带来新希望,觊觎敏感信息的攻击者们变得更容易落网。"大数据”领域的安全体系具备这样一种特点:只要企业能够将自身与安全相关的事件数据与业务信息仓库相结合,就完全可以通过对大数据 ...
分类:   
Hadoop生态图谱
Hadoop生态图谱
当下Hadoop已经成长为一个庞大的体系,貌似只要和海量数据相关的,没有哪个领域缺少Hadoop的身影,下面是一个Hadoop生态系统的图谱,详细的列举了在Hadoop这个生态系统中出现的各种数据工具。 这一切,都起源自Web数 ...
分类:   
淘宝海量数据库OceanBase:系统架构详解
淘宝海量数据库OceanBase:系统架构详解
无论从数据量还是访问量,OceanBase不再能够是一个单机系统,即使一台单机能服务高达几个TB的数据、提供几万QPS的服务能力,因此,分布式系统不可避免,然而,内部如何实现拆表(拆库)以及如何实现数据库的事务,成为 ...
分类:   
云服务扩张诱发IT环境新问题
云服务扩张诱发IT环境新问题
随着IT厂商加速采用了由亚马逊及其主要竞争对手推出的云服务,越来越多的厂商发现他们以无法有效控制服务成本。由于云服务在财务上的不透明导致了一些厂商不仅花了冤枉钱还过度供应了云服务,由此占用了为其他需求专 ...
分类:   
云中的网络:Open vSwitch带来的巨变
云中的网络:Open vSwitch带来的巨变
计算,存储,网络,安全,是构建任何大型数据中心都绕不过去的四个问题。云也不例外。在这个风起云涌的云时代,各厂商赛马般发布层出不穷的新技术,着实让我们目不暇接。很多人昨天刚玩过Xen,今天看到Redhat宣称KVM ...
分类:   

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2018-7-23 19:31 , Processed in 0.181963 second(s), 19 queries .