炼数成金 大数据
订阅

大数据

云归档实现电子发现和法规遵从:五要点
云归档实现电子发现和法规遵从:五要点
基于云的归档正在逐步增长,而数据存储的管理者对其抱有巨大期望:有更多选择来将公司的底层基础架构进行外包,以及有更大的潜力来搭建一个无缝的用户体验,并具有几乎无限的扩展容量。
分类:   
十亿亿次 重庆拟建全球最快超算中心
十亿亿次 重庆拟建全球最快超算中心
日前,重庆市召开重庆超级计算中心建设方案论证会,通过了建设重庆超级计算中心的方案。方案指出重庆市在城市管理、基因研究、三峡库区建设方面,以及周边地区在核模拟、航空航天、计算化学等领域研究方面均迫切需要 ...
分类:   
快速搭建 Hadoop 环境
快速搭建 Hadoop 环境
对于Hadoop来说,最主要的是两个方面,一个是分布式文件系统HDFS,另一个是MapReduce计算模型
分类:   
Hadoop学习笔记之:Hadoop的两个部分
Hadoop学习笔记之:Hadoop的两个部分
本文大部分内容都是从官网Hadoop上来的。其中有一篇介绍HDFS的pdf文档,里面对Hadoop介绍的比较全面了。我的这一个系列的Hadoop学习笔记也是从这里一步一步进行下来的,同时又参考了网上的很多文章,对学习Hadoop中遇 ...
分类:   
未来十年:MoreSQL的黄金时代
未来十年:MoreSQL的黄金时代
MoreSQL(之前的NewSQL)旨在将SQL和NoSQL的优势结合起来。通过技术整合,MoreSQL完全可以在SQL(Structured Query Language)的基础上吸收NoSQL的灵活性、可扩展性等优点,迎来关系型数据库的黄金时代。
分类:   
MapR CEO: Hadoop将增强SQL 而不是取代
MapR CEO: Hadoop将增强SQL 而不是取代
Hadoop几乎成了非关系型数据模型的代名词,而SQL似乎被渐渐打入冷宫。知名商业Hadoop供应商MapR的CEO John Schroeder则认为,Hadoop将增强SQL,而不是取代之。
分类:   
分布式文件系统测试方法与测试工具
分布式文件系统测试方法与测试工具
如何对分布式文件系统进行测试评估并选择最适合数据应用的产品系统呢?这里从功能测试和非功能测试两个方面,简要地介绍分布式文件系统的测试方法,并对主要测试工具进行简要说明,为产品选型或产品研发提供依据。
分类:   
初窥SAS云计算
初窥SAS云计算
SAS的云计算由来已早,古称分布式计算,只是很多人不是这一卦的,所以大家都不知道。在SAS 8和更早版本中就提供了SAS/Connect,利用远端服务器上CPU、内存和I/O的强大处理能力,加快计算过程。
分类:   
Oracle推出自己版本的R——Oracle Advanced Analytics
Oracle推出自己版本的R——Oracle Advanced Analytics
Oracle宣布了11g数据库的一个新特性选项Oracle Advanced Analytics,用于在Oracle Data Mining组件中捆绑Oracle R Enterprise。Oracle R Enterprise能给主流的开源统计软件R的用户带来企业级别的性能,这主要获益于O ...
分类:   
Hadoop Map/Reduce教程
Hadoop Map/Reduce教程
这篇教程从用户的角度出发,全面地介绍了Hadoop Map/Reduce框架的各个方面。 先决条件请先确认Hadoop被正确安装、配置和正常运行中。更多信息见: Hadoop快速入门对初次使用者。 Hadoop集群搭建对大规模分布式集群。 ...
分类:   
Forrester分析师解读Hadoop与数据仓库概念
Forrester分析师解读Hadoop与数据仓库概念
企业如何从快速变化的海量数据中获取有价值的洞察力。如何将现有数据仓库架构的功能发挥到最大,Hadoop的优势与劣势,以及大数据时代中每一个数据仓库厂商的发展等。
分类:   
5款备受关注的开源 NoSQL 数据库介绍
5款备受关注的开源 NoSQL 数据库介绍
随着社会化网站的兴起,传统的关系数据库在应付这类网站,特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心,暴露了很多难以克服的问题,而非关系型的数据库则由于其本身的特点得到了非常迅速的发 ...
分类:   
2012年的高科技亮点:云计算快速蚕食传统模式
2012年的高科技亮点:云计算快速蚕食传统模式
2012年全球IT支出额将出现较大幅度增加,移动设备、应用及新兴市场将成为主要增长点。与此同时,诸如云计算、存储、数据管理及通信等方面的服务可能会为未来全球企业技术的发展带来显著且至关重要的影响和变化。
分类:   
云计算新动向:IT从业者被引向数据挖掘
云计算新动向:IT从业者被引向数据挖掘
云计算已经为世界各地的组织机构提供了数据访问、存储和应用程序,大大提高了灵活性并节省了成本。一项新的研究预言,由于云计算的出现,IT从业者不久将引向数据挖掘,这意味着公司有更大的灵活性和更低的成本——但 ...
分类:   
展望2012:Hadoop大展拳脚 催生连接器
展望2012:Hadoop大展拳脚 催生连接器
Hadoop是一种基于免费许可、支持数据密集型分布式应用的软件框架,建立在MapReduce技术上,使应用可以处理数千个节点和PB级数据,让数据处理和数据分析变得更加方便快捷,应用于企业中将改变很多企业的业务模式,它包 ...
分类:   
Facebook实时信息系统:HBase每月存储1350亿条信息
Facebook实时信息系统:HBase每月存储1350亿条信息
HBase是一个可以横向扩张的表存储系统,能够为大规模数据提供速度极快的低等级更新。这正是信息系统所需要的功能。另外,HBase是一个基于列的键值存储系统,并且是构建于 BigTabe 模型之上。HBase善于根据键访问行, ...
分类:   
网站点击热力图的技术实现
网站点击热力图的技术实现
一、捕捉用户点击行为二、分析客户端点击日志三、使用日志分析结果渲染图片四、热力图的最终展现
分类:   
针对Hadoop MapReduce的数据处理API
针对Hadoop MapReduce的数据处理API
Cascading是一个新式的针对Hadoop clusters的数据处理API,它使用富于表现力的API来构建复杂的处理工作流,而不是直接实现Hadoop MapReduce的算法。   该处理API使开发者可以快速装配复杂的分布式流程,而无需“考 ...
分类:   
关于MapReduce-Hadoop权威指南连载
关于MapReduce-Hadoop权威指南连载
MapReduce是一种可用于数据处理的编程模型。该模型比较简单,但用于编写有用的程序并不简单。Hadoop可以运行由各种语言编写的MapReduce程序。本章中,我们将看到用Java、Ruby、Python 和C++语言编写的同一个程序。最 ...
分类:   
Hadoop:HDFS权限管理用户指南
Hadoop:HDFS权限管理用户指南
Hadoop分布式文件系统实现了一个和POSIX系统类似的文件和目录的权限模型。每个文件和目录有一个所有者(owner)和一个组(group)。文件或目录对其所有者、同组的其他用户以及所有其他用户分别有着不同的权限。对文件 ...
分类:   
Hadoop Shell命令
Hadoop Shell命令
调用文件系统(FS)Shell命令应使用 bin/hadoop fs args的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对本地文件系统,scheme是file。其中sc ...
分类:   
用Hadoop进行分布式并行编程, 第2 部分
用Hadoop进行分布式并行编程, 第2 部分
在本文中,将针对一个具体的计算任务,介绍如何基于 Hadoop 编写并行程序,如何使用 IBM 开发的 Hadoop Eclipse plugin 在 Eclipse 环境中编译并运行程序。 分析 WordCount 程序 我们先来看看 Hadoop 自带的示例程序 ...
分类:   
Hadoop分布式文件系统:架构和设计要点
Hadoop分布式文件系统:架构和设计要点
Hadoop分布式文件系统:架构和设计要点   一、前提和设计目标   1、硬件错误是常态,而非异常情况,HDFS可能是有成百上千的server组成,任何一个组件都有可能一直失效,因此错误检测和快速、自动的恢复是HDFS的核 ...
分类:   
基于位置的实时游戏MapAttack的技术实现
基于位置的实时游戏MapAttack的技术实现
MapAttack是一款实时的,基于地理位置的游戏,其通过Socket.io,node.js,和Redis实现了其实时性。下面文章对整个游戏及其技术实现进行了描述,推荐给大家。 这里我将向大家表述我们如何利用Socket.io、Redis、Node. ...
分类:   
RedBridge: 为Redis提供HTTP API及连接池功能
RedBridge: 为Redis提供HTTP API及连接池功能
RedBridge是一款基于Redis的 HTTP API。使用LUA直接跟Redis交互,对Redis的连接实现连接池。(类似数据库的存储过程) 高效的实现复杂的业务逻辑。 项目网址:http://code.google.com/p/redbridge/ 使用环境:Linux 2 ...
分类:   
Bump的Redis应用经验
Bump的Redis应用经验
这里说的Bump就是那个手机碰一碰就能交换信息的app,本文来自Bump的开发者博客,他们描述了自己使用Redis的几种方法,以及在使用过程中的一些经验,包括与MongoDB同机部署的一些问题 1.将Redis用作消息队列 采用的当 ...
分类:   
节约内存:Instagram的Redis实践
节约内存:Instagram的Redis实践
Instagram可以说是网拍App的始祖级应用,也是当前最火热的拍照App之一,Instagram的照片数量已经达到3亿,而在Instagram里,我们需要知道每一张照片的作者是谁,下面就是Instagram团队如何使用Redis来解决这个问题并 ...
分类:   
Redis内存容量的预估和优化
Redis内存容量的预估和优化
Redis是个内存全集的kv数据库,不存在部分数据在磁盘部分数据在内存里的情况,所以提前预估和节约内存非常重要.本文将以最常用的string和zipmap两类数据结构在jemalloc内存分配器下的内存容量预估和节约内存的方法. 先 ...
分类:   
Redis优化之网络延迟
Redis优化之网络延迟
我们知道Redis协议是构建在TCP协议之上的。所以当我们在脚本中调用Redis时,通常是以发送-应答-再发送-再应答的模式进行的,而每一次发送与应答,都需要数据从客户端到服务端飞一次。而且,这一切都是默认的。 当你需 ...
分类:   
使用Redis bitmap进行活跃用户统计
使用Redis bitmap进行活跃用户统计
Redis支持对String类型的value进行基于二进制位的置位操作。通过将一个用户的id对应value上的一位,通过对活跃用户对应的位进行置位,就能够用一个value记录所有活跃用户的信息。如下图所未,下图中的bitmap有9个位被 ...
分类:   

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2018-7-23 19:45 , Processed in 0.231232 second(s), 19 queries .