炼数成金 大数据
订阅

大数据

云计算新动向:IT从业者被引向数据挖掘
云计算新动向:IT从业者被引向数据挖掘
云计算已经为世界各地的组织机构提供了数据访问、存储和应用程序,大大提高了灵活性并节省了成本。一项新的研究预言,由于云计算的出现,IT从业者不久将引向数据挖掘,这意味着公司有更大的灵活性和更低的成本——但 ...
分类:   
展望2012:Hadoop大展拳脚 催生连接器
展望2012:Hadoop大展拳脚 催生连接器
Hadoop是一种基于免费许可、支持数据密集型分布式应用的软件框架,建立在MapReduce技术上,使应用可以处理数千个节点和PB级数据,让数据处理和数据分析变得更加方便快捷,应用于企业中将改变很多企业的业务模式,它包 ...
分类:   
Facebook实时信息系统:HBase每月存储1350亿条信息
Facebook实时信息系统:HBase每月存储1350亿条信息
HBase是一个可以横向扩张的表存储系统,能够为大规模数据提供速度极快的低等级更新。这正是信息系统所需要的功能。另外,HBase是一个基于列的键值存储系统,并且是构建于 BigTabe 模型之上。HBase善于根据键访问行, ...
分类:   
网站点击热力图的技术实现
网站点击热力图的技术实现
一、捕捉用户点击行为二、分析客户端点击日志三、使用日志分析结果渲染图片四、热力图的最终展现
分类:   
针对Hadoop MapReduce的数据处理API
针对Hadoop MapReduce的数据处理API
Cascading是一个新式的针对Hadoop clusters的数据处理API,它使用富于表现力的API来构建复杂的处理工作流,而不是直接实现Hadoop MapReduce的算法。   该处理API使开发者可以快速装配复杂的分布式流程,而无需“考 ...
分类:   
关于MapReduce-Hadoop权威指南连载
关于MapReduce-Hadoop权威指南连载
MapReduce是一种可用于数据处理的编程模型。该模型比较简单,但用于编写有用的程序并不简单。Hadoop可以运行由各种语言编写的MapReduce程序。本章中,我们将看到用Java、Ruby、Python 和C++语言编写的同一个程序。最 ...
分类:   
Hadoop:HDFS权限管理用户指南
Hadoop:HDFS权限管理用户指南
Hadoop分布式文件系统实现了一个和POSIX系统类似的文件和目录的权限模型。每个文件和目录有一个所有者(owner)和一个组(group)。文件或目录对其所有者、同组的其他用户以及所有其他用户分别有着不同的权限。对文件 ...
分类:   
Hadoop Shell命令
Hadoop Shell命令
调用文件系统(FS)Shell命令应使用 bin/hadoop fs args的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对本地文件系统,scheme是file。其中sc ...
分类:   
用Hadoop进行分布式并行编程, 第2 部分
用Hadoop进行分布式并行编程, 第2 部分
在本文中,将针对一个具体的计算任务,介绍如何基于 Hadoop 编写并行程序,如何使用 IBM 开发的 Hadoop Eclipse plugin 在 Eclipse 环境中编译并运行程序。 分析 WordCount 程序 我们先来看看 Hadoop 自带的示例程序 ...
分类:   
Hadoop分布式文件系统:架构和设计要点
Hadoop分布式文件系统:架构和设计要点
Hadoop分布式文件系统:架构和设计要点   一、前提和设计目标   1、硬件错误是常态,而非异常情况,HDFS可能是有成百上千的server组成,任何一个组件都有可能一直失效,因此错误检测和快速、自动的恢复是HDFS的核 ...
分类:   
基于位置的实时游戏MapAttack的技术实现
基于位置的实时游戏MapAttack的技术实现
MapAttack是一款实时的,基于地理位置的游戏,其通过Socket.io,node.js,和Redis实现了其实时性。下面文章对整个游戏及其技术实现进行了描述,推荐给大家。 这里我将向大家表述我们如何利用Socket.io、Redis、Node. ...
分类:   
RedBridge: 为Redis提供HTTP API及连接池功能
RedBridge: 为Redis提供HTTP API及连接池功能
RedBridge是一款基于Redis的 HTTP API。使用LUA直接跟Redis交互,对Redis的连接实现连接池。(类似数据库的存储过程) 高效的实现复杂的业务逻辑。 项目网址:http://code.google.com/p/redbridge/ 使用环境:Linux 2 ...
分类:   
Bump的Redis应用经验
Bump的Redis应用经验
这里说的Bump就是那个手机碰一碰就能交换信息的app,本文来自Bump的开发者博客,他们描述了自己使用Redis的几种方法,以及在使用过程中的一些经验,包括与MongoDB同机部署的一些问题 1.将Redis用作消息队列 采用的当 ...
分类:   
节约内存:Instagram的Redis实践
节约内存:Instagram的Redis实践
Instagram可以说是网拍App的始祖级应用,也是当前最火热的拍照App之一,Instagram的照片数量已经达到3亿,而在Instagram里,我们需要知道每一张照片的作者是谁,下面就是Instagram团队如何使用Redis来解决这个问题并 ...
分类:   
Redis内存容量的预估和优化
Redis内存容量的预估和优化
Redis是个内存全集的kv数据库,不存在部分数据在磁盘部分数据在内存里的情况,所以提前预估和节约内存非常重要.本文将以最常用的string和zipmap两类数据结构在jemalloc内存分配器下的内存容量预估和节约内存的方法. 先 ...
分类:   
Redis优化之网络延迟
Redis优化之网络延迟
我们知道Redis协议是构建在TCP协议之上的。所以当我们在脚本中调用Redis时,通常是以发送-应答-再发送-再应答的模式进行的,而每一次发送与应答,都需要数据从客户端到服务端飞一次。而且,这一切都是默认的。 当你需 ...
分类:   
使用Redis bitmap进行活跃用户统计
使用Redis bitmap进行活跃用户统计
Redis支持对String类型的value进行基于二进制位的置位操作。通过将一个用户的id对应value上的一位,通过对活跃用户对应的位进行置位,就能够用一个value记录所有活跃用户的信息。如下图所未,下图中的bitmap有9个位被 ...
分类:   
EMC为企业提供基于Hadoop的大数据分析
EMC为企业提供基于Hadoop的大数据分析
• EMC今天针对Apache Hadoop开源软件作为企业就绪的大数据工具,宣布了一项有关软件发布、集成和支持的全面战略。   • EMC推出了世界上第一个定制的、高性能的、Hadoop数据协同处理设备,面向结构化和 ...
分类:   
Hadoop命令手册
Hadoop命令手册
所有的hadoop命令均由bin/hadoop脚本引发。不指定参数运行hadoop脚本会打印所有命令的描述。 用法:hadoop Hadoop有一个选项解析框架用于解析一般的选项和运行类。 命令选项 描述 --config confdir 覆盖缺省配置 ...
分类:   
使用 Linux 和 Hadoop 进行分布式计算
使用 Linux 和 Hadoop 进行分布式计算
Hadoop 是最受欢迎的在 Internet 上对搜索关键字进行内容分类的工具,但它也可以解决许多要求极大伸缩性的问题。例如,如果您要 grep 一个 10TB 的巨型文件,会出现什么情况?在传统的系统上,这将需要很长的时间。但 ...
分类:   
大数据时代 Hadoop解决数据处理三瓶颈
大数据时代 Hadoop解决数据处理三瓶颈
越来越多的大企业的数据集以及创建需要的一切技术,包括存储、网络、分析、归档和检索等,这些被认为是海量数据。这些大量信息直接推动了存储、服务器以及安全的发展。同时也是给IT部门带来了一系列必须解决的问题。 ...
分类:   
Hadoop Streaming
Hadoop Streaming
Hadoop streaming是Hadoop的一个工具, 它帮助用户创建和运行一类特殊的map/reduce作业, 这些特殊的map/reduce作业是由一些可执行文件或脚本文件充当mapper或者reducer。例如: $HADOOP_HOME/bin/hadoop jar $HADOO ...
分类:   
Redis几个认识误区
Redis几个认识误区
此文的作者是新浪微博平台架构师杨卫华(timyang)大师,如果关注了新浪一些牛人微博的同学应该知道,timyang前段时间正在对Redis进行一些研究和测试,也分享出了不少成果。下面一篇文章相信是timyang这段时间对Redi ...
分类:   
Redis事件驱动库结构
Redis事件驱动库结构
本文翻译自Redis官方对事件驱动库的结构描述,英文原文点这里,由Day Day Up博客原创,文章写的时间已经比较长了,今天才被NoSQLFan挖出来,实属难得。 下面就是其原文: 文章地址:blog.ddup.us 这是一篇翻译文章 ...
分类:   
Redis SPOP不随机的问题
Redis SPOP不随机的问题
Redis 的 sets 结构有一个SPOP方法,方法描述为“Remove and return a random member from a set”,方法说明是随机的。但实际上通过测试表时此方法并不如说的这样随机,比如你将1,2,3,4四个数字用SADD添加到某一 ...
分类:   
Redis String类型实现原理
Redis String类型实现原理
本文推荐的是一篇对Redis官方文档的翻译,是Day Day Up博客的Redis文档翻译系列文章之一,内容是Redis中String数据类型的内部实现。废话不多说,请看文章吧。 原文链接:blog.ddup.us 这是一篇翻译文章,原文在这里 ...
分类:   
Redis进阶教程-aof(append only file)日志文件
Redis进阶教程-aof(append only file)日志文件
原文出处:http://lgone.com/html/y2010/757.html 今天看了Redis源码两个多小时,搞清楚了append only file(AOF)日志的rotate原理.官方文档里面对这部分做了单独的说明,但是就我看来,作者不够优美的用词,完全会让人理解 ...
分类:   
Redis集群功能说明
Redis集群功能说明
虽然目前可以通过在客户端做hash的方法来构建Redis集群,但Redis原生的集群支持还是颇受期待。本文是对Redis集群功能官方描述文档的一个翻译,译者是@PPS萝卜同学,也感谢他的投稿分享。 介绍 这篇文档主要是为了说 ...
分类:   
Redis zipmap内存布局分析
Redis zipmap内存布局分析
本文转自《淘宝核心系统团队博客》,作者为@淘宝千石,文章对Redis的zipmap内部结构进行了分析,主要包括了其内存使用及几个常用API的操作流程。 Redis被称为key/value应用中的瑞士军刀,除了其丰富的数据结构支持, ...
分类:   
深入理解Redis内部实现
相信很多人已经对Redis有所了解,包括其丰富的数据结构及操作,高性能,持久化等等。而Redis文档对每一个命令的复杂度也有相当详细的描述。下面PPT则是深入Redis内部,对Redis的内部实现进行了介绍。相信会让你对Red ...
分类:   

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2018-4-22 14:33 , Processed in 0.180076 second(s), 19 queries .