炼数成金 ›大数据

大数据

网站点击热力图的技术实现: 一、捕捉用户点击行为二、分析客户端点击日志三、使用日志分析结果渲染图片四、热力图的最终展现; 分类: JavaScript

针对Hadoop MapReduce的数据处理API: Cascading是一个新式的针对Hadoop clusters的数据处理API，它使用富于表现力的API来构建复杂的处理工作流，而不是直接实现Hadoop MapReduce的算法。　　该处理API使开发者可以快速装配复杂的分布式流程，而无需“考 ...; 分类: Hadoop

关于MapReduce-Hadoop权威指南连载: MapReduce是一种可用于数据处理的编程模型。该模型比较简单，但用于编写有用的程序并不简单。Hadoop可以运行由各种语言编写的MapReduce程序。本章中，我们将看到用Java、Ruby、Python 和C++语言编写的同一个程序。最 ...; 分类: Hadoop

Hadoop：HDFS权限管理用户指南: Hadoop分布式文件系统实现了一个和POSIX系统类似的文件和目录的权限模型。每个文件和目录有一个所有者（owner）和一个组（group）。文件或目录对其所有者、同组的其他用户以及所有其他用户分别有着不同的权限。对文件 ...; 分类: Hadoop

Hadoop Shell命令: 调用文件系统(FS)Shell命令应使用 bin/hadoop fs args的形式。所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中sc ...; 分类: Hadoop

用Hadoop进行分布式并行编程, 第2 部分: 在本文中，将针对一个具体的计算任务，介绍如何基于 Hadoop 编写并行程序，如何使用 IBM 开发的 Hadoop Eclipse plugin 在 Eclipse 环境中编译并运行程序。分析 WordCount 程序我们先来看看 Hadoop 自带的示例程序 ...; 分类: Hadoop

Hadoop分布式文件系统：架构和设计要点: Hadoop分布式文件系统：架构和设计要点　　一、前提和设计目标　　1、硬件错误是常态，而非异常情况，HDFS可能是有成百上千的server组成，任何一个组件都有可能一直失效，因此错误检测和快速、自动的恢复是HDFS的核 ...; 分类: Hadoop

基于位置的实时游戏MapAttack的技术实现: MapAttack是一款实时的，基于地理位置的游戏，其通过Socket.io，node.js，和Redis实现了其实时性。下面文章对整个游戏及其技术实现进行了描述，推荐给大家。这里我将向大家表述我们如何利用Socket.io、Redis、Node. ...; 分类: 增强现实与虚拟现实

RedBridge: 为Redis提供HTTP API及连接池功能: RedBridge是一款基于Redis的 HTTP API。使用LUA直接跟Redis交互，对Redis的连接实现连接池。(类似数据库的存储过程) 高效的实现复杂的业务逻辑。项目网址：http://code.google.com/p/redbridge/ 使用环境：Linux 2 ...; 分类: 数据库

Bump的Redis应用经验: 这里说的Bump就是那个手机碰一碰就能交换信息的app，本文来自Bump的开发者博客，他们描述了自己使用Redis的几种方法，以及在使用过程中的一些经验，包括与MongoDB同机部署的一些问题 1.将Redis用作消息队列采用的当 ...; 分类: 数据库

节约内存：Instagram的Redis实践: Instagram可以说是网拍App的始祖级应用，也是当前最火热的拍照App之一，Instagram的照片数量已经达到3亿，而在Instagram里，我们需要知道每一张照片的作者是谁，下面就是Instagram团队如何使用Redis来解决这个问题并 ...; 分类: 数据库

Redis内存容量的预估和优化: Redis是个内存全集的kv数据库,不存在部分数据在磁盘部分数据在内存里的情况,所以提前预估和节约内存非常重要.本文将以最常用的string和zipmap两类数据结构在jemalloc内存分配器下的内存容量预估和节约内存的方法. 先 ...; 分类: 数据库

Redis优化之网络延迟: 我们知道Redis协议是构建在TCP协议之上的。所以当我们在脚本中调用Redis时，通常是以发送-应答-再发送-再应答的模式进行的，而每一次发送与应答，都需要数据从客户端到服务端飞一次。而且，这一切都是默认的。当你需 ...; 分类: 数据库

使用Redis bitmap进行活跃用户统计: Redis支持对String类型的value进行基于二进制位的置位操作。通过将一个用户的id对应value上的一位，通过对活跃用户对应的位进行置位，就能够用一个value记录所有活跃用户的信息。如下图所未，下图中的bitmap有9个位被 ...; 分类: 数据库

EMC为企业提供基于Hadoop的大数据分析: • EMC今天针对Apache Hadoop开源软件作为企业就绪的大数据工具，宣布了一项有关软件发布、集成和支持的全面战略。　　• EMC推出了世界上第一个定制的、高性能的、Hadoop数据协同处理设备，面向结构化和 ...; 分类: Hadoop

Hadoop命令手册: 所有的hadoop命令均由bin/hadoop脚本引发。不指定参数运行hadoop脚本会打印所有命令的描述。用法：hadoop Hadoop有一个选项解析框架用于解析一般的选项和运行类。命令选项描述 --config confdir 覆盖缺省配置 ...; 分类: Hadoop

使用 Linux 和 Hadoop 进行分布式计算: Hadoop 是最受欢迎的在 Internet 上对搜索关键字进行内容分类的工具，但它也可以解决许多要求极大伸缩性的问题。例如，如果您要 grep 一个 10TB 的巨型文件，会出现什么情况？在传统的系统上，这将需要很长的时间。但 ...; 分类: Hadoop

大数据时代 Hadoop解决数据处理三瓶颈: 越来越多的大企业的数据集以及创建需要的一切技术，包括存储、网络、分析、归档和检索等，这些被认为是海量数据。这些大量信息直接推动了存储、服务器以及安全的发展。同时也是给IT部门带来了一系列必须解决的问题。 ...; 分类: Hadoop

Hadoop Streaming: Hadoop streaming是Hadoop的一个工具，它帮助用户创建和运行一类特殊的map/reduce作业，这些特殊的map/reduce作业是由一些可执行文件或脚本文件充当mapper或者reducer。例如： $HADOOP_HOME/bin/hadoop jar $HADOO ...; 分类: Hadoop

Redis几个认识误区: 此文的作者是新浪微博平台架构师杨卫华（timyang）大师，如果关注了新浪一些牛人微博的同学应该知道，timyang前段时间正在对Redis进行一些研究和测试，也分享出了不少成果。下面一篇文章相信是timyang这段时间对Redi ...; 分类: 数据库

Redis事件驱动库结构: 本文翻译自Redis官方对事件驱动库的结构描述，英文原文点这里，由Day Day Up博客原创，文章写的时间已经比较长了，今天才被NoSQLFan挖出来，实属难得。下面就是其原文：文章地址：blog.ddup.us 这是一篇翻译文章 ...; 分类: 数据库

Redis SPOP不随机的问题: Redis 的 sets 结构有一个SPOP方法，方法描述为“Remove and return a random member from a set”，方法说明是随机的。但实际上通过测试表时此方法并不如说的这样随机，比如你将1，2，3，4四个数字用SADD添加到某一 ...; 分类: 数据库

Redis String类型实现原理: 本文推荐的是一篇对Redis官方文档的翻译，是Day Day Up博客的Redis文档翻译系列文章之一，内容是Redis中String数据类型的内部实现。废话不多说，请看文章吧。原文链接：blog.ddup.us 这是一篇翻译文章，原文在这里 ...; 分类: 数据库

Redis进阶教程-aof(append only file)日志文件: 原文出处:http://lgone.com/html/y2010/757.html 今天看了Redis源码两个多小时,搞清楚了append only file(AOF)日志的rotate原理.官方文档里面对这部分做了单独的说明,但是就我看来,作者不够优美的用词,完全会让人理解 ...; 分类: 数据库

Redis集群功能说明: 虽然目前可以通过在客户端做hash的方法来构建Redis集群，但Redis原生的集群支持还是颇受期待。本文是对Redis集群功能官方描述文档的一个翻译，译者是@PPS萝卜同学，也感谢他的投稿分享。介绍这篇文档主要是为了说 ...; 分类: 数据库

Redis zipmap内存布局分析: 本文转自《淘宝核心系统团队博客》，作者为@淘宝千石，文章对Redis的zipmap内部结构进行了分析，主要包括了其内存使用及几个常用API的操作流程。 Redis被称为key/value应用中的瑞士军刀，除了其丰富的数据结构支持， ...; 分类: 数据库

深入理解Redis内部实现: 相信很多人已经对Redis有所了解，包括其丰富的数据结构及操作，高性能，持久化等等。而Redis文档对每一个命令的复杂度也有相当详细的描述。下面PPT则是深入Redis内部，对Redis的内部实现进行了介绍。相信会让你对Red ...; 分类: 数据库

Redis源码分析-内存分配: 本文转载自Day Day Up博客，文章对Redis的内存分配封装zmalloc库进行了分析，描述了Redis在内存分配和使用统计方面的各种细节和技巧。原文链接：blog.ddup.us Redis中到处都会进行内存分配操作。为了屏蔽不同平台之 ...; 分类: 数据库

redis源码分析-如何rehash: hash table是一种高效的数据结构，被广泛的用在key-value存储中，Redis的dict其实就是一个典型的hash table实现。 rehash是在hash table的大小不能满足需求，造成过多hash碰撞后需要进行的扩容hash table的操作，其实 ...; 分类: 数据库

深入Redis内部-Redis 源码讲解: Redis 作为 NoSQL 数据库的杰出代表，一直广受关注，其轻量级的敏捷架构，向来有存储中的瑞士军刀之称。下面推荐的一篇文章，从源码的角度讲解了Redis 的整个工作流程，是了解 Redis 流程的绝佳文章。强烈推荐：原文 ...; 分类: 数据库

1 ... 185 186 187 188 189 190191192 / 192 页下一页

热门频道

大数据
商业智能

量化投资
科学探索
创业

即将开课

热门文章

• 打破 Google 破坏性的搜索垄断

GMT+8, 2021-3-6 19:17 , Processed in 0.198503 second(s), 19 queries .