炼数成金 门户 大数据
订阅

大数据

京东MySQL数据库主从切换自动化
京东MySQL数据库主从切换自动化
随着京东业务的高速增长,数据的重要性对于京东来说重要程度不说自明,在信息时代,数据有着比人们更大的力量,数据库的价值可见一斑,数据库的存在为人们提供了更快的查询,那么为了更好地做到数据库的高可用,保证 ...
Apache Beam成功孵化为Apache顶级项目:将统一大数据平台开发
Apache Beam成功孵化为Apache顶级项目:将统一大数据平台开发
1 月 10 日,Apache 软件基金会宣布,Apache Beam 成功孵化,成为该基金会的一个新的顶级项目。Apache Beam 在2016年1月发布第一个版本,由 Google 捐献给开源社区,凝聚着 Google 研发大数据基础设施的多年经验。大 ...
基于Spark GraphX实现微博二度关系推荐
基于Spark GraphX实现微博二度关系推荐
二度关系是指用户与用户通过关注者为桥梁发现到的关注者之间的关系。目前微博通过二度关系实现了潜在用户的推荐。用户的一度关系包含了关注、好友两种类型,二度关系则得到关注的关注、关注的好友、好友的关注、好友 ...
2017年你应该学习的编程语言、框架和工具
2017年你应该学习的编程语言、框架和工具
2016 年在开发者圈子中许多新的技术和概念层出不穷,人工智能、机器学习、Progressive Web Apps 等等,各种语言、框架和工具的更新也是让人看得眼花缭乱。2017 年,作为开发者应该跟随潮流还是理性选择新技术?软件 ...
MongoDB 赎金事件持续发酵,究竟是谁之过?
MongoDB 赎金事件持续发酵,究竟是谁之过?
数以万计的个人和可能专有的数据库被从网上删除,替换为要求支付赎金才会返还的票据。雪上加霜的是,似乎还几乎没有一个已经支付赎金的受害者的数据,有得到他们丢失的文件。MongoDB 官方团队的回答是,MongoDB 数据 ...
Google 将 Python 代码转变成 Go 改进性能
Google 将 Python 代码转变成 Go 改进性能
Google 运行了数百万行 Python 代码,YouTube 及其 API 的前端服务器代码主要是用 Python 语言开发的,运行的是 CPython 2.7。Google 多年来一直优化 Python 代码,但始终有一个问题没有解决:并发工作负荷。Google ...
浅谈OpenStack初始化
浅谈OpenStack初始化
目前的OpenStack的部署工具已经很完备了,尤其是Kolla,至少可以满足目前的各种需求。在部署安装的问题解决后,我们对日后如何用好OpenStack就需要做一下研究。这里整理一下目前所关注和思考的问题,也是OpenStack交 ...
30 分钟学会 AWK
30 分钟学会 AWK
AWK是一门解释型的编程语言。在文本处理领域它是非常强大的,它的名字来源于它的三位作者的姓氏:Alfred Aho, Peter Weinberger 和 Brian Kernighan。GNU/Linux发布的AWK目前由自由软件基金会(FSF)进行开发和维护 ...
Go 荣登 TIOBE 年度编程语言
Go 荣登 TIOBE 年度编程语言
TIOBE 最近公布了2017年1月编程语言指数排行榜,排名前三的还是 Java、C、C++, C# 和 Python 排第四和第五。“年度编程语言”是授予在一年中比率增长量最高的编程语言(详情下图中右侧的“比率变动”列)。在2016年 ...
一个来自红帽的Java垃圾回收算法,试图把停顿时间降到10毫秒以下
一个来自红帽的Java垃圾回收算法,试图把停顿时间降到10毫秒以下
早在三年前,Red Hat就启动了Shenandoah项目。Shenandoah是一种新的Java虚拟机GC算法,目标是利用现代多核CPU的优势,减少大堆内存在GC方面存在的停顿时间。Shenandoah后来被贡献给了OpenJDK,正式成为OpenJDK的开源 ...
DB-Engines:SQL Server 获评2016 年度 DBMS 榜首
DB-Engines:SQL Server 获评2016 年度 DBMS 榜首
DB-Engines 网站近日发布了年度 DBMS 排行,在这个榜单上 SQL Server 获评年度DBMS冠军,紧随其后的是 MySQL 和 PostgreSQL 数据库产品。计算结果基于当前( 2017 年 1 月)积分和 2016 年 1 月差值获得。最终的结果 ...
基于Kafka和ElasticSearch,LinkedIn如何构建实时日志分析系统?
基于Kafka和ElasticSearch,LinkedIn如何构建实时日志分析系统?
什么是日志?简单的说日志就是一个结构化的数据+时间戳。计算机开始日志就已经存在,从那时候就有各种各样的工具来帮我们分析、解析或者查找日志。一开始做这个东西的时候,很多团队觉得不是很需要,工程师登录到服 ...
小程序正式上线,你想知道的入口和玩法都在这
小程序正式上线,你想知道的入口和玩法都在这
2017年1月9日,小程序如约而至。小程序究竟该如何获取?首先,你需要将微信更新至iOS6.5.3版本或Android6.5.3版本,其次,你得尝试使用一个小程序。小程序最基础的获取方式,是二维码。大家可以打开扫一扫,通过微信 ...
2016年,分布式数据库的那些事儿都在这里
2016年,分布式数据库的那些事儿都在这里
Hadoop 目前是大数据处理的开源事实标准方案,基于 Hadoop 的数据分析也经历过多年的发展,从最早的手写 MR(Map-Reduce) 开始,不过我相信现在除了很多的非常定制化的场景,直接手写 MR 做数据分析应该已经不多了 ...
大批MongoDB因配置漏洞被攻击,黑客删除数据并勒索赎金
大批MongoDB因配置漏洞被攻击,黑客删除数据并勒索赎金
无需身份验证的开放式MongoDB数据库实例正在遭受多个黑客组织的攻击,被攻破的数据库内容会被加密,受害者必须支付赎金才能找回自己的数据。攻击者利用配置存在疏漏的开源MongoDB数据库展开了一系列勒索行为。此番针 ...
互联网广告作弊十八般武艺(上)
互联网广告作弊十八般武艺(上)
中国在线广告的从业者,都有一颗感恩之心:不论广告主给了你什么样的KPI,不论你的流量多么不堪,都会创造条件把KPI完成,有人把这戏称为“作弊”。当然,除了有感恩之心,还必须要有工匠精神。为了帮助大家在这个行 ...
MySQL 闪回原理与实战
MySQL 闪回原理与实战
DBA或开发人员,有时会误删或者误更新数据,如果是线上环境并且影响较大,就需要能快速回滚。传统恢复方法是利用备份重搭实例,再应用去除错误sql后的binlog来恢复数据。此法费时费力,甚至需要停机维护,并不适合快 ...
到2021年,Hadoop大数据分析市场产值将达406.9亿美元
到2021年,Hadoop大数据分析市场产值将达406.9亿美元
据市场研究咨询公司MarketsandMarkets新发布的一份市场研究报告声称,Hadoop大数据市场产值预计会从2016年的67.1亿美元猛增至2021年的406.9亿美元,2016年至2021年的年复合增长率(CAGR)将高达43.4%。这份报告名为 ...
2016 年漏洞数量最多的软件 Top 50
2016 年漏洞数量最多的软件 Top 50
软件总会有漏洞。目前业内通常使用 CVE 编号对漏洞进行追踪,一旦发现软件存在漏洞,发现者就可以请求 CVE 号码用于追踪该漏洞。CVE 的英文全称是“Common Vulnerabilities Exposures”公共漏洞和暴露。CVE 就好像 ...
每个程序员都应该收藏的算法复杂度速查表
每个程序员都应该收藏的算法复杂度速查表
这篇文章覆盖了计算机科学里面常见算法的时间和空间的Big-O 复杂度。我之前在参加面试前,经常需要花费很多时间从互联网上查找各种搜索和排序算法的优劣,以便我在面试时不会被问住。最近这几年,我面试了几家硅谷的 ...
到底哪种编程语言才是最流行的?
到底哪种编程语言才是最流行的?
经常有人问哪个编程语言最流行?这问题很简单,但是回答起来可没那么简单。首先,我们要知道,为什么人们会问这样的问题?一般问这样的问题是人大多是学生,他们想知道这个问题的答案是因为他们想要找份工作,所以寻 ...
盘点2016年物联网行业十大巨企
盘点2016年物联网行业十大巨企
随着这几年手机市场的持续火爆,相信大家对于高通都不会陌生,从骁龙820到骁龙821,高通受到了众多手机厂商的追捧。高通作为全球3G、4G与下一代无线技术的领导者,正在引领着全球的5G之路。如今在物联网领域,高通也 ...
网络工程师需要的8项技能
网络工程师需要的8项技能
企业网络工程师的日常工作职责今时已不同往日,从负责管理点到点的传输帧和分组,发展成为负责网络、服务器和存储基础设施的管理员之间的联络人。在2017年,这一不断变化的角色将促使网络工程师需要具有更广泛的技能 ...
在 Ubuntu 中用 UFW 配置防火墙
在 Ubuntu 中用 UFW 配置防火墙
UFW,即简单防火墙uncomplicated firewall,是一个 Arch Linux、Debian 或 Ubuntu 中管理防火墙规则的前端。 UFW 通过命令行使用(尽管它有可用的 GUI),它的目的是使防火墙配置简单(即不复杂uncomplicated)。开 ...
九款开源或商业的数据中心基础设施管理软件
九款开源或商业的数据中心基础设施管理软件
当一个公司发展壮大时,相应地对计算资源的需求也会与日俱增。无论是普通公司还是服务提供商,包括那些出租服务器的公司,当服务器数量过多时都不得不面对很多问题。如何盘存服务器和备件?如何维护使数据中心保持健 ...
python : 利用 asyncio 进行快速抓取
python : 利用 asyncio 进行快速抓取
web数据抓取是一个经常在python的讨论中出现的主题。有很多方法可以用来进行web数据抓取,然而其中好像并没有一个最好的办法。有一些如scrapy这样十分成熟的框架,更多的则是像mechanize这样的轻量级库。DIY自己的解 ...
Python 2.x 字符编码终极指南
Python 2.x 字符编码终极指南
在人机交互之字符编码 一文中对字符编码进行了详细的讨论,并通过一些简单的小程序验证了我们对于字符编码的认识。但仅了解这篇文章的内容,并不能帮我们在日常编程中躲过一些字符编码相关的坑,Stackoverflow 上就 ...
Linux提权?这四个脚本可以帮助你
Linux提权?这四个脚本可以帮助你
当你攻击一台计算机时可能会遇到一些拒绝执行操作的限制,就算你有一个shell也可能会遇到此问题。为了获得目标主机的完全控制权限,你需要在未被用户授权的地方绕过权限控制。你可以使用这些权限删除文件,浏览保密 ...
在 Python 应用中使用 MongoDB
在 Python 应用中使用 MongoDB
如果你不是很熟悉NoSQL这个概念,MongoDB就是一个NoSQL数据库。近几年来它越来越受到整个行业的欢迎。NoSQL数据库提供了一个和关系型数据库非常不同的检索方式和存储数据功能。在NoSQL出现的几十年来,SQL数据库是开 ...
为什么总有人黑 JavaScript?
为什么总有人黑 JavaScript?
使用 JavaScript,你不需要下载一个 4GB 大小的 IDE 来创建一个 hello world 程序,你不需要等待 30 秒来编译然后才能执行你的 app,你所需要的一切只是一个文本编辑器。的确 JavaScript 有缺陷,但是,其他任何语言 ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2017-1-17 03:09 , Processed in 0.577415 second(s), 22 queries .