炼数成金 大数据
订阅

大数据

一羽不能加,蝇虫不能落?
一羽不能加,蝇虫不能落?
现有世界的加密算法,已经足够彪悍,只要钥匙长度足够,以现在的电脑算力基本不能破解,或动辄以亿万年计。随便举个例子,破解RSA-2048的密钥可能需要耗费传统电脑10亿年时间,如果你仍然不放心,可以在后面加几个字 ...
分类:   
Zabbix 3.4.0rc2已经发布,正式版不远了
Zabbix 3.4.0rc2已经发布,正式版不远了
全新的3.4.0在大的功能不变的情况下,比较重视一些小细节的优化,可提供的配置项也越来越多,这样情况下,要求使用人员的专业度也越高,每个参数都需要了解。1、全新的仪表盘,好看不少,至少清爽2、全新的地图导航 ...
分类:   
如何选择使用开源软件建立监控体系
如何选择使用开源软件建立监控体系
我们先来谈谈IT运维的监控结构。这里说的IT运维监控,是在机房基础建设之上的,不包括机房的风、水、电等基础建设的监控。IT运维监控主要分为三大领域:基础环境监控、安全监控、应用监控。基础环境监控指针对数据中 ...
分类:   
github 迁移到Kubernetes 背后的思考
github 迁移到Kubernetes 背后的思考
去年,GitHub 已经改进了 Ruby on Rails 应用的基础设施,该应用负责运行 github.com 和 api.github.com。最近我们实现了一个重要里程碑,即:所有 Web 和 API 请求都由 Kubernetes 集群中运行的容器来处理,这些集 ...
分类:   
Redis 主从配置心得及其高可用方案
Redis 主从配置心得及其高可用方案
当配置好slave后,slave与master建立连接,然后发送sync命令。无论是第一次连接还是重新连接,master都会启动一个后台进程,将 数据库快照保存到文件中,同时master主进程会开始收集新的写命令并缓存。后台进程完成 ...
分类:   
从分布式计算到分布式训练
从分布式计算到分布式训练
随着科技的发展,“数据存储”领域有了质和量的双向发展,除了稳定性、安全性的提升外,容量也呈指数级增长。因此可以在单机上直接构建整套服务,类似LAMP类似的这种一键搭建服务器的套装软件有了更多的应用场景。然 ...
分类:   
流式计算新贵Kafka Stream设计详解
流式计算新贵Kafka Stream设计详解
Kafka Stream 是 Apache Kafka 从 0.10 版本引入的一个新 Feature。它提供了对存储于 Kafka 内的数据进行流式处理和分析的功能。一般流式计算会与批量计算相比较。在流式计算模型中,输入是持续的,可以认为在时间上 ...
分类:   
前端跨域知识总结
前端跨域知识总结
跨域一词从字面意思看,就是跨域名嘛,但实际上跨域的范围绝对不止那么狭隘。具体概念如下:只要协议、域名、端口有任何一个不同,都被当作是不同的域。之所以会产生跨域这个问题呢,其实也很容易想明白,要是随便引 ...
分类:   
Redis 一夜之间不见 90000 个 Key ? 数据丢失?淡定!
Redis 一夜之间不见 90000 个 Key ? 数据丢失?淡定!
因为 Redis 的持久化特性,数据还原很难保证一致性,因 rdb 全备和 aof 重写备份,RPO 不能像 MySQL 这样保证恢复到故障操作的前一个事务。缓存的应用场景,如果大量缓存数据丢失,往往导致后端存储组件” 打死 “, ...
分类:   
要怎样努力,才能修炼成一个架构师?
要怎样努力,才能修炼成一个架构师?
我觉得在未来,编程会像英语、电脑一样是一个很通用的技能。首先是编程的门槛越来越低,从 Fortran, Pascal, C 到 Java, Python,编程语言其实是越来越简单的,即使你不是专业的软件工程师,学会用 Python 写一些简 ...
分类:   
一文读懂Apache Kudu
一文读懂Apache Kudu
Apache Kudu是由Cloudera开源的存储引擎,可以同时提供低延迟的随机读写和高效的数据分析能力。Kudu支持水平扩展,使用Raft协议进行一致性保证,并且与Cloudera Impala和Apache Spark等当前流行的大数据查询和分析工 ...
分类:   
原创翻译 | 你脑中的大数据会告诉你什么?
原创翻译 | 你脑中的大数据会告诉你什么?
你真的想知道吗? 与其它的疯狂的项目相比,Elon Musk 这次想要帮助我们连接大脑。 根据华尔街日报的最近报道,他正在支持一个叫做Neuralink的操作,此操作正在尝试把电极放入人的大脑来增强它们的功能。对于各 ...
分类:   
DRAM涨价是三星压制中国智能手机厂商的手段?
DRAM涨价是三星压制中国智能手机厂商的手段?
8月17日,DRAMeXchange发布的调查显示,今年第二季度DRAM产业营收表现再创新高。从价格方面看,由于客户端已经将库存水位逐步往上提升,二季度供不应求状况虽不至于像第一季度严重,但整体仍处于供货吃紧的状况。标 ...
分类:   
11 大编程语言薪资排行榜,再不学Python就晚了!
11 大编程语言薪资排行榜,再不学Python就晚了!
在美国,软件工作岗位在线招聘数量从 2007 年到 2012 年增长了 31%,比总体工作岗位增速快了 3 倍。美国劳工统计局估计,软件开发人员的工作从 2012 年到 2022 年将以 22% 的增幅继续增长。这里有个数字,2016 年 5 ...
分类:   
Dropbox的GO语言之旅:可靠性和持久性
Dropbox的GO语言之旅:可靠性和持久性
“Go语言非常高效,支持扩展,而且还能提高生产。一些程序员觉得使用Go进行工作很有趣;另一些人则认为它缺乏想象力,甚至枯燥乏味。本文我们将解释为什么这些对立的观点是不成立的。Go语言旨在解决谷歌在软件开发中 ...
分类:   
Python操作docx文档设置居中并创建表格
Python操作docx文档设置居中并创建表格
功能描述:本文代码使用python-docx操作docx文档,添加一段文字并设置居中对齐,添加一个表格并为所有单元格设置文字。from docx import Documentfrom docx.enum.text import WD_ALIGN_PARAGRAPH# 设置行和列的数量r ...
分类:   
为什么Docker会受欢迎?看完这些才恍然大悟
为什么Docker会受欢迎?看完这些才恍然大悟
Docker不是唯一的容器平台,也不是第一个推出的。其他框架,如OpenVZ和LXC,从20世纪20年代中期诞生。而其他类似容器的技术,如FreeBSD更进一步。而Docker在2013年发布,与目前的大多数主流技术相比,是一个非常年轻 ...
分类:   
全球最大数据中心计划建在北极圈内:60万平方米
全球最大数据中心计划建在北极圈内:60万平方米
据外媒报道,打造全球最大数据中心的计划现在公布了。这个数据中心将位于挪威小城巴朗恩。该小城位于北极圈内。负责这个项目的公司Kolos称,当地寒冷的空气和丰富的水电将有助于它保持较低的能源成本。但是,这个地 ...
分类:   
Oracle开源库现在向广大C和C++ 开发人员开放!
Oracle开源库现在向广大C和C++ 开发人员开放!
Oracle Database Programming Interface for C(ODPI-C)的生产级版本现已放在了代码托管平台GitHub(https://github.com/oracle/odpi)上,该版本让广大C和C++ 开发人员可以更便捷地访问Oracle数据库。这个开源封装 ...
分类:   
AWS VS Kubernetes
AWS VS Kubernetes
亚马逊最近成为云原生计算基金会(CNCF)的新成员与它对谷歌启动的这个容器项目实际贡献的代码不相称。这可能最终会害了AWS。亚马逊网络服务(AWS)已加入了这个“唯独缺少AWS”的俱乐部,郑重承诺会支持云原生计算 ...
分类:   
Google理论背书与百度实践加持:百度Palo数据库宣布开源
Google理论背书与百度实践加持:百度Palo数据库宣布开源
开发百度 Palo 的团队可以追述到几年前的广告部门的报表系统团队,最初这个团队主要是为百度广告系统开发供广告主查看的在线广告报表系统,由于在线广告报表系统需要满足上百万广告主的大量查询分析需求,这个使用传 ...
分类:   
对话Oracle数据库之父:领先对手10年?凭啥口气这么大?
对话Oracle数据库之父:领先对手10年?凭啥口气这么大?
Oracle数据库每个版本的功能开发都由谁来决定?如何保持持续不断的创新?面对我的问题,他表示,主要是由领头人决定。Oracle数据库的研发团队会有六到七个主要关注的技术方向,如大数据、高可用、集群、安全等,每个技 ...
分类:   
如果有人问你 SQL 注入的资料,请叫他看这份速查表
如果有人问你 SQL 注入的资料,请叫他看这份速查表
SQL注入速查表是可以为你提供关于不同种类 SQL注入漏洞 的详细信息的一个资源。这份速查表对于经验丰富的渗透测试人员,或者刚开始接触 Web应用安全 的初学者,都是一份很好的参考资料。含了 MySQL 、SQL Server,和 ...
分类:   
2017年顶尖的JavaScript插件列表!
2017年顶尖的JavaScript插件列表!
JavaScript是一种强大而动态的语言,是ECMAScript语言规范中已经标准化的最强大的解释型语言之一,它与HTML、CSS一道被称为web开发的三大核心技术。即便JavaScript很火,也不是每个人都能熟练掌握JavaScript插件,本 ...
分类:   
Spark Streaming笔记——技术点汇总
Spark Streaming笔记——技术点汇总
Spark Streaming支持实时数据流的可扩展(scalable)、高吞吐(high-throughput)、容错(fault-tolerant)的流处理(stream processing)。Spark在接收到实时输入数据流后,将数据划分成批次(divides the data int ...
分类:   
物联网能否爆发就看这十个方面
物联网能否爆发就看这十个方面
物联网作为一个正蒸蒸日上的新市场,以每年年复合增长率16.9%的速率快速攀升,将取代现有的生活方式,物联网在未来的变革以及市场的爆发点究竟有哪些?物联网作为一个正蒸蒸日上的新市场,在今年6月,科技研究机构国 ...
分类:   
使用Cython来保护Python代码库
使用Cython来保护Python代码库
最近,我在做一个需要使用Cython来保护整个代码库的Python项目。起初尽管保护Python源码免受逆向工程的影响似乎是一项徒劳无功的任务,但是所有代码的cythonizing都会带来合理的安全性(二进制文件非常难以拆解,但 ...
分类:   
JavaScript 疲劳终极指南:我们行业的真相
JavaScript 疲劳终极指南:我们行业的真相
抱怨 JS 疲劳就像是在抱怨人类发明了太多解决问题的工具:从邮件到飞机到宇宙飞船。上周我在 NebraskaJS 2017 会议上做了一个和这个话题极其类似的演讲,我也收到了许多积极的反馈,所以我就想这个演讲也可以写成一 ...
分类:   
基于Kafka与Spark的实时大数据质量监控平台
基于Kafka与Spark的实时大数据质量监控平台
本案例介绍了微软大数据平台团队设计和部署的基于开源技术(Kafka、Spark、ElasticsSearch、Kibana)的大数据质量监控平台,这个平台具有实时、高可用、可扩展、高度可信的特性,成为微软Bing、Office365、Skype等年 ...
分类:   
开源情怀遭遇专利咸猪手
开源情怀遭遇专利咸猪手
投身开源软件的人,多是有情怀的理想主义者,期望通过无私的努力,让世界更美好。这是原本专注于专利问题的笔者,偶然被牵入到开源研究项目后,对他们所产生的第一印像。然而,即使专利人也有专利情怀,现实世界中开 ...
分类:   

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2017-8-23 17:49 , Processed in 0.136595 second(s), 21 queries .