炼数成金 大数据
订阅

大数据

Spark搜狗日志数据分析实战
Spark搜狗日志数据分析实战
获得搜索结果排名和点击结果排名都是第一的数据。搜索结果排名对应的是改文件中URL在返回结果中的排名,点击结果排名指的是用户点击的顺序号。经过上面第三步过滤的有效数据的操作,已经把每行数据切分成一个长度为6 ...
分类:   
开发者最爱的数据库
开发者最爱的数据库
从 2011 年起,Stack Overflow 每年1月份发起年度开发者调查,3月份发布调查结果。近日,SO 发布了 2017 年开发者调查结果。今年有超过 64000 名开发者参与,达到有史以来人数最多的一次。本文这里只列出和数据库相 ...
分类:   
美国议员要求无限制进入中国云计算市场
美国议员要求无限制进入中国云计算市场
面对快速增长的市场需求,外资企业对进入中国云服务市场的意愿越来越强烈,但外资企业在国内提供公有云服务将涉及电信监管、牌照限制及数据安全等多方面问题,目前政策还未完全明朗,但这些外资企业也希望借助国内公 ...
分类:   
请转战Java 8:改变是非常值得的
请转战Java 8:改变是非常值得的
一直以来,Java平台在金融领域得到了广泛应用,但想让开发人员转向Java 8可能并没有那么容易。毫无疑问,Java SE 8可以帮助重振平台,很多人也一直在努力帮助开发人员转向Java 8,强调Java 8中的编码不同于以前Java ...
分类:   
创业起步期,应该如何做技术选型?
创业起步期,应该如何做技术选型?
创业公司在技术使用的策略上有什么准则呢?个人认为就是“简单化“,当然这个简单是建立在理性分析的基础上的。技术人员有个通病,认为技术实现越复杂,越膨大,越全面就越能体现技术水平,这是非常错误的一个观点。 ...
分类:   
Angular 4.0.0 正式版发布
Angular 4.0.0 正式版发布
经历了 6 个 RC 版本之后,Angular 项目组终于发布了正式版 Angular 4.0.0。值得关注的点有:速度更快、体积更小:除了速度更快、体积更小,该版本还对内置指令 NgFor 和 NgIf 以及模板的 source map 等功能进行了优 ...
分类:   
2017年DevOps发展情况报告,现实当真如理想一般丰满?
2017年DevOps发展情况报告,现实当真如理想一般丰满?
DevOps目标在于加快软件发布和部署流程速度,加强自动化,降低系统出错频率,并且能更快地消除宕机和错误的影响,提高企业的业务敏捷性,降低IT成本。采用率正在增长:18%的受访者表示已经部署DevOps实践,而且有32% ...
分类:   
如何抓住NB-IOT技术下的物联网机会?
如何抓住NB-IOT技术下的物联网机会?
互联网上半场:基础设施为王,硬件商及系统集成商的黄金时代。互联网下半场:应用为王,BAT们的黄金时代。从单机版PC开始,后来有了局域网网吧, 再从门户到搜索引擎、从聊天室到QQ、从游戏到电子商务、从天涯社区到 ...
分类:   
“天河一号”从“最快”世界冠军到“最忙”劳动模范
“天河一号”从“最快”世界冠军到“最忙”劳动模范
很难说世界上还有比这更快的。在眨眼的一秒钟,它已经完成数千万亿次计算。这是超级计算机的世界,速度永远在刷新。如果说,超级计算机是“计算机界的珠穆朗玛”,那么,位于国家超级计算机天津中心的“天河一号”, ...
分类:   
为什么看起来不是很复杂的网站,却需要大量顶尖高手来开发?
为什么看起来不是很复杂的网站,却需要大量顶尖高手来开发?
为什么很多看起来不是很复杂的网站,比如 Facebook 需要大量顶尖高手来开发?【搜索商品】这个功能,如果你有几千条商品,完全可以用select * from tableXX where title like %XX%这样的操作来搞定。但是——当你有1 ...
分类:   
2017年云趋势——从DevOps到NoOps
2017年云趋势——从DevOps到NoOps
伴随着容器的兴起,微服务架构的落地以及机器智能的深入,DevOps工程师们将更倾向于使用这些技术来解决日常工作中的问题。我相信,对于DevOps工程师们来说,2017年绝对是值得为之兴奋的一年。在过去的7年里,我们一 ...
分类:   
RISC-V与DSA! 计算机架构宗师Patterson与Hennessy 演讲实录
RISC-V与DSA! 计算机架构宗师Patterson与Hennessy 演讲实录
《计算机体系架构:量化研究方法》自1990年第一版出版后,如今已经过了近30年,2011年第五版出版,目前Patterson和Hennessy正在准备第六版的书稿。计算机处理器领域沧海桑田,1990年时处理器是最热门,最前沿的科技 ...
分类:   
当MongoDB遇见Spark
当MongoDB遇见Spark
为什么要用MongoDB替换HDFS?存储方式上, HDFS以文件为单位,每个文件64MB~128MB不等, 而MongoDB作为文档数据库则表现得更加细颗粒化。MongoDB支持HDFS所没有的索引的概念, 所以在读取上更加快。MongoDB支持的增删改 ...
分类:   
今年:软件工程师的工作最热门;机器学习工程师薪资最高!
今年:软件工程师的工作最热门;机器学习工程师薪资最高!
现在正是从事软件工程师这个行当的好年头,网上招聘公司Indeed.com是这么认为的。这家公司近日发布了《2017年最佳工作岗位》排行榜;软件工程和开发类岗位在25种最佳职业中占了大半席位,在榜单上的前10种最佳工作岗 ...
分类:   
2017 年 Stack Overflow 开发者调查
2017 年 Stack Overflow 开发者调查
从 2011 年起,Stack Overflow 每年1月份发起年度开发者调查,3月份发布调查结果。近日,SO 发布了 2017 年开发者调查结果。今年有超过 64000 名开发者参与,达到有史以来人数最多的一次。伯乐在线/技术最前线对本次 ...
分类:   
图灵奖得主Alan Kay谈面向对象和函数式编程
图灵奖得主Alan Kay谈面向对象和函数式编程
Alan Kay是当今世界计算机领域最重要的人物之一,他因面向对象编程方面的贡献和设计Smalltalk语言获得了2003年图灵奖。同时,他也是个人计算机(PC),图形用户界面(GUI)的先驱。今天我们使用的C/C++或Java语言都 ...
分类:   
Spark MLlib之协同过滤
Spark MLlib之协同过滤
协同过滤ALS算法推荐过程如下:加载数据到 ratings RDD,每行记录包括:user, product, rate。从 ratings 得到用户商品的数据集:(user, product)。。使用ALS对 ratings 进行训练。通过 model 对用户商品进行预测评 ...
分类:   
化学家率先享受量子计算红利
化学家率先享受量子计算红利
IBM和谷歌本月宣布,计划未来几年内实现量子计算机商业化(谷歌明确提出5年之内),为这种新型的计算机提供一种新型云服务。各路竞争对手预测,一个崭新的时代即将到来,计算机将具备更为强大的威力,物流和制图公司 ...
分类:   
当前服务器配置能承受多大的QPS?如何评估?
当前服务器配置能承受多大的QPS?如何评估?
在进行流量重定向时,最主要的问题是如何避免对站点和用户造成影响。Redliner使用以下的策略来缓解对生产环境性能造成的影响。首先,通过增量的方式将流量导向redline实例。其次,Redliner对服务进行实时的监控,并 ...
分类:   
美国金融公司因使用云服务省了数十亿美元
美国金融公司因使用云服务省了数十亿美元
两年前,一场类似于亚马逊上个月云服务宕机的故障可能会进一步加深美国金融公司这样的印象,即将数据和系统转移到公有云,是一件极为危险的事情。实际上,2月28日的故障并未对金融行业使用云服务带来太大影响,这充 ...
分类:   
探讨数据时代构建高可用数据库的新技术
探讨数据时代构建高可用数据库的新技术
近几年,随着移动互联网的发展、云计算的普及和各种新业务的出现,数据呈现爆发式增长,给整个业务系统带来了越来越大的挑战,特别是对于底层数据存储系统。完美的高可用系统,是所有公司最理想的追求。如果只从应用 ...
分类:   
Mesos 1.2.0 Release
Mesos 1.2.0 Release
Mesos刚刚发布了最新的1.2.0版本, 新版本解决了社区之前呼声比较多的几个问题,看得出Mesos开发组的推进进度还是非常快速而平稳的。这也是Mesos社区一贯的作风, 核心Feature稳定优先,周边功能积极支持。根据1.2.0 ...
分类:   
无服务器架构已成云计算未来趋势
无服务器架构已成云计算未来趋势
无论是内部部署还是由供应商提供的服务,数据中心都是云计算的第一步。它抽象化了物理主机环境,我们开始用硬件单元扩展这些环境。随着虚拟化的发展,我们开始在云环境中托管虚拟机;我们抽象了硬件和使用的操作系统 ...
分类:   
Spark性能优化
Spark性能优化
以前写过一篇文章,比较了几种不同场景的性能优化,包括portal的性能优化,web service的性能优化,还有Spark job的性能优化。Spark的性能优化有一些特殊的地方,比如实时性一般不在考虑范围之内,通常我们用Spark来 ...
分类:   
去哪儿网机票搜索系统的高并发架构设计
去哪儿网机票搜索系统的高并发架构设计
Qunar成立于2005年,那时候大家还习惯打电话或者去代理商买机票。随着在线旅游快速发展,机票业务逐步来到线上。在“在线旅游”的大浪潮下,Qunar的核心业务主要是线上机票搜索和机票销售。根据2014年9月艾瑞监测数 ...
分类:   
Elasticsearch 5.0和ELK/Elastic Stack指南
Elasticsearch 5.0和ELK/Elastic Stack指南
Elasticsearch是一个Java应用,所以你需要安装最新版的JDK(Oracle的或是Ubuntu 16.04上的OpenJDK)。在Ubuntu 16.04版里,你可以用下面的命令安装OpenJDK 8。在启动Elasticsearch(命令是sudo service elasticsearc ...
分类:   
新型传感器系统可有效捕捉篮球比赛全场细节
新型传感器系统可有效捕捉篮球比赛全场细节
近期,美国堪萨斯城一家创业公司ShotTracker就开发了一套智能系统,旨在帮助球员、裁判员、教练以及观众了解篮球场上的一切动向。这套系统通过智能设备向人们传达球场上的一切信息,从而让篮球比赛变得更加透明。该 ...
分类:   
中国智能硬件产业综述
中国智能硬件产业综述
智能硬件市场逐渐壮大,市场规模几何、市场格局怎样、未来发展趋势如何…这些问题成为市场关注的重点,本次专题分析将从智能车载设备、智能医疗健康设备、智能服务机器人、智能家居、智能可穿戴设备和智能工业六个领 ...
分类:   
从零开始:使用PyCharm和SSH搭建远程TensorFlow开发环境
从零开始:使用PyCharm和SSH搭建远程TensorFlow开发环境
一般而言,大型的神经网络对硬件能力有着较高的需求——往往需要强劲的 GPU 来加速计算。但是你也许还是想拿着一台笔记本坐在咖啡店里安静地写 TensorFlow 代码,同时还能享受每秒数万亿次的浮点运算(teraFLOPS)速 ...
分类:   
Spark性能优化指南——基础篇
Spark性能优化指南——基础篇
在大数据计算领域,Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作,应用范围与前景非常 ...
分类:   

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2017-3-29 07:32 , Processed in 0.571026 second(s), 22 queries .