炼数成金 大数据
订阅

大数据

Google、亚马逊、微软 、阿里巴巴开源软件一览
Google、亚马逊、微软 、阿里巴巴开源软件一览
为什么要发布开源项目?一是开源能够帮助他人更快地开发软件,促进世界创新,主要是社会价值层面的考虑。二是开源能够倒逼工程师写出更好的代码。三是开源能够更有效利用社区的力量,帮助企业一起解决难题。开源,让 ...
分类:   
15个排名最佳的数据科学Python包
15个排名最佳的数据科学Python包
Python 和 R 语言是数据科学中最常见、最受欢迎的工具之一。而且因为 Python 的简单易用,相对其他语言,我们可以使用更少的代码就能表达大多数概念。这也就正是为什么我们希望通过给出最受欢迎的 Python 包排名而帮 ...
分类:   
大数据到底怎么学:数据科学概论与大数据学习误区
大数据到底怎么学:数据科学概论与大数据学习误区
最近不少网友向我咨询如何学习大数据技术?大数据怎么入门?怎么做大数据分析?数据科学需要学习那些技术?大数据的应用前景等等问题。由于大数据技术涉及内容太庞杂,大数据应用领域广泛,而且各领域和方向采用的关 ...
分类:   
大数据浪潮下,前端工程师眼中的完整数据链图
大数据浪潮下,前端工程师眼中的完整数据链图
业界常提到的 Hadoop,Spark,Druid 都在用户侧的下方,也就是数据研发与数据挖掘职能的工作。相对于前端职能而言,一定是与输出终端相关,包括本职工作数据类产品的研发,如阿里指数或百度指数这样的数据展示型产品 ...
分类:   
知名互联网公司都在使用哪些数据库?(2)
知名互联网公司都在使用哪些数据库?(2)
大数据已经成为国家战略,而大数据首先所面临的问题就是大数据的存储问题,这就绕不开数据库,因为数据库就是用来存储数据的应用软件。任何数据库,都有其优缺点, 无论是传统关系型数据库还是NoSQL数据库又或者NewSQ ...
分类:   
知名互联网公司都在使用哪些数据库?(1)
知名互联网公司都在使用哪些数据库?(1)
大数据已经成为国家战略,而大数据首先所面临的问题就是大数据的存储问题,这就绕不开数据库,因为数据库就是用来存储数据的应用软件。任何数据库,都有其优缺点, 无论是传统关系型数据库还是NoSQL数据库又或者NewSQ ...
分类:   
全面了解Nginx主要应用场景
全面了解Nginx主要应用场景
反向代理(Reverse Proxy)方式是指以代理服务器来接受 internet 上的连接请求,然后将请求转发给内部网络上的服务器,并将从服务器上得到的结果返回给 internet 上请求连接的客户端,此时代理服务器对外就表现为一 ...
分类:   
Kubernetes让eBay摆脱了OpenStack的困境
Kubernetes让eBay摆脱了OpenStack的困境
Ebay在OpenStack上的工作已经取得了成果:一种新的容器管理工具,可以更好地利用Docker和Kubernetes。这又是一个值得称赞的工具,容器在组织内作为有用的工作单位,Kubernetes管理着这些工作负载。但这也是一个迹象 ...
分类:   
RabbitMQ高级指南:从配置、使用到高可用集群搭建
RabbitMQ高级指南:从配置、使用到高可用集群搭建
RabbitMQ是一个由erlang开发的基于AMQP(Advanced Message Queue )协议的开源实现。用于在分布式系统中存储转发消息,在易用性、扩展性、高可用性等方面都非常的优秀。是当前最主流的消息中间件之一。AMQP是应用层 ...
分类:   
详解微信异步队列 MQ 2.0 的功能优化及拓展思路
详解微信异步队列 MQ 2.0 的功能优化及拓展思路
IOS消息通知功能,是MQ组件的一个典型应用场景。微信的后台具有多IDC分布的特点,不同IDC与苹果推送服务(APNs)之间的网络质量参差不齐,部分链路故障频发。由于MQ 1.0 的任务只能本机消费,网络质量的下降将直接导 ...
分类:   
原创翻译 | 虚拟现实在教育中的应用:几个值得注意的例子
原创翻译 | 虚拟现实在教育中的应用:几个值得注意的例子
以前,哪怕是最近几年以前,教学任务仍然主要是通过黑板和课本来完成的。比较幸运的班级可能会在教学计划里规划了一些视频教材,社会交流或者实际动手操作。而现在,虚拟现实技术最起码有了一个无可争辩的用武之地, ...
分类:   
WTF?MySQL DBA技术难度低为什么工资比Oracle高?
WTF?MySQL DBA技术难度低为什么工资比Oracle高?
mysql DBA技术难度低为什么工资比oracle高?真的很鄙视mysql的dba,那么简单的库,多数实际工作中就是简单的主从架构,也就面试吹吹优化。呵呵,mysql优化最离谱的是依靠SSD PCIE,扩容来优化真是不要脸啊。毫无疑问 ...
分类:   
MySQL数据恢复的九把瑞士军刀
MySQL数据恢复的九把瑞士军刀
做DBA的朋友可能都遇到过MySQL数据损坏或丢失的问题,比如忘加where条件的update、delete语句,或者MySQL服务器异常宕机导致数据文件损坏等。恢复数据最常见的做法,只要有这两样东西,无论是误操作还是数据库损坏等 ...
分类:   
携程开源其Redis多数据中心解决方案XPipe
携程开源其Redis多数据中心解决方案XPipe
Redis在携程内部得到了广泛的使用,根据客户端数据统计,整个携程全部Redis的读写请求在200W QPS/s,其中写请求约10W QPS/S,很多业务甚至会将Redis当成内存数据库使用。这样,就对Redis多数据中心提出了很大的需求 ...
分类:   
把服务器泡在液体里散热?阿里云推出黑科技:浸没式液冷数据中心
把服务器泡在液体里散热?阿里云推出黑科技:浸没式液冷数据中心
数据中心是耗能大户。根据IDC,到2024年数据中心耗电量将占到全社会耗电量的5%以上。其中,散热占到了数据中心非常大比例的电能消耗,有的甚至可以到一半以上。为了节约散热成本,不少国际互联网巨头,常常会把数据 ...
分类:   
MySQL 8 中新的复制功能
MySQL 8 中新的复制功能
MySQL 8 中新的复制功能使得操作更加方便,并帮助用户更好地观察复制过程中内部发生的情况。使用 MySQL 5.7.17 获取 MySQL 组复制插件是一项巨大的工作。组复制是一个新的插件,通过使用组通信和状态机复制,为用户 ...
分类:   
基于Spark与ROS的分布式无人驾驶模拟平台
基于Spark与ROS的分布式无人驾驶模拟平台
无人驾驶的安全性和可靠性是通过海量的功能和性能测试来保证的。无人驾驶系统是一个复杂的系统工程,在它的整个研发流程中,测试工作至关重要同时也繁重复杂。显然将全部测试工作都集中在真车上进行是一种成本异常高 ...
分类:   
Python 多进程并行编程实践: mpi4py 的使用
Python 多进程并行编程实践: mpi4py 的使用
在高性能计算的项目中我们通常都会使用效率更高的编译型的语言例如C、C++、Fortran等,但是由于Python的灵活性和易用性使得它在发展和验证算法方面备受人们的青睐于是在高性能计算领域也经常能看到Python的身影了。 ...
分类:   
商业数据库之死:Oracle 的困境
商业数据库之死:Oracle 的困境
商业数据库市场份额到 2021 年将下降 20-30%。SaaS (cloud) 、NoSQL 和 SSD 大大降低了对商业数据库的需求。Oracle 不大可能通过云或其他替代品来抵消数据库收入增长的下降。根据图 1,我们看到商业数据库的市场份额 ...
分类:   
NVIDIA DGX- 1 :速度最快的深度学习系统
NVIDIA DGX- 1 :速度最快的深度学习系统
NVIDIA在一年前宣布推出专为深度学习打造的集成系统NVIDIA®DGX-1™。DGX-1(如图1所示)具有通过NVLink(NVIDIA的一种高性能GPU互联技术)在混合数据立方体网格网络中连接8台Tesla P100 GPU加速器的能力。 ...
分类:   
Spark for python developers —Spark流式数据处理
Spark for python developers —Spark流式数据处理
数据流可以来自股票市场的时序分析,企业交易,各种交互,事件,web流量,点击流,和传感器数据等,都是及时且带有时间戳的数据。用例有欺诈检测和防伪,移动的交叉销售和销售提升,或者交通预警。这些数据流需要及 ...
分类:   
关于Spark的mllib学习总结(Java版)
关于Spark的mllib学习总结(Java版)
对于数据的加载或保存,mllib提供了MLUtils包,其作用是Helper methods to load,save and pre-process data used in MLLib.博客中的数据是采用spark中提供的数据sample_libsvm_data.txt,其有一百个数据样本,658个 ...
分类:   
原创翻译 | 当使用python进行大数据分析时,开发人员最常犯的错误
原创翻译 | 当使用python进行大数据分析时,开发人员最常犯的错误
##1 介绍 Python 语言由于其缩短了开发时间而被普遍赞扬,但是要用它进行有效数据分析并非没有缺陷。这个特征使得开发在开始的时候很简单(动态,宽容型系统),却可能毁了大型系统 、造成库混乱,缓慢的运行时间 ...
分类:   
Oracle公司收购数据测评公司Moat
Oracle公司收购数据测评公司Moat
据透露,Oracle将收购数据测评公司Moat,以增强其营销和数据云的能力,为广告主和发行商提供数字广告分析。此次交易的具体细节并未披露。Moat将并入Oracle的数据云,其中包含此前就被收购的Datalogix和BlueKai。Orac ...
分类:   
JS代码格式化神器 有了它还怕看不懂别人的代码?
JS代码格式化神器 有了它还怕看不懂别人的代码?
Prettier于2017年初发布,现在1.0版本终于敲定。根据团队博客发布的文章,这个JavaScript代码格式化程序的灵感来自于refmt,具有对ES2017,JSX和Flow语言功能的高级支持。简而言之,它消除了所有原始样式,并通过将J ...
分类:   
用 sklearn 对 140W 个点进行 kmeans 基于密度聚类划分
用 sklearn 对 140W 个点进行 kmeans 基于密度聚类划分
任务需求:现有140w个某地区的ip和经纬度的对应表,根据每个ip的/24块进行初步划分,再在每个区域越100-200个点进行细致聚类划分由于k值未知,采用密度的Mean Shift聚类方式。0#目录:原理部分框架资源实践操作效果 ...
分类:   
一个只有 99 行代码的 JS 流程框架
一个只有 99 行代码的 JS 流程框架
最近一直在想一个问题,如何能让js代码写起来更语义化和更具有可读性。上周末的时候突发奇想,当代码在运行的时候,其实跟我们做事情是类似的,都是做完一步接着下一步,并且这些事情有些是可规划的,有些是需要做完 ...
分类:   
聊聊分布式定时任务中间件架构及其实现
聊聊分布式定时任务中间件架构及其实现
在互联网应用中,各式各样的定时任务存于系统各个角落。我们希望由一个平台统一将这些作业管理起来。通过这个系统,作业的宕机、崩溃等状态就可收入运维同学掌控,直接对接报警系统,将发现的挂掉作业再启动就好。但 ...
分类:   
原创翻译 利用大数据促进销售
原创翻译 利用大数据促进销售
在当今技术驱动的世界,应用大数据事实上已经成为了一种要求。而在考虑如何使用它来促销的时候,有几个策略可以确保你走在正确的轨道上,帮助你提高营收,保持行业内的竞争力。 采集大数据 要促销,就得采集大数据 ...
分类:   
【原创】数据库管理简史
【原创】数据库管理简史
数据库管理系统能让人通过计算机组织存储以及取回数据。是和计算机“存储的记忆”的一种交流方式。早年间,“穿孔卡片”被用来作为输入输出以及数据存储的介质。穿孔卡片作为输入和取回数据的方式是很快的。Herman H ...
分类:   

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2017-5-1 08:51 , Processed in 0.614185 second(s), 19 queries .