炼数成金 大数据
订阅

大数据

GraphQL vs REST API 架构,谁更胜一筹?
GraphQL vs REST API 架构,谁更胜一筹?
2015年,Facebook开源GraphQL。此后,它在前端Web中大受欢迎。传统的REST API有何不足?GraphQL优势何在?在本文中,我们将深入探讨GraphQL的设计原则,比较 GraphQL 与 REST 的异同,并讨论GraphQL 相对其他架构的 ...
分类:   
GitHub 星标 4.6k,Python 可视化库 Altair 入门
GitHub 星标 4.6k,Python 可视化库 Altair 入门
数据转化成更直观的图片,对于理解数据背后的真相很有帮助。如果你有这方面的需求,而且还在使用Python,那么强烈推荐你试一试Altair。Altair是一个专为Python编写的可视化软件包,它能让数据科学家更多地关注数据本 ...
分类:   
循序渐进,一文详解微服务架构!
循序渐进,一文详解微服务架构!
要理解微服务,首先要先理解不是微服务的那些。通常跟微服务相对的是单体应用,即将所有功能都打包成在一个独立单元的应用程序。从单体应用到微服务并不是一蹴而就的,这是一个逐渐演变的过程。本文将以一个网上超市 ...
分类:   
阿里巴巴大规模应用Flink的踩坑经验:如何大幅降低 HDFS 压力?
阿里巴巴大规模应用Flink的踩坑经验:如何大幅降低 HDFS 压力?
众所周知,Flink 是当前最为广泛使用的计算引擎之一,它使用 checkpoint 机制进行容错处理 ,checkpoint 会将状态快照备份到分布式存储系统,供后续恢复使用。在 Alibaba 内部,我们使用的存储主要是 HDFS,当同一个 ...
分类:   
1000+倍!超强Python『向量化』数据处理提速攻略
1000+倍!超强Python『向量化』数据处理提速攻略
1000倍的速度听起来很夸张。Python并不以速度著称。这是真的吗?当然有可能 ,关键在于你如何操作!如果在数据上使用for循环,则完成所需的时间将与数据的大小成比例。但是还有另一种方法可以在很短的时间内得到相同 ...
分类:   
大容量与高性能SSD硬盘的比较
大容量与高性能SSD硬盘的比较
人们需要了解企业级硬盘的最新发展趋势、高性能存储设备的应用方式,以及底层NAND闪存技术进步的影响。固态硬盘(SSD)如今已大部分取代了用于企业应用程序工作负载的机械硬盘(HDD),并且对大容量数据存储而言,已成为 ...
分类:   
Oracle 复制 AWS 的 API:这侵犯了版权吗 ?
Oracle 复制 AWS 的 API:这侵犯了版权吗 ?
今年初,美国最高法院将审理一起重要案子,该案子将根据版权法确定应用编程接口(API)的法律地位。如果最高法院在Oracle对谷歌的Android平台提起的数十亿美元诉讼中判Oracle胜诉,可能会遏制竞争,并巩固主导性技术 ...
分类:   
2020年网络安全行业趋势预测
2020年网络安全行业趋势预测
2019年网络安全形势已然更加复杂,网络攻击手段更为多样,数据泄露、勒索软件、APT攻击等安全事件频发。此外,网络安全市场也在急剧膨胀,快速发展,安全产品更新快,种类多,数量激增。在2020年,网络威胁随着云技 ...
分类:   
一次非常有意思的 SQL 优化经历
一次非常有意思的 SQL 优化经历
正常情况下是先join再进行where过滤,但是我们这里的情况,如果先join,将会有70w条数据发送join,因此先执行where过滤是明智方案,现在为了排除mysql的查询优化,我自己写一条优化后的sql。
分类:   
10 个 Jenkins 实战经验,助你轻松上手持续集成
10 个 Jenkins 实战经验,助你轻松上手持续集成
众所周知,持续构建与发布是我们日常工作中要面对的的一个重要环节,目前很多公司都采用 Jenkins 来搭建符合需求的 CI/CD 流程,作为一个持续集成的开源工具,它以安装启动方便,配置简单,上手容易的特点,深受广大 ...
分类:   
什么是用户故事和验收标准?
什么是用户故事和验收标准?
在软件开发行业中,“需求”一词决定了我们的目标是什么,客户真正的需求是什么,以及是什么可以使公司业务快速增长。无论是作为开发软件产品的产品型公司还是以提供各种领域服务为主的服务型公司,最基本的、最主要 ...
分类:   
艰难的旅程,你的数据中台到底能为一线提供多少火力?
艰难的旅程,你的数据中台到底能为一线提供多少火力?
数据中台很重要,但千万不要依样画葫芦照着外面的架构图去一项项的实施建设,你真要照着阿里的方式做,基本就把自己的资源耗光了,其实除了计算引擎和资源动态分配,10多年前BI时代这些技术就有了,大数据时代只是乘 ...
分类:   
基于CAP模型设计企业级真正高可用的分布式锁
基于CAP模型设计企业级真正高可用的分布式锁
在分布式系统中,CAP定律中的三者只能同时满足二者:CP、AP、AC模型。进一步分析,AC模型并不真正的存在,脱离P(分布式环境)谈AC都是耍流氓。我们以多机房数据库同步更新的场景来分析下为什么CAP定律中三者不能同 ...
分类:   
实操:SQL注入国外xx网站
实操:SQL注入国外xx网站
学了SQL注入一段时间了,也在顺利通关过墨者靶场。不过,靶场哪有真实网站好玩?SQL注入就是SQL+注入,不清楚可以百度。谷歌搜索也蛮有意思的,打inurl自动推荐了很多关键词,比如:“inurl php id”。
分类:   
图解!微服务为什么一定要Zookeeper?
图解!微服务为什么一定要Zookeeper?
了解微服务的小伙伴都应该知道 Zookeeper,ZooKeeper 是一个分布式的, 开源的分布式应用程序协调服务。现在比较流行的微服务框架 Dubbo、Spring Cloud 都可以使用 Zookeeper 作为服务发现与组册中心。但是,为什么 Z ...
分类:   
两万字深度介绍分布式系统原理,一文入魂
两万字深度介绍分布式系统原理,一文入魂
在具体的工程项目中,一个节点往往是一个操作系统上的进程。在本文的模型中,认为节点是一个完整的、不可分的整体,如果某个程序进程实际上由若干相对独立部分构成,则在模型中可以将一个进程划分为多个节点。
分类:   
Unix 即将迎来 50 岁
Unix 即将迎来 50 岁
尽管 Unix 的某些早期开发早于其“纪元”的正式开始,但 1970 年 1 月 1 日仍然是 POSIX 时间的零点,也是公认的 Unix 的万物之始。自那一刻算起,2020 年 1 月 1 日将是其 50 周年。(LCTT 译注:实际上,在 1971/1 ...
分类:   
初探性能优化--2个月到4小时的性能提升!
初探性能优化--2个月到4小时的性能提升!
一直不知道性能优化都要做些什么,从哪方面思考,直到最近接手了一个公司的小项目,可谓麻雀虽小五脏俱全。让我这个编程小白学到了很多性能优化的知识,或者说一些思考方式。真的感受到任何一点效率的损失放大一定倍 ...
分类:   
IntelliJ IDEA 2019.3 发布,启动更快,性能更强
IntelliJ IDEA 2019.3 发布,启动更快,性能更强
距离 IntelliJ IDEA 2019.3 RC 发布不过几天的功夫,目前,IntelliJ IDEA 2019.3 也已正式发布。官方表示,该版本是其旗舰 IDE 的第三次也是最后一个主要版本。据透露,在 IntelliJ IDEA 的这个主要版本上,该开发团 ...
分类:   
Lyft基于Flink的大规模准实时数据分析平台实践
Lyft基于Flink的大规模准实时数据分析平台实践
Lyft 的流数据可以大致分为三类,秒级别、分钟级别和不高于 5 分钟级别。分钟级别流数据中,自适应定价系统、欺诈和异常检测系统是最常用的,此外还有 Lyft 最新研发的机器学习特征工程。不高于 5 分钟级别的场景则 ...
分类:   
4 种数据库缓存最终一致性的优缺点对比?最终选择方案四!
4 种数据库缓存最终一致性的优缺点对比?最终选择方案四!
缓存是软件开发中一个非常有用的概念,数据库缓存更是在项目中必然会遇到的场景。而缓存一致性的保证,更是在面试中被反复问到,这里进行一下总结,针对不同的要求,选择恰到好处的一致性方案。存储的速度是有区别的 ...
分类:   
阿里程序员,就这样画出了分布式架构图?
阿里程序员,就这样画出了分布式架构图?
架构就是对系统中的实体以及实体之间的关系所进行的抽象描述,是一系列的决策。系统架构是概念的体现,是对物/信息的功能与形式元素之间的对应情况所做的分配,是对元素之间的关系以及元素同周边环境之间的关系所做 ...
分类:   
Cassandra 在 360 的实践与改进
Cassandra 在 360 的实践与改进
Cassandra 完全无中心化设计使得其具备极高的可用性和可平滑的拓展性,并且具有模式灵活,多数据中心,范围查询,列表数据结构,分布式写操作等优势: 由于其架构在中小规模部署时不需要主节点,相较于完全中心化的 ...
分类:   
重磅!OpenCV 4.2.0 发布,DNN模块终于支持CUDA!
重磅!OpenCV 4.2.0 发布,DNN模块终于支持CUDA!
每年的圣诞节前,OpenCV 都会发布新版本,2 天前OpenCV 4.2.0 悄悄发布并开放下载了,这次更新的特性并不多,但非常重要的是:DNN终于支持CUDA啦!!该版本亮点:DNN模块1. 集成了来自GSoC工程的CUDA的支持,现在可 ...
分类:   
Facebook计划构建自己的操作系统来替代Android
Facebook计划构建自己的操作系统来替代Android
据报道,Facebook 计划构建自己的操作系统来替代 Android,以减少对 Google 软件的依赖,尤其是在该公司更加努力地在 VR 和智能设备市场上开发自己的硬件的情况下。2013年,Facebook 曾首次尝试投资内部操作系统,为 ...
分类:   
树莓派4有多强大?这九种用途之前你根本不敢想
树莓派4有多强大?这九种用途之前你根本不敢想
树莓派又来了,这次又成功的吸引了一大批树莓派爱好者,并且激发了各种新的想法。自从这种只有信用卡大小的计算机在2012年首次问世以来,在本周刚刚升级到了第四代产品。新版本的树莓派4拥有更快的连接速度和更好的 ...
分类:   
在Docker环境构建、打包和运行Spring Boot应用
在Docker环境构建、打包和运行Spring Boot应用
Docker是提供用户构建镜像的一种容器化技术,所构建的镜像包含了主要的应用程序和运行应用所需的所有依赖项。该镜像可在任何虚拟机或物理机器上的Docker容器上运行。它的强大之处在于允许用户在开发、测试、预生产和 ...
分类:   
全球摄像头模组主要厂商(TOP 35)!
全球摄像头模组主要厂商(TOP 35)!
摄像头模组基本上与整个行业的成长挂钩,而他们对不同的客户也产生依赖性。韩国的厂商LG、SEMCO、高伟电子等对苹果、三星的依赖性较大,而国内的摄像头模组厂商对于国产机型华为、OPPO、vivo、小米等手机依赖性较大 ...
分类:   
Nginx 之父被抓后,谷歌允许开发者上报个人项目,界定版权所属
Nginx 之父被抓后,谷歌允许开发者上报个人项目,界定版权所属
根据谷歌的雇佣协议,谷歌拥有雇员在公司期间所创造项目的知识产权,这一规定也适用于雇员的个人项目,以及旧项目在就职期间的新开发工作。在经历了 Nginx 创始人被捕事件之后,谷歌可能也觉得这一规定范围过于宽泛 ...
分类:   
仅1年GitHub Star数翻倍,Flink 做了什么?
仅1年GitHub Star数翻倍,Flink 做了什么?
自 2014 年 Flink 贡献给开源社区之后,其发展非常迅速。目前,Flink 可以称之为 Apache 基金会中最为活跃的项目之一,在 GitHub 上其访问量在 Apache 项目中位居前三。从 Star 数量上看,仅仅是 2019 年一年的时间 ...
分类:   

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2020-1-19 02:26 , Processed in 0.123386 second(s), 19 queries .