炼数成金 大数据
订阅

大数据

2020年网络安全行业趋势预测
2020年网络安全行业趋势预测
2019年网络安全形势已然更加复杂,网络攻击手段更为多样,数据泄露、勒索软件、APT攻击等安全事件频发。此外,网络安全市场也在急剧膨胀,快速发展,安全产品更新快,种类多,数量激增。在2020年,网络威胁随着云技 ...
分类:   
一次非常有意思的 SQL 优化经历
一次非常有意思的 SQL 优化经历
正常情况下是先join再进行where过滤,但是我们这里的情况,如果先join,将会有70w条数据发送join,因此先执行where过滤是明智方案,现在为了排除mysql的查询优化,我自己写一条优化后的sql。
分类:   
10 个 Jenkins 实战经验,助你轻松上手持续集成
10 个 Jenkins 实战经验,助你轻松上手持续集成
众所周知,持续构建与发布是我们日常工作中要面对的的一个重要环节,目前很多公司都采用 Jenkins 来搭建符合需求的 CI/CD 流程,作为一个持续集成的开源工具,它以安装启动方便,配置简单,上手容易的特点,深受广大 ...
分类:   
什么是用户故事和验收标准?
什么是用户故事和验收标准?
在软件开发行业中,“需求”一词决定了我们的目标是什么,客户真正的需求是什么,以及是什么可以使公司业务快速增长。无论是作为开发软件产品的产品型公司还是以提供各种领域服务为主的服务型公司,最基本的、最主要 ...
分类:   
艰难的旅程,你的数据中台到底能为一线提供多少火力?
艰难的旅程,你的数据中台到底能为一线提供多少火力?
数据中台很重要,但千万不要依样画葫芦照着外面的架构图去一项项的实施建设,你真要照着阿里的方式做,基本就把自己的资源耗光了,其实除了计算引擎和资源动态分配,10多年前BI时代这些技术就有了,大数据时代只是乘 ...
分类:   
基于CAP模型设计企业级真正高可用的分布式锁
基于CAP模型设计企业级真正高可用的分布式锁
在分布式系统中,CAP定律中的三者只能同时满足二者:CP、AP、AC模型。进一步分析,AC模型并不真正的存在,脱离P(分布式环境)谈AC都是耍流氓。我们以多机房数据库同步更新的场景来分析下为什么CAP定律中三者不能同 ...
分类:   
实操:SQL注入国外xx网站
实操:SQL注入国外xx网站
学了SQL注入一段时间了,也在顺利通关过墨者靶场。不过,靶场哪有真实网站好玩?SQL注入就是SQL+注入,不清楚可以百度。谷歌搜索也蛮有意思的,打inurl自动推荐了很多关键词,比如:“inurl php id”。
分类:   
图解!微服务为什么一定要Zookeeper?
图解!微服务为什么一定要Zookeeper?
了解微服务的小伙伴都应该知道 Zookeeper,ZooKeeper 是一个分布式的, 开源的分布式应用程序协调服务。现在比较流行的微服务框架 Dubbo、Spring Cloud 都可以使用 Zookeeper 作为服务发现与组册中心。但是,为什么 Z ...
分类:   
两万字深度介绍分布式系统原理,一文入魂
两万字深度介绍分布式系统原理,一文入魂
在具体的工程项目中,一个节点往往是一个操作系统上的进程。在本文的模型中,认为节点是一个完整的、不可分的整体,如果某个程序进程实际上由若干相对独立部分构成,则在模型中可以将一个进程划分为多个节点。
分类:   
Unix 即将迎来 50 岁
Unix 即将迎来 50 岁
尽管 Unix 的某些早期开发早于其“纪元”的正式开始,但 1970 年 1 月 1 日仍然是 POSIX 时间的零点,也是公认的 Unix 的万物之始。自那一刻算起,2020 年 1 月 1 日将是其 50 周年。(LCTT 译注:实际上,在 1971/1 ...
分类:   
初探性能优化--2个月到4小时的性能提升!
初探性能优化--2个月到4小时的性能提升!
一直不知道性能优化都要做些什么,从哪方面思考,直到最近接手了一个公司的小项目,可谓麻雀虽小五脏俱全。让我这个编程小白学到了很多性能优化的知识,或者说一些思考方式。真的感受到任何一点效率的损失放大一定倍 ...
分类:   
IntelliJ IDEA 2019.3 发布,启动更快,性能更强
IntelliJ IDEA 2019.3 发布,启动更快,性能更强
距离 IntelliJ IDEA 2019.3 RC 发布不过几天的功夫,目前,IntelliJ IDEA 2019.3 也已正式发布。官方表示,该版本是其旗舰 IDE 的第三次也是最后一个主要版本。据透露,在 IntelliJ IDEA 的这个主要版本上,该开发团 ...
分类:   
Lyft基于Flink的大规模准实时数据分析平台实践
Lyft基于Flink的大规模准实时数据分析平台实践
Lyft 的流数据可以大致分为三类,秒级别、分钟级别和不高于 5 分钟级别。分钟级别流数据中,自适应定价系统、欺诈和异常检测系统是最常用的,此外还有 Lyft 最新研发的机器学习特征工程。不高于 5 分钟级别的场景则 ...
分类:   
4 种数据库缓存最终一致性的优缺点对比?最终选择方案四!
4 种数据库缓存最终一致性的优缺点对比?最终选择方案四!
缓存是软件开发中一个非常有用的概念,数据库缓存更是在项目中必然会遇到的场景。而缓存一致性的保证,更是在面试中被反复问到,这里进行一下总结,针对不同的要求,选择恰到好处的一致性方案。存储的速度是有区别的 ...
分类:   
阿里程序员,就这样画出了分布式架构图?
阿里程序员,就这样画出了分布式架构图?
架构就是对系统中的实体以及实体之间的关系所进行的抽象描述,是一系列的决策。系统架构是概念的体现,是对物/信息的功能与形式元素之间的对应情况所做的分配,是对元素之间的关系以及元素同周边环境之间的关系所做 ...
分类:   
Cassandra 在 360 的实践与改进
Cassandra 在 360 的实践与改进
Cassandra 完全无中心化设计使得其具备极高的可用性和可平滑的拓展性,并且具有模式灵活,多数据中心,范围查询,列表数据结构,分布式写操作等优势: 由于其架构在中小规模部署时不需要主节点,相较于完全中心化的 ...
分类:   
重磅!OpenCV 4.2.0 发布,DNN模块终于支持CUDA!
重磅!OpenCV 4.2.0 发布,DNN模块终于支持CUDA!
每年的圣诞节前,OpenCV 都会发布新版本,2 天前OpenCV 4.2.0 悄悄发布并开放下载了,这次更新的特性并不多,但非常重要的是:DNN终于支持CUDA啦!!该版本亮点:DNN模块1. 集成了来自GSoC工程的CUDA的支持,现在可 ...
分类:   
Facebook计划构建自己的操作系统来替代Android
Facebook计划构建自己的操作系统来替代Android
据报道,Facebook 计划构建自己的操作系统来替代 Android,以减少对 Google 软件的依赖,尤其是在该公司更加努力地在 VR 和智能设备市场上开发自己的硬件的情况下。2013年,Facebook 曾首次尝试投资内部操作系统,为 ...
分类:   
树莓派4有多强大?这九种用途之前你根本不敢想
树莓派4有多强大?这九种用途之前你根本不敢想
树莓派又来了,这次又成功的吸引了一大批树莓派爱好者,并且激发了各种新的想法。自从这种只有信用卡大小的计算机在2012年首次问世以来,在本周刚刚升级到了第四代产品。新版本的树莓派4拥有更快的连接速度和更好的 ...
分类:   
在Docker环境构建、打包和运行Spring Boot应用
在Docker环境构建、打包和运行Spring Boot应用
Docker是提供用户构建镜像的一种容器化技术,所构建的镜像包含了主要的应用程序和运行应用所需的所有依赖项。该镜像可在任何虚拟机或物理机器上的Docker容器上运行。它的强大之处在于允许用户在开发、测试、预生产和 ...
分类:   
全球摄像头模组主要厂商(TOP 35)!
全球摄像头模组主要厂商(TOP 35)!
摄像头模组基本上与整个行业的成长挂钩,而他们对不同的客户也产生依赖性。韩国的厂商LG、SEMCO、高伟电子等对苹果、三星的依赖性较大,而国内的摄像头模组厂商对于国产机型华为、OPPO、vivo、小米等手机依赖性较大 ...
分类:   
Nginx 之父被抓后,谷歌允许开发者上报个人项目,界定版权所属
Nginx 之父被抓后,谷歌允许开发者上报个人项目,界定版权所属
根据谷歌的雇佣协议,谷歌拥有雇员在公司期间所创造项目的知识产权,这一规定也适用于雇员的个人项目,以及旧项目在就职期间的新开发工作。在经历了 Nginx 创始人被捕事件之后,谷歌可能也觉得这一规定范围过于宽泛 ...
分类:   
仅1年GitHub Star数翻倍,Flink 做了什么?
仅1年GitHub Star数翻倍,Flink 做了什么?
自 2014 年 Flink 贡献给开源社区之后,其发展非常迅速。目前,Flink 可以称之为 Apache 基金会中最为活跃的项目之一,在 GitHub 上其访问量在 Apache 项目中位居前三。从 Star 数量上看,仅仅是 2019 年一年的时间 ...
分类:   
我国爬虫法即将出台!
我国爬虫法即将出台!
网络爬虫就如同一只小蚂蚁,它的作用是搜集网页上的信息或数据,然后把搜集到的信息或数据搬运到小窝(数据库)里。所以爬虫不生产数据,它只是搬运数据。而网络爬虫又分为善意爬虫和恶意爬虫,搜索引擎的爬虫就属于 ...
分类:   
世界10大编程语言,Java不是第一,PHP才第五
世界10大编程语言,Java不是第一,PHP才第五
如今,如果连JavaScript都不会用,那么你不可能称之为一名合格的软件开发人员。榜单中的第一个是JavaScript,根本无法想象没有JavaScript的软件开发会是怎样的世界。从Stack Overflow的2019年开发人员调查中可以看出 ...
分类:   
Node.js在携程的落地和最佳实践
Node.js在携程的落地和最佳实践
本篇主要介绍在携程,Node.js技术栈是如何实现从0到1进行技术落地的,以及在不断磨合的过程中,总结出来的最佳实践。在携程Node.js应用根据用户群,主要分两个方向:DA(数据聚合服务)和SSR(服务端渲染)是服务于 ...
分类:   
4G与5G 无线技术细节对比
4G与5G 无线技术细节对比
4G:上行使用单载波技术。优势:因为PAPR低,发射功率高,在边缘覆盖好;劣势:因为是单载波,单用户数据必须在连续的RB上传输,容易造成RB数不够传输一个用户数据而浪费;用户配对是1对1的,如两个用户需要的资源不 ...
分类:   
【数据中台】关于数据中台系统,需要了解哪些技术?
【数据中台】关于数据中台系统,需要了解哪些技术?
今天让我们全面解读中台,包括企业为什么要平台化,目前中台都有哪些形式,实施中台系统的优势、面临的问题以及建议都有哪些?中台这个概念早期是由美军的作战体系演化而来的,技术上所说的“中台”主要是指学习这种 ...
分类:   
一张主流编程语言的变迁图,讲清程序员迁移模式
一张主流编程语言的变迁图,讲清程序员迁移模式
我绘制了一个主流编程语言的变迁图,用以表示程序员在不同语言之间的切换路径。关于编程语言,还有很多类似的图可以表示它们相互之间的演进。不过我并不想从语言设计者角度来说明这个问题,而是想从程序员本身来看待 ...
分类:   
MySql 分库分表与分区的区别和思考
MySql 分库分表与分区的区别和思考
不要拘泥于某一个技术的一点,技术是相通的。重要的是编程思想,思想是最重要的。当数据量大的时候,需要具有分的思想去细化粒度。当数据量太碎片的时候,需要具有合的思想来粗化粒度。
分类:   

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2020-8-5 07:11 , Processed in 0.139174 second(s), 19 queries .