炼数成金 大数据
订阅

大数据

一次 JVM YGC 引发的惨案,与排除手段分析!
一次 JVM YGC 引发的惨案,与排除手段分析!
某日下午大约四点多,接到合作方消息,线上环境,我这边维护的某http服务突然大量超时(对方超时时间设置为300ms),我迅速到鹰眼平台开启采样,发现该服务平均QPS到了120左右,平均RT在2秒多到3秒,部分毛刺高达5到 ...
分类:   
Java高并发综合
Java高并发综合
悲观锁假设最坏的情况(如果你不锁门,那么捣蛋鬼就会闯入并搞得一团糟),并且只有在确保其他线程不会干扰(通过获取正确的锁)的情况下才能执行下去。安全性更高,但在中低并发程度下的效率更低。
分类:   
无服务器已死?这项技术为什么变得人人嫌弃
无服务器已死?这项技术为什么变得人人嫌弃
虽然许多人认为,无服务器技术是一个新的概念。但是,如果追根溯源,那就是 2006 年 Zimki PaaS 和 Google App Engine 对无服务器框架的探索。 近几年,一些人预测无服务器计算将迎来蓬勃发展,让应用无需操作系统 ...
分类:   
【底层原理】Linux内存管理
【底层原理】Linux内存管理
在linux中,每一个进程都被抽象为task_struct结构体,称为进程描述符,存储着进程各方面的信息;例如打开的文件,信号以及内存等等;然后task_struct中的一个属性mm_struct管理着进程的所有虚拟内存,称为内存描述符 ...
分类:   
openGauss魔改PG?它能兼容Oracle的数据库表吗?
openGauss魔改PG?它能兼容Oracle的数据库表吗?
华为数据库最早诞生于运营商的需求,最初版本名称为GMDB,后来基于PostgreSQL-XC进行整体改造,再配合自研的存储引擎,发布了FusionInsight LibrA(天枰座),也就是大家听过较多的MPPDB,目前官网上还能找到一些Fu ...
分类:   
OpenAI 应改名 ClosedAI
OpenAI 应改名 ClosedAI
上个月微软宣布正在与 OpenAI 合作,并取得了 GPT-3 语言模型的独家授权许可。其实去年七月,微软向 OpenAI 投资了 10 亿美元,达成伙伴关系。作为交换,OpenAI 同意将其部分知识产权授予微软,然后由微软打包出售。 ...
分类:   
五分钟读懂角度传感器
五分钟读懂角度传感器
角度传感器是指能感受被测角度并转换成可用输出信号的传感器。 角度传感器,顾名思义,是用来检测角度的。它的身体中有一个孔,可以配合乐高的轴。当连结到RCX上时,轴每转过1/16圈,角度传感器就会计数一次。往一个 ...
分类:   
使用Prometheus和Grafana构建Redis实时监控平台
使用Prometheus和Grafana构建Redis实时监控平台
Redis作为缓存系统,在整个后端体系中是较为重要的一环,需要实时监控运行状态。现在有各种各样的工具都可以对Redis进行监控,例如:redis-stat、RedisLive等,在使用过各种各样的监控工具后,个人感觉redis_exporte ...
分类:   
架构制图:工具与方法论
架构制图:工具与方法论
“架构制图”这词乍一听似乎有些晦涩,但如果提起“工程制图”,相信绝大部分工科背景的程序员们都不会陌生,甚至还能共同感慨下那些年一起伏在宿舍左手圆规,右手直尺,徒手作图到深夜的日子。软件工程也是工程,因 ...
分类:   
深入理解:RabbitMQ的前世今生
深入理解:RabbitMQ的前世今生
对于消息消费而言,消费者直接指定要消费的队列即可,比如指定消费队列A的数据。需要注意的是,在消费者消费完成数据后,返回给RabbitMq ACK消息,RabbitMq会删掉队列中的该条信息。在Exchange这个模块上,RabbitMq ...
分类:   
开源先驱ESR:微软将放弃Windows内核,转Linux
开源先驱ESR:微软将放弃Windows内核,转Linux
近日,开源先驱、《大教堂与集市》作者 Eric S Raymond 在个人博客上提出了一个惊人的观点,他认为 Linux 即将取得操作系统之争的最后胜利,因为微软很有可能在未来放弃 Windows 系统的内核研发,转而将其建立在 Lin ...
分类:   
量子计算技术的研究现状与未来
量子计算技术的研究现状与未来
1900年 Max Planck 提出“量子”概念,宣告了“量子”时代的诞生。科学家发现,微观粒子有着与宏观世界的物理客体完全不同的特性。宏观世界的物理客体,要么是粒子,要么是波动,它们遵从经典物理学的运动规律,而微 ...
分类:   
为什么 CPU 访问硬盘很慢
为什么 CPU 访问硬盘很慢
机械硬盘(Hard Disk Drive、HDD)和固态硬盘(Solid State Drive、SSD)是两种最常见的硬盘,作为计算机的外部存储,CPU 想要访问它们存储的数据需要很长时间。虽然磁盘的寻道时间只需要 10ms,但是在 CPU 看来已经 ...
分类:   
程序员技术选型:写Go还是Java?
程序员技术选型:写Go还是Java?
Go 不是面向对象编程语言。Go 没有类似 Java 的继承机制,因为它没有通过继承实现传统的多态性。实际上,它没有对象,只有结构体。它可以通过接口和让结构体实现接口来模拟一些面向对象特性。此外,你可以在结构体中 ...
分类:   
Java 2020:使用者近 680 万,中国开发者占比最高
Java 2020:使用者近 680 万,中国开发者占比最高
为了庆祝 Java 25 周年和 Java 15 版本的发布,JetBrains 从多个来源收集了数据,以查看该语言当下的发展状态。首先,他们对大多数 Java 开发人员的区域分布进行了调查。据市场研究和分析团队的开发者估计模型指出, ...
分类:   
一篇文章全面了解监控知识体系
一篇文章全面了解监控知识体系
监控是整个运维乃至整个产品生命周期中最重要的一环,事前及时预警发现故障,事后提供详实的数据用于追查定位问题。目前业界有很多不错的开源产品可供选择。选择一款开源的监控系统,是一个省时省力、效率最高的方案 ...
分类:   
如何实现Spark on Kubernetes?
如何实现Spark on Kubernetes?
“数据湖”正在被越来越多人提起,尽管定义并不统一,但企业已纷纷投入实践,无论是在云上自建还是使用云产品。阿里云大数据团队认为:数据湖是大数据和AI时代融合存储和计算的全新体系。为什么这么说?在数据量爆发 ...
分类:   
出现这四种情况,才是考虑分库分表的时候!
出现这四种情况,才是考虑分库分表的时候!
不管是IO瓶颈还是CPU瓶颈,最终都会导致数据库的活跃连接数增加,进而逼近甚至达到数据库可承载的活跃连接数的阈值。在业务service来看,就是可用数据库连接少甚至无连接可用,接下来就可以想象了(并发量、吞吐量、 ...
分类:   
4D雷达是什么?
4D雷达是什么?
本周,Xilinx和美国大陆航空宣布了汽车行业的第一台可投入生产的 4D成像雷达。但是4D雷达实际上是否超出了理论范围?无人驾驶汽车的自主性通常以“ 自动化水平 ”的尺度来衡量。简而言之,这是从0到5的比例,这意味 ...
分类:   
指纹传感器是如何工作的?
指纹传感器是如何工作的?
在这个现代时代,保护物理位置和数字数据的安全越来越困难。小偷可以撬锁或强行进入。黑客可以窃取密码或进行其他多种入侵。生物识别数据正逐渐成为不可丢失的密钥或无法复制的密码。面部识别和视网膜图案等生物识别 ...
分类:   
Redis 常见延迟问题排查手册!附33条优化建议
Redis 常见延迟问题排查手册!附33条优化建议
Redis作为内存数据库,拥有非常高的性能,单个实例的QPS能够达到10W左右。但我们在使用Redis时,经常时不时会出现访问延迟很大的情况,如果你不知道Redis的内部实现原理,在排查问题时就会一头雾水。很多时候,Redis ...
分类:   
基于Flink+Hive构建流批一体准实时数仓
基于Flink+Hive构建流批一体准实时数仓
假设现在公司有一个需求,目前公司的数据量很大,需要每天出一个报表且输出到业务数据库中。首先是刚入库的业务数据,大致分为两种,一种是 MySQL 的 binlog,另外一种是业务系统中的业务打点,这个日志打点信息可以 ...
分类:   
微软停止更新.NET Standard,.NET 5取而代之
微软停止更新.NET Standard,.NET 5取而代之
微软 .NET 官方博客近日发布了一篇谈论 .NET Standard 未来的文章。文章作者是 .NET 项目经理 Immo,他在文章中指出未来 .NET Standard 将会被 .NET 5 取代,还对 .NET 5 如何改进代码共享以及取代 .NET Standard 这 ...
分类:   
2021年编程语言趋势预测:Python和JavaScript仍火热,Go不可小觑
2021年编程语言趋势预测:Python和JavaScript仍火热,Go不可小觑
作为开发人员,在当今这个技术更迭飞快的时代要连年吃香并非易事,很多十年开发经验以上的开发人员不知道经历了多少语言的变化,今年还在用C语言,下一年就是D了。“PHP是世界上最好的编程语言”已被人忘却,但“青 ...
分类:   
用图讲解 ElasticSearch 搜索原理,你就明白了!
用图讲解 ElasticSearch 搜索原理,你就明白了!
云里面的每个白色正方形的盒子代表一个节点——Node。在一个或者多个节点直接,多个绿色小方块组合在一起形成一个ElasticSearch的索引。在一个索引下,分布在多个节点里的绿色小方块称为分片——Shard。一个ElasticS ...
分类:   
那些害死Haskell的,也会害死Rust
那些害死Haskell的,也会害死Rust
为什么这个时候我会提到 Haskell?好吧,Haskell 和 Rust 有着千丝万缕的联系。可以说,Rust 就是没有高阶类型(HKT)的 Hashkell。Rust 的很多风格与 Haskell 很像。在某种程度上,可以说 Rust 就是 Haskell 的化身 ...
分类:   
Oracle vs Snowflake
Oracle vs Snowflake
Snowflake 在2018年成为福布斯的云服务100 排行榜,成为全领域发展最快的云解决方案之一。Snowflake是“作为软件即服务(SaaS)提供的数据分析仓库。”让Snowflake爆炸性增长的一些功能是并发性无限,快速且具弹性, ...
分类:   
Uber为什么放弃Postgres选择迁移到MySQL?
Uber为什么放弃Postgres选择迁移到MySQL?
Uber 的早期架构包含了一个用 Python 开发的单体后端应用程序,这个应用程序使用 Postgres 作为数据存储。从那个时候开始,Uber 的架构已经发生了巨大变化,变成了微服务,并采用新的数据平台模型。具体地说,之前使 ...
分类:   
Java国家/地区使用限制条款引发争议
Java国家/地区使用限制条款引发争议
由于某些国家/地区的知识产权保护和执法有限,因此 JDK 源代码只能分发到授权的国家/地区列表中。如果要从不在此列表中的国家/地区进行下载,则将无法访问源代码。我们正在不断审查此列表,以添加其他国家/地区。有 ...
分类:   
AI传感器:左拥自动驾驶,右抱物联网
AI传感器:左拥自动驾驶,右抱物联网
现有的AI产业基数和舆论、资本对它助推是并不对等的,其中泡沫确实存在。事涉AI则必强大绝对是一种盲目的价值观。但AI的优势在于这种基数近乎于无限底层,能够提供的应用场景过分巨大,所以在众多应用场景没有被验证 ...
分类:   

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2021-3-3 04:57 , Processed in 0.136438 second(s), 19 queries .