炼数成金 ›大数据

大数据

一次 JVM YGC 引发的惨案，与排除手段分析！: 某日下午大约四点多，接到合作方消息，线上环境，我这边维护的某http服务突然大量超时（对方超时时间设置为300ms），我迅速到鹰眼平台开启采样，发现该服务平均QPS到了120左右，平均RT在2秒多到3秒，部分毛刺高达5到 ...; 分类: Java

Java高并发综合: 悲观锁假设最坏的情况（如果你不锁门，那么捣蛋鬼就会闯入并搞得一团糟），并且只有在确保其他线程不会干扰（通过获取正确的锁）的情况下才能执行下去。安全性更高，但在中低并发程度下的效率更低。; 分类: Java

无服务器已死？这项技术为什么变得人人嫌弃: 虽然许多人认为，无服务器技术是一个新的概念。但是，如果追根溯源，那就是 2006 年 Zimki PaaS 和 Google App Engine 对无服务器框架的探索。近几年，一些人预测无服务器计算将迎来蓬勃发展，让应用无需操作系统 ...; 分类: 架构

【底层原理】Linux内存管理: 在linux中，每一个进程都被抽象为task_struct结构体，称为进程描述符，存储着进程各方面的信息；例如打开的文件，信号以及内存等等；然后task_struct中的一个属性mm_struct管理着进程的所有虚拟内存，称为内存描述符 ...; 分类: Linux

openGauss魔改PG？它能兼容Oracle的数据库表吗？: 华为数据库最早诞生于运营商的需求，最初版本名称为GMDB，后来基于PostgreSQL-XC进行整体改造，再配合自研的存储引擎，发布了FusionInsight LibrA（天枰座），也就是大家听过较多的MPPDB，目前官网上还能找到一些Fu ...; 分类: 数据库

OpenAI 应改名 ClosedAI: 上个月微软宣布正在与 OpenAI 合作，并取得了 GPT-3 语言模型的独家授权许可。其实去年七月，微软向 OpenAI 投资了 10 亿美元，达成伙伴关系。作为交换，OpenAI 同意将其部分知识产权授予微软，然后由微软打包出售。 ...; 分类: 开源软件

五分钟读懂角度传感器: 角度传感器是指能感受被测角度并转换成可用输出信号的传感器。角度传感器，顾名思义，是用来检测角度的。它的身体中有一个孔，可以配合乐高的轴。当连结到RCX上时，轴每转过1/16圈，角度传感器就会计数一次。往一个 ...; 分类: 物联网

使用Prometheus和Grafana构建Redis实时监控平台: Redis作为缓存系统，在整个后端体系中是较为重要的一环，需要实时监控运行状态。现在有各种各样的工具都可以对Redis进行监控，例如：redis-stat、RedisLive等，在使用过各种各样的监控工具后，个人感觉redis_exporte ...; 分类: 运维

架构制图：工具与方法论: “架构制图”这词乍一听似乎有些晦涩，但如果提起“工程制图”，相信绝大部分工科背景的程序员们都不会陌生，甚至还能共同感慨下那些年一起伏在宿舍左手圆规，右手直尺，徒手作图到深夜的日子。软件工程也是工程，因 ...; 分类: 架构

深入理解：RabbitMQ的前世今生: 对于消息消费而言，消费者直接指定要消费的队列即可，比如指定消费队列A的数据。需要注意的是，在消费者消费完成数据后，返回给RabbitMq ACK消息，RabbitMq会删掉队列中的该条信息。在Exchange这个模块上，RabbitMq ...; 分类: 大数据

开源先驱ESR：微软将放弃Windows内核，转Linux: 近日，开源先驱、《大教堂与集市》作者 Eric S Raymond 在个人博客上提出了一个惊人的观点，他认为 Linux 即将取得操作系统之争的最后胜利，因为微软很有可能在未来放弃 Windows 系统的内核研发，转而将其建立在 Lin ...; 分类: Linux

量子计算技术的研究现状与未来: 1900年 Max Planck 提出“量子”概念，宣告了“量子”时代的诞生。科学家发现，微观粒子有着与宏观世界的物理客体完全不同的特性。宏观世界的物理客体，要么是粒子，要么是波动，它们遵从经典物理学的运动规律，而微 ...; 分类: 超级计算

为什么 CPU 访问硬盘很慢: 机械硬盘（Hard Disk Drive、HDD）和固态硬盘（Solid State Drive、SSD）是两种最常见的硬盘，作为计算机的外部存储，CPU 想要访问它们存储的数据需要很长时间。虽然磁盘的寻道时间只需要 10ms，但是在 CPU 看来已经 ...; 分类: 存储

程序员技术选型：写Go还是Java？: Go 不是面向对象编程语言。Go 没有类似 Java 的继承机制，因为它没有通过继承实现传统的多态性。实际上，它没有对象，只有结构体。它可以通过接口和让结构体实现接口来模拟一些面向对象特性。此外，你可以在结构体中 ...; 分类: 编程开发

Java 2020：使用者近 680 万，中国开发者占比最高: 为了庆祝 Java 25 周年和 Java 15 版本的发布，JetBrains 从多个来源收集了数据，以查看该语言当下的发展状态。首先，他们对大多数 Java 开发人员的区域分布进行了调查。据市场研究和分析团队的开发者估计模型指出， ...; 分类: Java

一篇文章全面了解监控知识体系: 监控是整个运维乃至整个产品生命周期中最重要的一环，事前及时预警发现故障，事后提供详实的数据用于追查定位问题。目前业界有很多不错的开源产品可供选择。选择一款开源的监控系统，是一个省时省力、效率最高的方案 ...; 分类: 运维

如何实现Spark on Kubernetes？: “数据湖”正在被越来越多人提起，尽管定义并不统一，但企业已纷纷投入实践，无论是在云上自建还是使用云产品。阿里云大数据团队认为：数据湖是大数据和AI时代融合存储和计算的全新体系。为什么这么说？在数据量爆发 ...; 分类: 架构

出现这四种情况，才是考虑分库分表的时候！: 不管是IO瓶颈还是CPU瓶颈，最终都会导致数据库的活跃连接数增加，进而逼近甚至达到数据库可承载的活跃连接数的阈值。在业务service来看，就是可用数据库连接少甚至无连接可用，接下来就可以想象了（并发量、吞吐量、 ...; 分类: 数据库

4D雷达是什么？: 本周，Xilinx和美国大陆航空宣布了汽车行业的第一台可投入生产的 4D成像雷达。但是4D雷达实际上是否超出了理论范围？无人驾驶汽车的自主性通常以“ 自动化水平 ”的尺度来衡量。简而言之，这是从0到5的比例，这意味 ...; 分类: 物联网

指纹传感器是如何工作的？: 在这个现代时代，保护物理位置和数字数据的安全越来越困难。小偷可以撬锁或强行进入。黑客可以窃取密码或进行其他多种入侵。生物识别数据正逐渐成为不可丢失的密钥或无法复制的密码。面部识别和视网膜图案等生物识别 ...; 分类: 物联网

Redis 常见延迟问题排查手册！附33条优化建议: Redis作为内存数据库，拥有非常高的性能，单个实例的QPS能够达到10W左右。但我们在使用Redis时，经常时不时会出现访问延迟很大的情况，如果你不知道Redis的内部实现原理，在排查问题时就会一头雾水。很多时候，Redis ...; 分类: Nosql

基于Flink+Hive构建流批一体准实时数仓: 假设现在公司有一个需求，目前公司的数据量很大，需要每天出一个报表且输出到业务数据库中。首先是刚入库的业务数据，大致分为两种，一种是 MySQL 的 binlog，另外一种是业务系统中的业务打点，这个日志打点信息可以 ...; 分类: 大数据

微软停止更新.NET Standard，.NET 5取而代之: 微软 .NET 官方博客近日发布了一篇谈论 .NET Standard 未来的文章。文章作者是 .NET 项目经理 Immo，他在文章中指出未来 .NET Standard 将会被 .NET 5 取代，还对 .NET 5 如何改进代码共享以及取代 .NET Standard 这 ...; 分类: 编程开发

2021年编程语言趋势预测：Python和JavaScript仍火热，Go不可小觑: 作为开发人员，在当今这个技术更迭飞快的时代要连年吃香并非易事，很多十年开发经验以上的开发人员不知道经历了多少语言的变化，今年还在用C语言，下一年就是D了。“PHP是世界上最好的编程语言”已被人忘却，但“青 ...; 分类: 编程开发

用图讲解 ElasticSearch 搜索原理，你就明白了！: 云里面的每个白色正方形的盒子代表一个节点——Node。在一个或者多个节点直接，多个绿色小方块组合在一起形成一个ElasticSearch的索引。在一个索引下，分布在多个节点里的绿色小方块称为分片——Shard。一个ElasticS ...; 分类: 大数据

那些害死Haskell的，也会害死Rust: 为什么这个时候我会提到 Haskell？好吧，Haskell 和 Rust 有着千丝万缕的联系。可以说，Rust 就是没有高阶类型（HKT）的 Hashkell。Rust 的很多风格与 Haskell 很像。在某种程度上，可以说 Rust 就是 Haskell 的化身 ...; 分类: 编程开发

Oracle vs Snowflake: Snowflake 在2018年成为福布斯的云服务100 排行榜，成为全领域发展最快的云解决方案之一。Snowflake是“作为软件即服务（SaaS）提供的数据分析仓库。”让Snowflake爆炸性增长的一些功能是并发性无限，快速且具弹性， ...; 分类: 数据库

Uber为什么放弃Postgres选择迁移到MySQL？: Uber 的早期架构包含了一个用 Python 开发的单体后端应用程序，这个应用程序使用 Postgres 作为数据存储。从那个时候开始，Uber 的架构已经发生了巨大变化，变成了微服务，并采用新的数据平台模型。具体地说，之前使 ...; 分类: Mysql

Java国家/地区使用限制条款引发争议: 由于某些国家/地区的知识产权保护和执法有限，因此 JDK 源代码只能分发到授权的国家/地区列表中。如果要从不在此列表中的国家/地区进行下载，则将无法访问源代码。我们正在不断审查此列表，以添加其他国家/地区。有 ...; 分类: 开源软件

AI传感器：左拥自动驾驶，右抱物联网: 现有的AI产业基数和舆论、资本对它助推是并不对等的，其中泡沫确实存在。事涉AI则必强大绝对是一种盲目的价值观。但AI的优势在于这种基数近乎于无限底层，能够提供的应用场景过分巨大，所以在众多应用场景没有被验证 ...; 分类: 物联网

1 2 3 456 7 8 9 10 ... 192 / 192 页下一页

热门频道

大数据
商业智能

量化投资
科学探索
创业

即将开课

热门文章

• 打破 Google 破坏性的搜索垄断

GMT+8, 2021-3-3 04:57 , Processed in 0.136438 second(s), 19 queries .