炼数成金 ›大数据

大数据

Linus 回应言行不当争议：Debian 文化问题: 近日，253 封发表于 2014 年的 Debian 项目内部讨论邮件在外网被泄露并引起了诸多关注。据这些邮件内容显示，彼时，Linus Torvalds 在 DebConf 会议上的言行引发了一些争议。一些人认为，Linus 在发言中将 FSF 描述 ...; 分类: Linux

Netflix是怎样做系统监控的？: 监控系统某个指标超过阈值，触发告警。大半夜里，你被紧急召唤。半睁着眼，你满脸疑惑：“系统真出问题了吗，还是仅仅需要调整下告警？上一次有人调整我们的告警阈值是在什么时候？有没有可能是上游或者下游的服务出 ...; 分类: 运维

复盘领英Hadoop数据丢失事故，我们得到的血泪教训: 我们发生了数据丢失的严重事件：在部分机架中，约有 2% 的设备因意外操作失误而经历了镜像重装。而问题的根源在于，我们的 Hadoop 基础设施主机生命周期管理体系存在设计错误。更糟糕的是，这一切发生在 LinkedIn 的 ...; 分类: 大数据

Kafka面试知识点深度剖析: kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。kafka对外使用topic的概 ...; 分类: 大数据

一个高效的定时任务系统: 应用程序部署在操作系统上，定时任务依赖操作系统的时钟。鉴于大部分的服务器都部署在 Linux 上，我们就只讨论 Linux 的时间系统，Windows 服务器别打我。大部分 PC 机中有两个时钟源，他们分别叫做 RTC（Real Time ...; 分类: 架构

什么是边缘计算（Edge AI）？: 边缘AI发源于边缘计算。边缘计算也称为边缘处理，是一种将服务器放置在本地设备附近网络技术, 这有助于降低系统的处理负载，解决数据传输的延迟问题。这样的处理是在传感器附近或设备产生数据的位置进行的，因此称之 ...; 分类: 物联网

王者荣耀为什么不使用微服务架构？: 微服务为了把业务完美拆解，把原来的同一个进程里的模块拆分成不同的服务，显著增加额外的网络开销。更别说什么Service Mesh，各种Gateway，Proxy，Sidecar简直就是担心延迟太低。微服务基本只有request/response的 ...; 分类: 架构

ClickHouse到底是什么？凭啥这么牛逼！: 随着业务的迅猛增长，Yandex.Metrica目前已经成为世界第三大Web流量分析平台，每天处理超过200亿个跟踪事件。能够拥有如此惊人的体量，在它背后提供支撑的ClickHouse功不可没。ClickHouse已经为Yandex.Metrica存储了 ...; 分类: 大数据

CMOS图像传感器科普: 1873年，科学家约瑟·美(Joseph May)及伟洛比·史密夫(WilloughbySmith)就发现了硒元素结晶体感光后能产生电流，由此，电子影像发展开始，随着技术演进，图像传感器性能逐步提升。光电倍增管（简称光电倍增管或PMT） ...; 分类: 物联网

揭秘3D深度传感器: 感知距离和深度，对多数人的双眼来说都是轻松而自然的。但是让智能手机或者汽车上的摄像头也探测到环境深度特征，可并不容易。普通的摄像头无法单独完成这一任务，必须依靠深度传感器。目前市面上 3D 深度传感器大概 ...; 分类: 物联网

Linux 内核对 Rust 的支持有新进展，双方进行深入探讨: 从去年九月，Linux 内核维护者 Greg 表示愿意接受用 Rust 开发 Linux 驱动，到今年七月，Linus Torvalds 回应称可以默认启用 Rust 支持，Linux 开发者并非只是说说而已。在八月底举办的 2020 Linux Plumbers 大会上 ...; 分类: 开源软件

为什么我要从 Windows 切换到 Linux?: Windows 是商业软件，这使它具备易用的性质。Linux 是自由软件，这使得它拥有开源的性质。易用软件通常带来的是对用户的友好度，以致于 Windows 发展至今，被许许多多的普通用户所采用。自由软件通常带来的是其社区 ...; 分类: 开源软件

CTO 说公司的 ES 性能不够好、集群不够稳定！直到我用了这些调优技巧后。。。: Elasticsearch 默认被配置为使用单播发现，以防止节点无意中加入集群。组播发现应该永远不被使用在生产环境了，否则你得到的结果就是一个节点意外的加入到了你的生产环境，仅仅是因为他们收到了一个错误的组播信号。 ...; 分类: 大数据

十年后将要消失的五种编程语言: 随着时间的流逝，程序员们发现了更新、更简单的工作方式，新的编程语言如雨后春笋般出现，但只有少数编程语言能成为社区的新宠。这种进步的一个副作用是一些古老的编程语言必然会跟历史一样被人们遗忘。如果一个编程 ...; 分类: 编程开发

聊聊ZooKeeper的点: ZooKeeper 是一个开源的分布式协调服务。它是一个为分布式应用提供一致性服务的软件，分布式应用程序可以基于 ZooKeeper 实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master 选举、分布 ...; 分类: 分布式系统

DRAM竞争的新时代: 2011年以后每个季度的DRAM出货数量基本维持在40亿个左右。然而，DRAM的出货金额在2018年第三季度达到顶峰并开始逐步下滑，且在2019年陷入“存储半导体危机”，后来DRAM出货金额虽然没有恢复，出货数量却远超40亿个， ...; 分类: 存储

腾讯 PB 级大规模 Elasticsearch 集群运维与调优实践: 某中型互联网公司的游戏业务，使用了腾讯云的 Elasticsearch 产品，采用 ELK 架构存储业务日志。因为游戏业务本身的日志数据量非常大(写入峰值在 100w qps)，在服务客户的几个月中，踩了不少坑，经过数次优化与调整 ...; 分类: 大数据

30 个高可用 Prometheus 架构实践中的踩坑集锦: 监控是基础设施，目的是为了解决问题，不要只朝着大而全去做，尤其是不必要的指标采集，浪费人力和存储资源（To B商业产品例外）。需要处理的告警才发出来，发出来的告警必须得到处理。简单的架构就是最好的架构，业 ...; 分类: 运维

今天来黑一黑Intel的傲腾: 存储行业的关键在于存储介质，我们有幸经历了磁介质到Flash介质的时代飞跃。Intel是业界屈指可数的几家同时拥有NAND和主控的厂商，也正因如此，SSD市场基本上是Intel的主场。然而作为业界前沿厂商，总是会领先几步。 ...; 分类: 存储

安全运维看过来！某 Nginx 后门分析与重现: 前几天，接到一个 nginx 后门样本，本着就分析和复现的思路，完整的将整个过程做一次复现，不料最终还获取到了后门的核心代码部分，遂将其整理发布，仅供学习研究之用。在后续分析之前先来了解下 nginx 后门的功能。 ...; 分类: 安全

Java、Go和Rust间的比较: Java和Go都是垃圾收集型语言，然而，Java是提前编译（AOT）为在JVM上运行的字节码。当Java应用程序启动时，会调用Just-In-Time（JIT）编译器来优化字节码，随时随地将其编译成本地代码，以提高应用程序的性能。Go和R ...; 分类: 编程开发

美国如果把根域名服务器封了，中国会从网络上消失？: 自从美国宣布“清洁网络”行动后，很多懂点网络的人，第一反应是，美国人会下手根域名服务器吗？这种忧虑可不是一年两年了。2014年6月24日的《人民日报》上引用专家发言：“目前美国掌握着全球互联网13台域名根服务 ...; 分类: 网络技术

滴滴ElasticSearch千万级TPS写入性能翻倍技术剖析: 滴滴ElasticSearch平台承接了公司内部所有使用ElasticSearch的业务，包括核心搜索、RDS从库、日志检索、安全数据分析、指标数据分析等等。平台规模达到了3000+节点，5PB 的数据存储，超过万亿条数据。平台写入的峰值 ...; 分类: 大数据

Linux之父Linus Torvalds加盟微软: 几个星期前，微软宣布Linux的SQL Server，这个星期前，它们宣布Windows上的Linux，微软先后宣布VC++对Linux的支持。随后，它们宣布重磅信息——Linus Torvalds加盟微软！！我已经无法想象微软前任CEO Steve Ballmer ...; 分类: Linux

深入了解传感器的工业用途: 当今的工业格局具有前所未有的波动性，不确定性，复杂性和模糊性。结果，对于资产和人员而言，以更低的成本和更高的安全性来提高运营效率变得越来越重要。在这种背景下，传感技术及其进步对工业运营保持竞争力和效率 ...; 分类: 物联网

专为流式数据设计的另一种缓存：流式缓存技术解读: 传统的缓存解决方案将每一个缓存项都当作一个不可变的数据块对待，这在重度追加的注入工作负载上会产生很多问题，而这种模式的负载在 Pravega 上却非常常见。每一个追加到流上的事件因此要么需要有它自己独立的缓存 ...; 分类: 架构

Spark SQL 物化视图技术原理与实践: 物化视图主要用于预先计算并保存表连接或聚合等耗时较多的操作的结果，这样，在执行查询时，就可以避免进行这些耗时的操作，从而快速的得到结果。物化视图使用查询重写（query rewrite）机制，不需要修改原有的查询 ...; 分类: Spark

处理数据时也保证安全，IBM发布Linux版完全同态加密工具包: 6 月初，IBM 发布了适用于 macOS 和 iOS 的完全同态加密（Fully Homomorphic Encryption，FHE）工具包，并表示 Linux 版本将在数周内推出。现在 Linux 版本发布了，其将 FHE 带到 IBM Z 和 x86 架构的多个 Linux 发 ...; 分类: 安全

RedMonk Q3语言排行：Rust首次进前20: 知名软件行业分析公司 RedMonk 发布了 2020 年 6 月（Q3 季度）编程语言排行榜。RedMonk 编程语言排行榜通过追踪编程语言在 GitHub 和 Stack Overflow 上的代码使用情况与讨论数量，统计分析后进行排序，其旨在深入 ...; 分类: 编程开发

GCC并行编译大型源代码文件性能大幅提升: 虽然 GNU Make 和其他构建系统可以很好地进行扩展以并发编译大量文件，不过 GCC 自身也一直在让 GCC 的更多工作在编译大型源代码文件时能够并行执行。早在2019年夏天，其团队就已开始尝试解决并行化遇到的瓶颈，让更 ...; 分类: 开源软件

1 2 3 4 567 8 9 10 ... 192 / 192 页下一页

热门频道

大数据
商业智能

量化投资
科学探索
创业

即将开课

热门文章

• 打破 Google 破坏性的搜索垄断

GMT+8, 2021-3-3 03:40 , Processed in 0.116798 second(s), 19 queries .