炼数成金 大数据
订阅

大数据

Oracle vs Snowflake
Oracle vs Snowflake
Snowflake 在2018年成为福布斯的云服务100 排行榜,成为全领域发展最快的云解决方案之一。Snowflake是“作为软件即服务(SaaS)提供的数据分析仓库。”让Snowflake爆炸性增长的一些功能是并发性无限,快速且具弹性, ...
分类:   
Uber为什么放弃Postgres选择迁移到MySQL?
Uber为什么放弃Postgres选择迁移到MySQL?
Uber 的早期架构包含了一个用 Python 开发的单体后端应用程序,这个应用程序使用 Postgres 作为数据存储。从那个时候开始,Uber 的架构已经发生了巨大变化,变成了微服务,并采用新的数据平台模型。具体地说,之前使 ...
分类:   
Java国家/地区使用限制条款引发争议
Java国家/地区使用限制条款引发争议
由于某些国家/地区的知识产权保护和执法有限,因此 JDK 源代码只能分发到授权的国家/地区列表中。如果要从不在此列表中的国家/地区进行下载,则将无法访问源代码。我们正在不断审查此列表,以添加其他国家/地区。有 ...
分类:   
AI传感器:左拥自动驾驶,右抱物联网
AI传感器:左拥自动驾驶,右抱物联网
现有的AI产业基数和舆论、资本对它助推是并不对等的,其中泡沫确实存在。事涉AI则必强大绝对是一种盲目的价值观。但AI的优势在于这种基数近乎于无限底层,能够提供的应用场景过分巨大,所以在众多应用场景没有被验证 ...
分类:   
Linus 回应言行不当争议:Debian 文化问题
Linus 回应言行不当争议:Debian 文化问题
近日,253 封发表于 2014 年的 Debian 项目内部讨论邮件在外网被泄露并引起了诸多关注。据这些邮件内容显示,彼时,Linus Torvalds 在 DebConf 会议上的言行引发了一些争议。一些人认为,Linus 在发言中将 FSF 描述 ...
分类:   
Netflix是怎样做系统监控的?
Netflix是怎样做系统监控的?
监控系统某个指标超过阈值,触发告警。大半夜里,你被紧急召唤。半睁着眼,你满脸疑惑:“系统真出问题了吗,还是仅仅需要调整下告警?上一次有人调整我们的告警阈值是在什么时候?有没有可能是上游或者下游的服务出 ...
分类:   
复盘领英Hadoop数据丢失事故,我们得到的血泪教训
复盘领英Hadoop数据丢失事故,我们得到的血泪教训
我们发生了数据丢失的严重事件:在部分机架中,约有 2% 的设备因意外操作失误而经历了镜像重装。而问题的根源在于,我们的 Hadoop 基础设施主机生命周期管理体系存在设计错误。更糟糕的是,这一切发生在 LinkedIn 的 ...
分类:   
Kafka面试知识点深度剖析
Kafka面试知识点深度剖析
kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息,消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。kafka对外使用topic的概 ...
分类:   
一个高效的定时任务系统
一个高效的定时任务系统
应用程序部署在操作系统上,定时任务依赖操作系统的时钟。鉴于大部分的服务器都部署在 Linux 上,我们就只讨论 Linux 的时间系统,Windows 服务器别打我。大部分 PC 机中有两个时钟源,他们分别叫做 RTC(Real Time ...
分类:   
什么是边缘计算(Edge AI)?
什么是边缘计算(Edge AI)?
边缘AI发源于边缘计算。边缘计算也称为边缘处理,是一种将服务器放置在本地设备附近网络技术, 这有助于降低系统的处理负载,解决数据传输的延迟问题。这样的处理是在传感器附近或设备产生数据的位置进行的,因此称之 ...
分类:   
王者荣耀为什么不使用微服务架构?
王者荣耀为什么不使用微服务架构?
微服务为了把业务完美拆解,把原来的同一个进程里的模块拆分成不同的服务,显著增加额外的网络开销。更别说什么Service Mesh,各种Gateway,Proxy,Sidecar简直就是担心延迟太低。微服务基本只有request/response的 ...
分类:   
ClickHouse到底是什么?凭啥这么牛逼!
ClickHouse到底是什么?凭啥这么牛逼!
随着业务的迅猛增长,Yandex.Metrica目前已经成为世界第三大Web流量分析平台,每天处理超过200亿个跟踪事件。能够拥有如此惊人的体量,在它背后提供支撑的ClickHouse功不可没。ClickHouse已经为Yandex.Metrica存储了 ...
分类:   
CMOS图像传感器科普
CMOS图像传感器科普
1873年,科学家约瑟·美(Joseph May)及伟洛比·史密夫(WilloughbySmith)就发现了硒元素结晶体感光后能产生电流,由此,电子影像发展开始,随着技术演进,图像传感器性能逐步提升。光电倍增管(简称光电倍增管或PMT) ...
分类:   
揭秘3D深度传感器
揭秘3D深度传感器
感知距离和深度,对多数人的双眼来说都是轻松而自然的。但是让智能手机或者汽车上的摄像头也探测到环境深度特征,可并不容易。普通的摄像头无法单独完成这一任务,必须依靠深度传感器。目前市面上 3D 深度传感器大概 ...
分类:   
Linux 内核对 Rust 的支持有新进展,双方进行深入探讨
Linux 内核对 Rust 的支持有新进展,双方进行深入探讨
从去年九月,Linux 内核维护者 Greg 表示愿意接受用 Rust 开发 Linux 驱动,到今年七月,Linus Torvalds 回应称可以默认启用 Rust 支持,Linux 开发者并非只是说说而已。在八月底举办的 2020 Linux Plumbers 大会上 ...
分类:   
为什么我要从 Windows 切换到 Linux?
为什么我要从 Windows 切换到 Linux?
Windows 是商业软件,这使它具备易用的性质。Linux 是自由软件,这使得它拥有开源的性质。易用软件通常带来的是对用户的友好度,以致于 Windows 发展至今,被许许多多的普通用户所采用。自由软件通常带来的是其社区 ...
分类:   
CTO 说公司的 ES 性能不够好、集群不够稳定!直到我用了这些调优技巧后。。。
CTO 说公司的 ES 性能不够好、集群不够稳定!直到我用了这些调优技巧后。。。
Elasticsearch 默认被配置为使用单播发现,以防止节点无意中加入集群。组播发现应该永远不被使用在生产环境了,否则你得到的结果就是一个节点意外的加入到了你的生产环境,仅仅是因为他们收到了一个错误的组播信号。 ...
分类:   
十年后将要消失的五种编程语言
十年后将要消失的五种编程语言
随着时间的流逝,程序员们发现了更新、更简单的工作方式,新的编程语言如雨后春笋般出现,但只有少数编程语言能成为社区的新宠。这种进步的一个副作用是一些古老的编程语言必然会跟历史一样被人们遗忘。如果一个编程 ...
分类:   
聊聊ZooKeeper的点
聊聊ZooKeeper的点
ZooKeeper 是一个开源的分布式协调服务。它是一个为分布式应用提供一致性服务的软件,分布式应用程序可以基于 ZooKeeper 实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master 选举、分布 ...
分类:   
DRAM竞争的新时代
DRAM竞争的新时代
2011年以后每个季度的DRAM出货数量基本维持在40亿个左右。然而,DRAM的出货金额在2018年第三季度达到顶峰并开始逐步下滑,且在2019年陷入“存储半导体危机”,后来DRAM出货金额虽然没有恢复,出货数量却远超40亿个, ...
分类:   
腾讯 PB 级大规模 Elasticsearch 集群运维与调优实践
腾讯 PB 级大规模 Elasticsearch 集群运维与调优实践
某中型互联网公司的游戏业务,使用了腾讯云的 Elasticsearch 产品,采用 ELK 架构存储业务日志。因为游戏业务本身的日志数据量非常大(写入峰值在 100w qps),在服务客户的几个月中,踩了不少坑,经过数次优化与调整 ...
分类:   
30 个高可用 Prometheus 架构实践中的踩坑集锦
30 个高可用 Prometheus 架构实践中的踩坑集锦
监控是基础设施,目的是为了解决问题,不要只朝着大而全去做,尤其是不必要的指标采集,浪费人力和存储资源(To B商业产品例外)。需要处理的告警才发出来,发出来的告警必须得到处理。简单的架构就是最好的架构,业 ...
分类:   
今天来黑一黑Intel的傲腾
今天来黑一黑Intel的傲腾
存储行业的关键在于存储介质,我们有幸经历了磁介质到Flash介质的时代飞跃。Intel是业界屈指可数的几家同时拥有NAND和主控的厂商,也正因如此,SSD市场基本上是Intel的主场。然而作为业界前沿厂商,总是会领先几步。 ...
分类:   
安全运维看过来!某 Nginx 后门分析与重现
安全运维看过来!某 Nginx 后门分析与重现
前几天,接到一个 nginx 后门样本,本着就分析和复现的思路,完整的将整个过程做一次复现,不料最终还获取到了后门的核心代码部分,遂将其整理发布,仅供学习研究之用。在后续分析之前先来了解下 nginx 后门的功能。 ...
分类:   
Java、Go和Rust间的比较
Java、Go和Rust间的比较
Java和Go都是垃圾收集型语言,然而,Java是提前编译(AOT)为在JVM上运行的字节码。当Java应用程序启动时,会调用Just-In-Time(JIT)编译器来优化字节码,随时随地将其编译成本地代码,以提高应用程序的性能。Go和R ...
分类:   
美国如果把根域名服务器封了,中国会从网络上消失?
美国如果把根域名服务器封了,中国会从网络上消失?
自从美国宣布“清洁网络”行动后,很多懂点网络的人,第一反应是,美国人会下手根域名服务器吗?这种忧虑可不是一年两年了。2014年6月24日的《人民日报》上引用专家发言:“目前美国掌握着全球互联网13台域名根服务 ...
分类:   
滴滴ElasticSearch千万级TPS写入性能翻倍技术剖析
滴滴ElasticSearch千万级TPS写入性能翻倍技术剖析
滴滴ElasticSearch平台承接了公司内部所有使用ElasticSearch的业务,包括核心搜索、RDS从库、日志检索、安全数据分析、指标数据分析等等。平台规模达到了3000+节点,5PB 的数据存储,超过万亿条数据。平台写入的峰值 ...
分类:   
Linux之父Linus Torvalds加盟微软
Linux之父Linus Torvalds加盟微软
几个星期前,微软宣布Linux的SQL Server,这个星期前,它们宣布Windows上的Linux,微软先后宣布VC++对Linux的支持。 随后,它们宣布重磅信息——Linus Torvalds加盟微软!!我已经无法想象微软前任CEO Steve Ballmer ...
分类:   
深入了解传感器的工业用途
深入了解传感器的工业用途
当今的工业格局具有前所未有的波动性,不确定性,复杂性和模糊性。结果,对于资产和人员而言,以更低的成本和更高的安全性来提高运营效率变得越来越重要。在这种背景下,传感技术及其进步对工业运营保持竞争力和效率 ...
分类:   
专为流式数据设计的另一种缓存:流式缓存技术解读
专为流式数据设计的另一种缓存:流式缓存技术解读
传统的缓存解决方案将每一个缓存项都当作一个不可变的数据块对待,这在重度追加的注入工作负载上会产生很多问题,而这种模式的负载在 Pravega 上却非常常见。每一个追加到流上的事件因此要么需要有它自己独立的缓存 ...
分类:   

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2020-9-19 03:52 , Processed in 0.089749 second(s), 19 queries .