炼数成金 ›大数据

大数据

手环是怎么感知你的心率的？: 随着生活节奏的加快，工作压力的加大，越来越多的人开始注重健身，如此一来，可穿戴健身追踪设备就变得很流行。如果仔细观察，会发现身边已经有很多朋友开始使用这类设备，或用于健身或用于减肥，这些设备可以记录健 ...; 分类: 物联网

快速搭建容器化Elasticsearch集群环境: 随着云原生技术的蓬勃发展，为各种分布式集群环境的实施提供了非常便利的条件。Elastic Stack是一种非常优秀的分布式搜索解决方案，但是由于其组件较多且有很多配置，因此在搭建集群时存在一定难度。这里我们提供一 ...; 分类: 运维

Rsync 秒杀一切备份工具，你能手动屏蔽某些目录吗？: Rsync 是一种快速且通用的命令行实用程序，可通过远程shell在两个位置之间同步文件和文件夹。使用 Rsync，可以镜像数据，创建增量备份，并在系统之间复制文件。复制数据时，你可能要根据文件名或位置排除一个或多个 ...; 分类: 运维

Nature揭秘：原子薄型半导体如何成为存内计算“救星”？: 本周最新一期《Nature》期刊，刊载了一种利用原子薄型半导体，设计兼顾逻辑计算和数据存储能力的芯片的方法。通过把两种功能结合于单一芯片结构，这种新型芯片可以更高效地驱动设备，或能用于推动AI方面的研究。这项 ...; 分类: 超级计算

快速搭建Kubernetes集群环境: 随着云原生技术的蓬勃发展，现在科技人员对于学习和使用该新技术有着强烈的需求，但是由于该技术对所使用的软硬件都有较高的要求，一定程度上提高了学习的门槛。虽然采用Minikube也可以搭建环境，但是由于Minikube具 ...; 分类: 虚拟化

量子是什么？为什么可以用来给通信加密？: 量子力学确实很难以我们日常生活的经验和观察来理解。但这不妨碍我们抽象地领会关于量子力学一些最核心的内涵，形成最基础的“量子化思维”。为什么很难用日常思维来理解？1900年，当人们欢庆经典物理学大厦已经基 ...; 分类: 安全

报警的哲学: 审核和编写报警规则时，需要考虑以下的这些原则：报警的（电话，短信）触达应当是紧急的，重要的，可行动的，真实的。规则应当表示是你的服务处于过程中或者即将发生的问题。为了保持报警项的精确，有效；宁可过度移 ...; 分类: 运维

Linux 日志文件系统原来是这样工作的: 文件系统要解决的一个关键问题是怎样防止掉电或系统崩溃造成数据损坏，在此类意外事件中，导致文件系统损坏的根本原因在于写文件不是原子操作，因为写文件涉及的不仅仅是用户数据，还涉及元数据(metadata)包括 Super ...; 分类: Linux

为什么我们选择 Java 语言开发高频交易系统: 在高频交易的世界中，自动化应用程序每天处理数亿个市场信号，并在全球各个交易所发送成千上万的订单。为了保持业务竞争力，响应时间必须始终保持在微秒级，尤其是在黑天鹅异常事件等高峰期。在典型的体系结构中，金 ...; 分类: Java

TIOBE 11 月榜单：Python 挤掉 Java，成功跃至第二: TIOBE 公布了 2020 年 11 月的编程语言排行榜。Python 已成功跃居榜单第二名，本月排名率为 12.12%；Java 被挤到第三位，排名率降至 11.68%。自有 TIOBE 榜单以来，C 和 Java 之前一直占据着前两名的位置。然而现如 ...; 分类: 编程开发

基于 Prometheus 的监控系统实践: 监控作为底层基础设施的一环，是保障生产环境服务稳定性不可或缺的一部分，线上问题从发现到定位再到解决，通过监控和告警手段可以有效地覆盖了「发现」和「定位」，甚至可以通过故障自愈等手段实现解决，服务开发和 ...; 分类: 运维

Google Cloud TPUs支持Pytorch框架啦！: 在2019年PyTorch开发者大会上，Facebook，Google和Salesforce Research联合宣布启动PyTorch-TPU项目。项目的目标是在保持PyTorch的灵活性的同时让社区尽可能容易地利用云TPU提供的高性能计算。团队创建了PyTorch/XLA ...; 分类: 云计算

时序数据异常检测做到这种段位，还怕什么告警风暴: AIOps，最初的定义是Algorithm IT Operations，是利用运维算法来实现运维的自动化，最终走向无人化运维。随着技术成熟，逐步确定为Artificial Intelligence for IT Operations——智能运维，将人工智能应用于运维领 ...; 分类: 运维

一文理解 Linux 平均负载，附排查工具: 平均负载可以对于我们来说及熟悉又陌生，但我们问平均负载是什么，但大部分人都回答说平均负载不就是单位时间内CPU使用率吗？其实并不是这样的，如果可以的话，可以 man uptime 来了解一下平均负载的详细信息。简单 ...; 分类: Linux

一种新的设计模式：newtype: 设计模式是在编写代码时在各种不同情况下出现的模式。在本文中，我将讨论 Newtype 设计模式。具体来说，我将以 Rust 编程语言为背景来讨论它，以及如何解决在 Rust 中使用 Newtype 模式时出现的一些问题。编程设计模 ...; 分类: 编程开发

基于 Apache Doris 数仓在作业帮的实践: Kafka 。业务线从Kafka接数据自己做数据的聚合计算。主要问题在于完全没有数仓的概念，业务线在做大量重复的建设。Spark + ES。每来一个业务需求，就构建一个Spark+ES集群（spark负责计算写入到ES，ES业务层直接使用 ...; 分类: 大数据

从单体迈向Serverless的避坑指南: 用户需求和云的发展两条线推动了云原生技术的兴起、发展和大规模应用。本文将主要讨论什么是云原生应用，构成云原生应用的要素是什么，什么是Serverless 计算，以及Serverless如何简化技术复杂度，帮助用户应对快速 ...; 分类: 云计算

关于 TCP/IP，必知必会的十个问题！: TCP/IP协议模型，包含了一系列构成互联网基础的网络协议，是Internet的核心协议。基于TCP/IP的参考模型将协议分成四个层次，它们分别是链路层、网络层、传输层和应用层。下图表示TCP/IP模型与OSI模型各层的对照关系 ...; 分类: 网络技术

细说那些让公司网站瘫痪的SQL: “一条慢查询会造成什么后果？之前我一直觉得不就是返回数据会慢一些么，用户体验变差？”其实远远不止，我经历过几次线上事故，有一次就是由一条 SQL 慢查询导致的。那次是一条 SQL 查询耗时达到 2-3 秒「没有命中 ...; 分类: 数据库

MySQL 的多版本并发控制(MVCC) 是干啥的？: 多版本并发控制技术的英文全称是 Multiversion Concurrency Control ，简称 MVCC 。是通过保存数据在某个时间点的快照来实现并发控制的。也就是说，不管事务执行多长时间，事务内部看到的数据是不受其它事务影响的 ...; 分类: Mysql

传感器的7大感应方式: 接近传感器在操作中可以进一步分为接触式或非接触式，以及模拟或数字。传感器的选择取决于物理，环境和控制条件。可以采用任何合适的机械/电气开关，但是由于操作机械开关需要一定的力，所以通常使用微型开关。这些 ...; 分类: 物联网

程序员技术选型：写Go还是Java？网友：Rust不香了？: 老实说，我很喜欢 Java。我在 Spiral Scout 工作的那几年，使用了 EJB2、DB2 和 Oracle 等后端技术，积累了很多软件开发方面的专业知识。过去几年，我转向基于自然语言处理的机器人项目，涉及的技术包括 Spring Boot ...; 分类: 编程开发

Snowflake超越的不是AWS，而是SAAS: “Salesforce成为比Siebel更伟大的公司，因为他们彻底改变了CRM。ServiceNow成为比BMC更伟大的公司，因为他们彻底改变了ITSM（IT服务管理）。而Snowflake将彻底改变数仓，以我们从未想过的方式。”这段话来自Snowfla ...; 分类: 云计算

作为创始人，我不小心删除了生产数据库，还跑路吗？: 近日，国外用于评分的在线软件提供商 KeepTheScore 猛然发现生产数据库被意外删除，超过 300 块计分牌及相关数据瞬间化为乌有。好在该公司使用的数据库是云托管数据库，云提供商每天都会进行一次自动备份。经历了 5 ...; 分类: 数据库

SQL最大竞争对手的简史: 那是 1983 年，Oracle 还是一家小公司。当时，拉里·埃里森正专注于重写满是 bug 的数据库产品，而计算机教授、后来成为数据库传奇人物的 Michael Stonebraker 正在迎头追赶。在《软件战争》（Softwar）一书中，Matt ...; 分类: 数据库

为什么 Linux 需要虚拟内存: 操作系统中的 CPU 和主内存（Main memory）都是稀缺资源，所有运行在当前操作系统的进程会共享系统中的 CPU 和内存资源，操作系统会使用 CPU 调度器分配 CPU 时间并引入虚拟内存系统以管理物理内存，本文会分析操作 ...; 分类: Linux

Oracle首席工程师：技术面试中，怎样的问题才是好问题？: 其实很久以前就想谈一谈这个话题了，但是最近才有了足够的动机。因为从最近参加的很多 debrief 来看，我认为身边大多数的软件工程师面试中，在通过技术问题来考察候选人这方面，很多都做得不够好。比方说，我看到一 ...; 分类: 架构

图解|什么是缓存系统三座大山: 缓存在计算机系统是无处不在，在CPU层面有L1-L3的Cache，在Linux中有TLB加速虚拟地址和物理地址的转换，在浏览器有本地缓存、手机有本地缓存等。可见，缓存在计算机系统中有非常重要的地位，其主要作用是提高响应速 ...; 分类: 架构

大小公司都适用的架构选型工具箱（涵盖上百个组件）: 一个大型的分布式系统，通常都会异步化，走消息总线。消息队列作为最主要的基础组件，在整个体系架构中，有着及其重要的作用。异步通常意味着编程模型的改变，时效性会降低。kafka是目前最常用的消息队列，尤其是 ...; 分类: 架构

中美日印程序员收入对比: 一直都知道，美国的程序员薪资非常高，但前不久美国的科技猎头公司 Hired 发布了最新的《全美程序员薪水调查报告》，美国旧金山湾区作为众多科技巨头（如Google，Facebook）的大本营，以平均年收入14.2万美金的成绩 ...; 分类: 编程开发

1 2 345 6 7 8 9 10 ... 192 / 192 页下一页

热门频道

大数据
商业智能

量化投资
科学探索
创业

即将开课

热门文章

• 打破 Google 破坏性的搜索垄断

GMT+8, 2021-3-3 04:12 , Processed in 0.160976 second(s), 19 queries .