炼数成金 ›大数据

大数据

程序员正在消失。: 这几年，说实话，许多人对就业不看好、对工作失去信心，感慨选错行业如今转行代价太大。我朋友的弟弟今年高考，报专业时家人希望他报计算机，他忧心忡忡地说。网上都说计算机专业在市场上已经饱和了。“听说不少程序 ...; 分类: 编程开发

助力技术中台数字化转型，探索农行 DevOps 实践之路: DevOps 持续交付通过组合运营和开发团队，促进研发运营一体化融合，缩短开发周期，频繁发布迅速交付，减少出错可能性，提高企业工程效率，降低成本。DevOps 建设工程是助力农业银行数字化转型的重点工作，通过规范建 ...; 分类: 运维

YARN 在字节跳动的优化与实践: YARN (Yet Another Resource Negotiator) 是 Hadoop 集群的资源管理系统，是 Hadoop 生态中非常重要的成员项目。一般来说，离线生态可以分为五层：最底层是裸金属层，由众多物理节点组成，每个节点上运行着通用的操 ...; 分类: 大数据

全球超算TOP500最新排名：搭载ARM日本超算Fugaku首次夺冠！中国超算总数实力霸榜: 最近，TOP500超级计算机排名最新出炉。日本超算Fugaku首次搭载ARM芯片夺冠！目前，世界十大超级计算机中有八台使用 NVIDIA GPU、 InfiniBand 网络或两者都有使用。这些超级计算机是美国、欧洲和中国最强大的计算系统 ...; 分类: 超级计算

记住：永远不要在 MySQL 中使用 UTF-8: 为什么 MySQL 开发者会让“utf8”失效？我们或许可以从提交日志中寻找答案。MySQL 从 4.1 版本开始支持 UTF-8，也就是 2003 年，而今天使用的 UTF-8 标准（RFC 3629）是随后才出现的。旧版的 UTF-8 标准（RFC 2279） ...; 分类: Mysql

2020 年最漂亮的 Linux 发行版: elementary OS 操作系统是最漂亮的 Linux 发行版之一。它基于 macOS 外观，同时为 Linux 用户提供了出色的用户体验。如果你已经习惯使用 macOS，则使用 elementary OS 不会有任何问题。另外，elementary OS 操作系统 ...; 分类: Linux

深入分析 Flink SQL 工作机制: Flink SQL 利用 Apache Calcite 将 SQL 翻译为关系代数表达式，使用表达式折叠（Expression Reduce），下推优化（Predicate / Projection Pushdown ）等优化技术生成物理执行计划（Physical Plan），利用 Codegen 技 ...; 分类: 分布式系统

10 大黑客专用的 Linux 操作系统: Kali Linux是最著名的Linux发行版，用于道德黑客和渗透测试。Kali Linux由Offensive Security开发，之前由BackTrack开发。Kali Linux基于Debian。它带有来自安全和取证各个领域的大量渗透测试工具。现在，它遵循滚动 ...; 分类: Linux

Prometheus 踩坑集锦: 监控系统的历史悠久，是一个很成熟的方向，而 Prometheus 作为新生代的开源监控系统，慢慢成为了云原生体系的事实标准，也证明了其设计很受欢迎。本文主要分享在 Prometheus 实践中遇到的一些问题和思考，如果你对 K ...; 分类: 运维

史上最全的基站天馈知识: 简而言之，频率越高，相同线型的百米损耗越大；线型越粗，各频段的损耗差越小。为了将直接安装在电缆上的“连接器”与直接安装在接头之间的“转接器”区分开来，我们人为地将广义的连接器划分成了狭义的“连接器”与 ...; 分类: 网络技术

大数据十年：Cloudera向左，Palantir向右: 一眨眼，整个大数据产业已经走过十多个年头。在这蓬勃发展的十年中，Cloudera和Paltantir始终是绕不开的两家公司，它们一直代表着大数据公司的两个方向：一个向左，聚焦大数据基础软件平台，一直没有过多行业属性， ...; 分类: 大数据

放弃 MBP 用 8GB 的树莓派4 工作一天，是这样的感受: 说了这么多，8GB 的树莓派 4 到底值不值得上手？作者给出的结论是：如果你想用它当通用电脑，那肯定是不行的。但对于一部分人来说，这款树莓派有它的独特优势。如果你对计算机的使用主要是浏览器、代码编辑器、命令 ...; 分类: 树莓派

霍尼韦尔造出了全球最强量子计算机，性能超越谷歌: 啥？霍尼韦尔(Honeywell)做出了全球性能最好的量子计算机？在6月18日，霍尼韦尔宣布：已经建造了目前世界上性能最好的量子计算机，量子体积达到64，其性能是下一代量子计算机的两倍，甚至超过了谷歌、IBM、英特尔的 ...; 分类: 超级计算

开源组件Flink性能优化之实时计算延迟填坑记: Flink具备高吞吐、低延迟、纯流式架构、支持对乱序事件的处理、有状态、高度灵活的窗口定制、失败恢复、故障转移、水平扩展、批处理、流处理统一的API等大数据处理优势。基于大数据的应用场景中，从数据生产，到数据 ...; 分类: 大数据

Spark 3.0开发近两年终于发布，流、Python、SQL重大更新详解: Spark 诞生于加州大学伯克利分校的 AMPLab 实验室，该实验室致力于数据密集型计算的研究。AMPLab 研究人员与大型互联网公司合作，研究如何解决数据和 AI 问题，然后发现那些拥有海量数据的公司也面临同样的问题。于 ...; 分类: Spark

Kubernetes与GlusterFS的爱恨情仇: Kubernetes，容器管理领域的领导者；GlusterFS，分布式文件系统的后起之秀，他们之间会擦出什么样的火花呢？用Kubernetes部署的应用可以分为无状态的和有状态的，无状态的应用没有数据，Pod（一个或若干容器的集合） ...; 分类: 架构

如何干掉恶心的 SQL 注入？: JDBC，全称 Java Database Connectivity，是 Java 访问数据库的 API，不依赖于特定数据库 ( database-independent )。所有 Java 持久层技术都基于 JDBC。直接使用 JDBC 的场景，如果代码中存在拼接 SQL 语句，那么很 ...; 分类: 安全

量子编程迎重大突破！量子计算机领域第一种高级编程语言Silq诞生: 在打造强大量子计算机方面，近期出现的一系列技术进步令人振奋。近日，苏黎世联邦理工学院的计算机科学家们又在编程语言领域取得重要突破：他们推出的“量子语言”成为第一种面向量子计算机的直观编程语言，且与传统 ...; 分类: 超级计算

我们为什么不用Kubernetes？: Kubernetes 是一个功能强大的 PaaS 工具包，具有许多安全相关的选项，可以支持各种部署场景。当它成为大家普遍认可的 PaaS 选项时，从安全的角度来看，这是非常有价值的，因为这些安全选项中的大多数都可以抽象出来 ...; 分类: 架构

Apache Spark 3.0.0 正式版终于发布了，重要特性全面解析: Apache Spark 3.0 增加了很多令人兴奋的新特性，包括动态分区修剪、自适应查询执行、加速器感知调度、支持 Catalog 的数据源API、SparkR 中的向量化、支持 Hadoop 3/JDK 11/Scala 2.12 等等。这个版本一共解决了 340 ...; 分类: Spark

深度好文：Linux系统内存知识: Linux 内存是后台开发人员，需要深入了解的计算机资源。合理的使用内存，有助于提升机器的性能和稳定性。本文主要介绍Linux 内存组织结构和页面布局，内存碎片产生原因和优化算法，Linux 内核几种内存管理的方法，内 ...; 分类: Linux

微服务下数据一致性的几种实现方式: 在介绍微服务下的数据一致性之前，先简单地介绍一下事务的背景。传统单机应用使用一个RDBMS作为数据源。应用开启事务，进行CRUD，提交或回滚事务，统统发生在本地事务中，由资源管理器（RM）直接提供事务支持。数据 ...; 分类: 分布式系统

分析了上千张照片发现：R 语言程序员最快乐，Java 开发者最年轻: 在 IT 的世界里，人们形成了很多种刻板印象，比如“PHP 是最差的编程语言”，或者“Python 只适合初学者”。所幸的是，我们可以通过 GitHub 和开发者调查来找出真相。GitHub 想必大家都很熟悉了，它不仅是一个版本控 ...; 分类: 编程开发

终于搞懂了 TCP 的 11 种状态，太不容易了…: 本来想写运维过程中，nginx 服务器中 time_wait 的相关测试及解决方法的，然后发现TCP 的状态需要先铺垫一下，于是就整理了这篇文章。网上很多大佬整理TCP三次握手、四次挥手，看到过很多人写，但其实从运维角度来说 ...; 分类: 网络技术

Python中那些低调有趣的模块: python语言上位成功的其中一个原因是其丰富的社区支持，不管你有什么奇奇怪怪的需求，大概率能在网上搜到一个库来便捷实现。这篇文章就列举了几个低调的python模块，可能会派上用场。textwrap这个模块具可轻松包装和 ...; 分类: Python

一文弄懂 Gitflow、Github flow、Gitlab flow 的工作流: Git 作为一个源码管理系统，不可避免涉及到多人协作。协作必须有一个规范的工作流程，让大家有效地合作，使得项目井井有条地发展下去。”工作流程”在英语里，叫做”workflow”或者”flow”，原意是水流，比喻项目像 ...; 分类: 开源软件

用Prometheus监控K8S，目前最实用的部署方式都说全了: Kubernetes使用Docker进行容器管理，如果说Docker和kubernetes的搭配是云原生时代的基石，那么Prometheus为云原生插上了飞翔的翅膀。随着云原生社区的不断壮大，应用场景越来越复杂，需要一套针对云原生环境的完善并 ...; 分类: 虚拟化

使用Kubernetes最常犯的10个错误: 通常我们要么不设置CPU请求（request）要么将CPU请求设置得很低（这样我们就可以在每个节点上容纳很多Pod），因此节点的使用量会过大。在需求旺盛的时候，节点的CPU会被充分利用，我们的工作负载仅获得“所请求的部 ...; 分类: 虚拟化

一文搞懂什么是 vlan、三层交换机、网关、DNS、子网掩码、MAC地址: VLAN中文是“虚拟局域网”。LAN可以是由少数几台家用计算机构成的网络，也可以是数以百计的计算机构成的企业网络。VLAN所指的LAN特指使用路由器分割的网络——也就是广播域。单臂路由的实现方式，其实就是普通二层交 ...; 分类: 网络技术

基准测试表明, Async Python 远不如同步方式: 大多数人都知道 async Python 具有更高的并发性。这意味着对于常见的任务如动态网站或 Web API, async 性能更好。但遗憾的是，async 对于 Python 解释器来说，并不是一个加速条。在现实条件下的数据（见下图），异步 ...; 分类: 架构

1 ... 4 5 6 7 8910 11 12 13 ... 192 / 192 页下一页

热门频道

大数据
商业智能

量化投资
科学探索
创业

即将开课

热门文章

• 打破 Google 破坏性的搜索垄断

GMT+8, 2021-3-6 18:58 , Processed in 0.141242 second(s), 19 queries .