炼数成金 ›大数据

大数据

通过BulkLoad快速将海量数据导入到Hbase: 在第一次建立Hbase表的时候，我们可能需要往里面一次性导入大量的初始化数据。我们很自然地想到将数据一条条插入到Hbase中，或者通过MR方式等。但是这些方式不是慢就是在导入的过程的占用Region资源导致效率低下，所 ...; 分类: Hadoop

人人都能读懂的编译器原理: 你口中所说的编程语言本质上只是一个软件，这个软件叫做编译器，编译器读入一个文本文件，经过大量的处理，最终产生一个二进制文件。编译器的语言部分就是它处理的文本样式。因为电脑只能读取 1 和 0 ，而人们编写 ...; 分类: 编程开发

Julia语言创始人上榜福布斯30 Under 30榜单！: 又到了每年福布斯最喜欢的一个评选系列：在各行业内选出30位30岁以下的精英。福布斯以前瞻性的目光，寻找那些年龄在30岁以下，已在行业内崭露头角，有一定的影响力，或展现出拥有成为社会翘楚的巨大潜力的年轻人，让 ...; 分类: Julia

2018年11月全球数据库排行榜：Oracle、MySQL均大幅度下滑: 近日，DB-Engines 发布了 2018 年 11 月份的数据库排名。本月排行榜中排名前三的依然是：Oracle、MySQL 和 Microsoft SQL Server。Oracle和MySQL出现大幅度下滑，Oracle下滑了18.16分，相比去年同期下跌了58.94分；M ...; 分类: 数据库

下一代 HTTP 底层协议或将弃用 TCP 协议，改用 QUIC 协议: 据 iThome.com.tw 报道，国际互联网工程任务组（Internet Engineering Task Force, IETF）将于近日商讨下一代 HTTP 底层协议，可能不再使用已经沿用多年的 TCP 协议，而有望改用以 UDP 协议发展出的 QUIC 技术，同时 ...; 分类: 网络技术

使用Java Stream API提高编程效率: Stream API 作为 Java 8 的一大亮点，它与 java.io 包里的 InputStream 和 OutputStream 是完全不同的概念。它是对集合（Collection）对象功能的增强，它专注于对集合对象进行各种非常便利、高效的聚合操作或者大批 ...; 分类: Java

Linux 问题故障定位，看这一篇就够了: 有时候会遇到一些疑难杂症，并且监控插件并不能一眼立马发现问题的根源。这时候就需要登录服务器进一步深入分析问题的根源。那么分析问题需要有一定的技术经验积累，并且有些问题涉及到的领域非常广，才能定位到问题 ...; 分类: Linux

MySQL 8.0优化器都有哪些新特性？: MySQL当前已经发布到MySQL 8.0版本，在新的版本中，可以看到MySQL之前被人诟病的优化器部分做了很多的改动。为什么需要配置cost model常量 ? 我们知道MySQL已经发展了好几十年的历史，但是在优化器中依然使用了hardc ...; 分类: Mysql

Kafka 的七年之痒: Kafka 是 2010 年左右在 LinkedIn 研发的一套流数据处理平台。当时 LinkedIn 也和很多大的互联网公司一样，分很多的组，有很多的产品，每天收集非常多的数据。这些数据都是实时生成的，比如用户活跃度、日志，我们有 ...; 分类: 分布式系统

一份Java架构师必备的知识清单: 什么是架构，什么是架构师？这似乎是聊架构话题时永恒的问题。代码写的好就是架构吗？显然不是。代码写的好只是表象，做所有事情都需要规划，尤其是一个复杂的软件系统，这更需要规划，否则可能连一行代码都写不出。 ...; 分类: 架构

超级计算机哪家强？全球TOP500榜单中国企业囊括前三: 11月13日，最新一期全球高性能计算TOP500榜单公布，联想集团再次蝉联500强榜单冠军。浪潮和中科曙光则分列亚军和季军。此外华为也入围了14台，位列第八。中国超算上榜总数仍居第一，占全部上榜超算总量的45%以上。此 ...; 分类: 超级计算

精选Python开源项目Top10！: Py-spy 是一种由 Python 程序驱动的采样分析器，它允许可视化 Python 程序内容，而无需重新启动程序或以任何方式修改代码。它是用 Rust 语言编写的，运行速度快，计算成本极低，不需要在配置 Python 程序的进程中同 ...; 分类: Python

令人恐惧的固态硬盘：SSD 和 Bitlocker 加密机制被破解！: 面对愚蠢的设计，安全专家只有捂脸的份。热门固态硬盘（SSD）所使用的加密系统近日爆出根本性的漏洞，一旦不法分子将这种设备搞到手，钻漏洞的空子，就能轻松解密数据。荷兰拉德堡德大学的两名研究人员卡洛•梅 ...; 分类: 安全

中国 2018 软件业务收入TOP100: 根据国家统计局批准、工业和信息化部统计的2017年全国软件和信息技术服务业年报数据，经各地工业和信息化主管部门初步审核、工业和信息化部最终核定，2018年（第17届）中国软件业务收入前百家企业（下称“本届软件百 ...; 分类: 编程开发

刚刚、Gartner发布物联网技术十大战略和趋势: Gartner公司今天着重介绍了几大战略性的物联网技术趋势，这些趋势将推动2018年至2023年的数字化业务创新。Gartner的研究副总裁尼克•琼斯（Nick Jones）说：“物联网将在未来十年继续为数字化业务创新带来新的 ...; 分类: 物联网

想成为架构师，你必须掌握的CAP理论及细节: 理论的优点在于清晰简洁、易于理解，但缺点就是高度抽象化，省略了很多细节，导致在将理论应用到实践时，由于各种复杂情况，可能出现误解和偏差，CAP 理论也不例外。如果我们没有意识到这些关键的细节点，那么在实践 ...; 分类: 架构

Kubernetes何时才会消于无形却又无处不在？: 一项技术成熟的标志不仅仅在于它有多流行，还在于它有多不起眼并且易于使用。比如，没有人会去思考墙上的插座，除非你恰好需要给你的手机充电但又一个都找不到，这只是我们日常生活中所用到的大量技术的一个例子而已 ...; 分类: 虚拟化

简析容器、无服务器和虚拟机的安全性差异: 在三十多年前，虚拟化仅适用于拥有大型机和众多小型计算机的用户，而安全问题仅仅是物理上的。二十年前，VMware发布了其第一款产品，网络边界安全性仍处于起步阶段，依赖于防火墙。十二年前，AWS推出，网络安全成 ...; 分类: 虚拟化

快照备份容量会变化吗？解读虚拟机备份容量及快照原理: 当你创建一个虚拟机快照时，这是一个特定的文件。它也是redo-log日志。delta文件是在基础VMDK（虚拟机磁盘）上的变更位图，因此，它不能增长到比VMDK还大。为虚拟机创建每一个快照时，都会创建一个delta文件。当快照 ...; 分类: 虚拟化

基于 Oracle RAC 实现双活方案的架构和实现难度分析: 架构一的复杂度在于ASM层的设计。ORACLE RAC实例节点看到的共享盘是基于双中心存储实现的镜像策略，所有IO的读写分发是由ASM本身的冗余算法规则来决定的，DBA不仅仅要根据磁盘情况来设计合理的Failure Group，而且需 ...; 分类: Oracle

数据库流行度11月排行榜：Oracle意外滑落和PostgreSQL再创新高: 2018年11月数据库流行度排行榜已经出炉，让人意外的是，这个月 Oracle 的积分和 MySQL 双双下滑，而且是在 10 月 Oracle OpenWorld 大会刚刚举行之际，按照惯例，这个季节是Oracle宣传和传播的高峰期，这些指标是被D ...; 分类: 数据库

老忽悠Larry Ellison的Oracle二代云：纸老虎还是洪水猛兽: Oracle设计第二代云的主要目的是提供更加安全的架构，其次是为了让企业更容易的搬迁，再次是为了给用户提供最好的自动化，和最优的价格和性能。除此之外，Oracle的第二代云架构还提供了比on-premises更好的功能和性 ...; 分类: Oracle

一文理解 Apache Hadoop 机架感知: 分布式的集群通常包含非常多的机器，由于受到机架槽位和交换机网口的限制，通常大型的分布式集群都会跨好几个机架，由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架机器之 ...; 分类: Hadoop

我经历的 Protocol Buffers 那些坑: Protocol Buffers是一种广泛使用结构化数据存储格式，可以用于结构化数据的序列化/反序列化，也是很多rpc框架的基础之一，在Google内部大规模使用。protobuffers的最大问题是其可怕的类型系统。 Java的粉丝应该感觉 ...; 分类: Java

如何改进Elasticsearch用于日志分析？: Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎，被全球众多知名公司使用，有各种各样的场景用例。当应用在 Uber、Instacart 和 Tinder 时，它使骑手与附近的司机配对，为在线购物者提供相关的结果和建议， ...; 分类: 大数据

IBM公司史上最大一笔收购以334亿美元收购红帽公司: 北京时间10月29日，两家公司周日宣布，IBM将以334亿美元的价格收购红帽公司（Red Hat）。根据一份联合声明，IBM将支付现金，以每股190美元的价格购买红帽公司的所有股票。这比周五红帽公司收盘价每股116.68美元溢价6 ...; 分类: Linux

一文读懂Apache Flink技术: Flink是一款分布式的计算引擎，它可以用来做批处理，即处理静态的数据集、历史的数据集；也可以用来做流处理，即实时地处理一些实时数据流，实时地产生数据的结果；也可以用来做一些基于事件的应用，比如说滴滴通过F ...; 分类: 大数据

pandas系列学习（五）：数据连接: 利用 Python 处理任何实际的数据时，你就需要将 pandas DataFrame 合并或者链接在一起来分析数据集，但是这个过程还是非常花费时间的，大约是 10 分钟。合并（merge）和连接（join）数据框是任何有抱负的数据分析师 ...; 分类: Python

pandas系列学习（四）：数据提取: 有多种方法可以从 pandas DataFrame 中选择和索引行列。在这篇文章中，我们来讲一些高级的提取数据方法。在 pandas 中实现选择和索引的有三个主要选项，这可能会令人困惑。本文涉及的三个选择案例和方法是：按照行号 ...; 分类: Python

pandas系列学习（三）：DataFrame: 如果你正在进行数据科学，从基于 Excel 的分析转向 Python 脚本和自动分析领域，你将会遇到非常流行的数据处理方式 Pandas。Pandas 的开发始于 2008 年，主要开发人员是 Wes McKinney，该库已经成为使用 Python 进行 ...; 分类: Python

1 ... 4 5 6 7 8910 11 12 13 ... 176 / 176 页下一页

热门频道

大数据
商业智能

量化投资
科学探索
创业

即将开课

热门文章

GMT+8, 2019-8-20 06:39 , Processed in 0.131232 second(s), 19 queries .