炼数成金 ›大数据

大数据

Kafka分区分配策略(Partition Assignment Strategy): 用过 Kafka 的同学用过都知道，每个 Topic 一般会有很多个 partitions。为了使得我们能够及时消费消息，我们也可能会启动多个 Consumer 去消费，而每个 Consumer 又会启动一个或多个streams去分别消费 Topic 里面的 ...; 分类: 分布式系统

Spark SQL 你需要知道的十件事: 本文从十个方面介绍 Spark SQL 的使用及注意事项，主要包括：Spark SQL 使用场景、数据加载：云和本地, RDDs 和 DataFrames、SQL 和 DataFrame API 比较，它们之间的区别、模式: 隐式和显示模式解释，数据类型、数据 ...; 分类: Spark

如何使用树莓派测定颗粒物（PM 2.5）: 使用两个简单的硬件设备和几行代码构建一个空气质量探测器。我们在东南亚的学校定期测定空气中的颗粒物。这里的测定值非常高，尤其是在二到五月之间，干燥炎热、土地干旱等各种因素都对空气质量产生了不利的影响。颗 ...; 分类: 树莓派

放弃支持 Python 2.x，已经有这些了: 自从去年 11 月份，Numpy 宣布准备从 2019 年 1 月 1 日起放弃支持 Python 2 后，陆续有很多 Python 库/框架跟进。比如：SciPy、matplotlib 和 Pandas。上个月，「Python开发者」推送过一条资讯：《又一个宣布放弃 P ...; 分类: Python

Intel CPU 又曝 8 个大 BUG ....这次更危险....: 新的漏洞，甚至更多的补丁：“下一代Spectre”即将来袭。据德国杂志c't独家披露的信息显示，研究人员已经在英特尔处理器中发现了八个新的安全漏洞。名为Specter和Meltdown的芯片漏洞之前已在IT界掀起了地震：研究人 ...; 分类: 安全

十大编程语言创立者现状，有的已驾鹤西去: 这些大神创造的编程语言可以说不断推动着IT技术的发展，为全球经济做出了巨大的贡献，没有他们创造的这些编程语言，用计算机不知道还能干哪些事情，用手机还能玩哪些游戏，人工智能还能否像现在这样火爆。或许在不久 ...; 分类: 编程开发

云计算环境下 VMware 虚拟机备份可能遇到的 12 个问题: 随着云计算技术的不断发展，大多数金融企业已经将其纳入到未来的生产规划中。而在金融行业当前环境下，大量生产业务系统运行在VMware虚拟机中，任一存储的故障都会带来数十台甚至数百台虚拟机的数据丢失，为金融企业 ...; 分类: 虚拟化

详解最新的Ubuntu 18.04 LTS: Ubuntu是工作站、云和IoT领域使用最广泛的Linux。其最新版本18.04 LTS上周问世。“多云运营是新常态。”Ubuntu规范和创始人的首席执行官Mark Shuttleworth表示，“在所有主要公有云上，启动时间和性能优化镜像使Ubun ...; 分类: Linux

Helm：强大的Kubernetes包管理工具: Kubernetes提供了基于容器的应用集群管理，为容器化应用提供了部署运行、资源调度、服务发现和动态伸缩等一系列完整功能。Kubernetes的核心设计理念是：用户定义应用程序的规格，而Kubernetes则负责按照定义的规则部 ...; 分类: 虚拟化

Kafka 客户端是如何找到 leader 分区的: 在正常情况下，Kafka中的每个Topic都会有很多个分区，每个分区又会存在多个副本。在这些副本中，存在一个leader分区，而剩下的分区叫做 follower，所有对分区的读写操作都是对leader分区进行的。所以当我们向Kafka写 ...; 分类: 分布式系统

如何将树莓派配置为打印服务器: 用树莓派和 CUPS 打印服务器将你的打印机变成网络打印机。设置树莓派是非常简单的事。我下载了 Raspbian镜像，并将它写入到我的 microSD 卡中。然后，使用它来引导一个连接了 HDMI 显示器、 USB 键盘和 USB 鼠标的树 ...; 分类: 树莓派

GitLab：因“大脑分裂问题” 5台PostgreSQL 3台彻底趴下: 数据库复制故障让五台 PostgreSQL 服务器中的三台彻底趴下。在一起典型的故障事件中，GitLab昨天无意中触发了数据库故障切换，因此降低了性能。由此引发的“大脑分裂问题”让这家代码收集网站试图靠单单一台数据库服 ...; 分类: 数据库

宣布 Java 8 停止维护后，Oracle 又毙掉了 JavaOne！: 上周，Oracle 宣布将在不久后将停止维护 Java 8。近日，又在开发者博客宣布取消 JavaOne 会议...2019 年 1 月之后，Oracle 将不会在网站上发布 Java SE 8 商业使用的更新下载。如需持续获取安全的 bug 修复和安全补 ...; 分类: Java

Zabbix3.0 安装和配置总结: Zabbix可以采用LAMP或者LNMP的架构, 重点在于后端数据库的选择, 一般环境建议采用PerconaDB的InnoDB引擎, 如果环境比较大, NVPS值较高, 可以考虑TokuDB引擎.Zabbix安装建议用YUM, 源码安装容易出现依赖包不全导致的 ...; 分类: 开源软件

查看 Linux 发行版名称和版本号的 8 种方法: 如果你加入了一家新公司，要为开发团队安装所需的软件并重启服务，这个时候首先要弄清楚它们运行在什么发行版以及哪个版本的系统上，你才能正确完成后续的工作。作为系统管理员，充分了解系统信息是首要的任务。查看 ...; 分类: Linux

Vagrant 入门指南: Vagrant 是一个用来构建和管理虚拟机环境的工具。Vagrant 有着易于使用的工作流，并且专注于自动化，降低了开发者搭建环境的时间，提高了生产力。解决了“在我的机器上可以工作”的问题。Vagrant 是为了方便的实现虚 ...; 分类: 虚拟化

一次dns缓存引发的惨案: 既然确实是DNS解析问题，那么问题又来了？为什么DNS解析会出现问题？如何去解决这个问题？一边给万网提工单，我们也自己测试一下电信、移动、联通在不同的网络运营商下面的访问情况，发现只有在联通网络的环境下DNS ...; 分类: Web

AI公司商汤科技内部服务容器化历程: Docker是革命性的，干净利落的UX俘获了技术人员的芳心，我们当时所处的时期，容器编排的大战则正处于Docker Swarm mode发布的阶段，而我们需要寻找那种工具，要既能应对日益增长的运维复杂度，也能把运维工程师从单 ...; 分类: 虚拟化

开源分布式 NewSQL 数据库 TiDB 2.0 正式发布: 去年十月，TiDB 1.0 版本发布，在接下来的六个月中，开发团队一方面在维护 1.0 版本的稳定性并且增加必要的新特性，另一方面马不停蹄的开发 2.0 版本。经过 6 个 RC 版本，TiDB 2.0 GA 版本于 4 月 27 日正式发布。T ...; 分类: 开源软件

访国产数据库厂商：非技术痛点才是真痛点！: 美国商务部近日宣布对中兴通讯公司执行为期7年的出口禁令，这一禁令引发了公众对于国产基础软件的关注。基础软件作为国家信息安全的根本，是否“国产化”有着重要的意义。而国产基础软件一直秉承着低调甚至销声的作 ...; 分类: 数据库

引领容器变革的12款Kubernetes发行版: 12 款最突出的 Kubernetes 产品，也就是整合了 Kubernetes 和容器工具的发行版。Kubernetes 已经成为大规模容器编排的首选。这款由 Google 开源的容器编排系统受到广泛好评和支持，发展势头迅猛。Kubernetes 十分庞 ...; 分类: 虚拟化

MySQL 8.0 在关系数据库方面有这些新特性: 你可能已经知道 MySQL 从版本 5.7 开始提供了 NoSQL 存储的功能，在 8.0 中这部分功能也得到了一些改进，但鉴于这个在实际当中用得极少，本人也是没用过，所以本文不会介绍这方面的东西，而是关注其关系数据库方面。 ...; 分类: Mysql

原创翻译 | 客户关系管理数据库：解锁客户的业务增长秘密: 如今，在拥有超过11名员工的公司中，有91%使用客户关系管理软件。讨论CRM软件的好处并不是什么新鲜事，但是该软件提供了一些隐藏的好处这是必不可少的。除了建立强大的客户关系，这个软件有更多的提供。让我们仔 ...; 分类: 数据库

微服务化的数据库设计与读写分离: 数据库永远是应用最关键的一环，同时越到高并发阶段，数据库往往成为瓶颈，如果数据库表和索引不在一开始就进行良好的设计，则后期数据库横向扩展，分库分表都会遇到困难。对于互联网公司来讲，一般都会使用Mysql数 ...; 分类: 架构

Sudo 命令情景分析: Linux 下使用 sudo 命令，可以让普通用户也能执行一些或者全部的 root 命令。本文就对我们常用到 sudo 操作情景进行简单分析，通过一些例子来了解 sudo 命令相关的技巧。普通用户登录 shell 之后，如果自身没有权限 ...; 分类: Linux

PyTorch 0.4.0 大更新，正式支持 Windows 平台: PyTorch 是一个 Python 优先的深度学习框架，提供两个高级功能：强大的 GPU 加速 Tensor 计算（类似 numpy），构建基于 tape 的自动升级系统上的深度神经网络。4 月 25 日，PyTorch 的 GitHub 主页宣布 PyTorch 0.4. ...; 分类: Python

详解 MySQL 基准测试和 sysbench 工具: 数据库的基准测试是对数据库的性能指标进行定量的、可复现的、可对比的测试。基准测试可以理解为针对系统的一种压力测试。但基准测试不关心业务逻辑，更加简单、直接、易于测试，数据可以由工具生成，不要求真实；而 ...; 分类: Mysql

7张图了解2018物联网产业发展新趋势: 随着互联网红利逐渐消失，物联网，在整体科技发展潮流中顺势而行，成为被普遍看好的新一代产业发展方向。之所以称之为物联网，其本质实际上是互联网的延伸，只是终端由互联网时代 ...; 分类: 物联网

从Gartner数据看2017全球外部存储市场格局，三大起大落，各是谁: “ 虽然市场整体下滑，但就如股市，不管股市如何波动，总有人赚钱，有人赔钱”。我们看到，Gartner认为，全球整体外部存储下滑了4.3%。其中，有三个厂商增幅超过两位数，而有三个厂商下降也超过两位数。; 分类: 存储

原创翻译 | 物联网应用程序如何帮助创业者拓展业务: 物联网或互联网络--相互通信的连接设备--近年来正备受关注，尤其是随着智能技术的进步。今天，大多数精通科技的消费者都意识到物联网会影响他们的家庭和工作生活。但是，这一即将到来的趋势对商业世界，特别是初创企 ...; 分类: 物联网

1 2 345 6 7 8 9 10 ... 161 / 161 页下一页

热门频道

大数据
商业智能

量化投资
科学探索
创业

即将开课

热门文章

GMT+8, 2018-6-24 11:00 , Processed in 0.104627 second(s), 19 queries .