炼数成金 大数据
订阅

大数据

一文分析MySQL 数据库锁定机制
一文分析MySQL 数据库锁定机制
MySQL 数据库中表级锁定主要是 MyISAM、Memory、CSV 等一些非事务性存储引擎,使用行级锁定主要是 InnoDB 存储引擎和 NDB Cluster 存储引擎,页级锁定主要是 BerkeleyDB 存储引擎。InnoDB 的锁定是通过在指向数据记 ...
分类:   
Wi-Fi爆重大安全漏洞,Android、iOS等所有无线设备都不安全了
Wi-Fi爆重大安全漏洞,Android、iOS等所有无线设备都不安全了
移动设备横行的时代,Wi-Fi 已成为现代人生活的必备要素之一。但近日有计算机安全专家发现,Wi-Fi 设备的安全协议存在漏洞,如今用于保护 Wi-Fi 网络安全的保护机制已经被黑客攻破,苹果、微软、谷歌、Nest 等无线设 ...
分类:   
如何让网站不下线而从 Redis 2 迁移到 Redis 3
如何让网站不下线而从 Redis 2 迁移到 Redis 3
我们在 Sky Betting&Gaming 中使用 Redis 作为共享内存缓存,用于那些需要跨 API 服务器或者 Web 服务器鉴别令牌之类的操作。在 Core Tribe 内,它用来帮助处理日益庞大的登录数量,特别是在繁忙的时候,我们在一分 ...
分类:   
摩拜物联网架构演进之路:数据与架构齐驱,看摩拜创造奇迹
摩拜物联网架构演进之路:数据与架构齐驱,看摩拜创造奇迹
在Wikipedia上对架构的定义为The process and the product of planning,designing,and constructing structures.也就是规划、设计及构建的过程和产物。架构有很多种,包括研发架构,团队架构各种,今天分享的主题主 ...
分类:   
4节点近160万IOPS:SDS/超融合测试不能只看数字
4节点近160万IOPS:SDS/超融合测试不能只看数字
简单来说,早期磁盘阵列IOPS受限于HDD机械硬盘的平均访问时间,到了SSD时代介质的瓶颈相对容易解决。我给出的参考值不能充分代表所有厂商,也并不是每家厂商都积极参与SPC-1这样的军备竞赛,因为性能不是存储的全部 ...
分类:   
深入解析字符集和字符编码
深入解析字符集和字符编码
字符(Character)是各种文字和符号的总称,包括各国家文字、标点符号、图形符号、数字等。计算机要准确的处理各种字符集文字,需要进行编码,以便计算机能够识别和存储各种字符。0x01 字符集字符集(Character set)是 ...
分类:   
Python 上升到第二位,GitHub 2017 开发者年度报告
Python 上升到第二位,GitHub 2017 开发者年度报告
GitHub Universe 是 GitHub 的年度盛会,今年10月10-12日,GitHub Universe 大会在旧金山召开。同时,GitHub 也在其官网发布了 2017 年年度数据报告 —— GitHub Octoverse 报告。每年 GitHub 都会推出“Octoverse” ...
分类:   
比较全面的 MySQL 优化参考?那还得看这篇了~
比较全面的 MySQL 优化参考?那还得看这篇了~
在服务器的 BIOS 设置中,可调整下面的几个配置,目的是发挥 CPU 最大性能,或者避免经典的 NUMA 问题:1、选择 Performance Per Watt Optimized(DAPC) 模式,发挥 CPU 最大性能,跑 DB 这种通常需要高运算量的服务 ...
分类:   
数据库文件坏块损坏导致打开时报错,该如何来恢复?
数据库文件坏块损坏导致打开时报错,该如何来恢复?
故障主要表现为打开数据库时报错,内容为:“system01.dbf 需要更多的恢复来保持一致性,数据库无法打开”。经过对数据库文件的检测后初步可得出以下结论:sysaux01.dbf 有坏块,sysaux01.dbf 文件损坏。急需恢复 zx ...
分类:   
Redis 和 Memcached 的区别在哪里?
Redis 和 Memcached 的区别在哪里?
Redis 支持服务器端的数据操作:Redis 相比 Memcached 来说,拥有更多的数据结构和并支持更丰富的数据操作,通常在 Memcached 里,你需要将数据拿到客户端来进行类似的修改再 set 回去。这大大增加了网络 IO 的次数 ...
分类:   
Linux 系统故障修复?这几个案例帮你解决问题~
Linux 系统故障修复?这几个案例帮你解决问题~
Linux 系统提供了单用户模式 (类似 Windows 安全模式),可以在最小环境中进行系统维护。在单用户模式 (运行级别 1) 中,Linux 引导进入根 shell,网络被禁用,只有少数进程运行。单用户模式可以用来修改文件系统损坏 ...
分类:   
Linux 流量控制?这份全攻略给你~
Linux 流量控制?这份全攻略给你~
在 linux 中,TC 有二种控制方法 CBQ 和 HTB.HTB 是设计用来替换 CBQ 的。它是一个层次式的过滤框架。TC 包括三个基本的构成块: 队列规定 qdisc(queueing discipline)、类 (class) 和分类器 (Classifiers)。队列 (q ...
分类:   
Linux 运维必备的 13 款实用工具,拿好了~
Linux 运维必备的 13 款实用工具,拿好了~
Nethogs 是一个终端下的网络流量监控工具可以直观的显示每个进程占用的带宽。IOZone 是一款 Linux 文件系统性能测试工具 可以测试不同的操作系统中文件系统的读写性能。IOTop 命令是专门显示硬盘 IO 的命令, 界面风 ...
分类:   
IaaS 2.0时代的攻坚战
IaaS 2.0时代的攻坚战
工信部数据显示,2017年上半年软件和信息技术服务业达到25584亿元收入,同比增长13.6%;信息技术服务发展领先全行业,实现收入13745亿元,同比增长15.7%。中国的云市场正奔跑在快车道。从2006年AWS对外提供弹性服务 ...
分类:   
Uber开源数据流分析平台AthenaX,日均处理1万亿次数据
Uber开源数据流分析平台AthenaX,日均处理1万亿次数据
Uber公司业务的快速增长要求一套数据分析基础设施作为配合,从而时刻收集来自世界各地的广泛分析结论,包括各个城市的特定市场状况以及全球财务流向估算。考虑到我们的 Kafka 基础设施单日实时消息传输超过 1 万亿次 ...
分类:   
12 件可以用 GitHub 完成的很酷的事情
12 件可以用 GitHub 完成的很酷的事情
当你登录到 GitHub ,查看一个文件时(任何文本文件,任何版本库),右上方会有一只小铅笔。点击它,你就可以编辑文件了。 当你编辑完成后,GitHub 会给出文件变更的建议,然后为你复刻fork该仓库并创建一个拉取请求 ...
分类:   
#DevOps 的前世今生# 4. DevOps 的文化
#DevOps 的前世今生# 4. DevOps 的文化
当人们还在争论 DevOps的时候,一批基于敏捷的工程实践和自动化工具带着 DevOps 的标签走入了人们的视野。人们开始认为 DevOps 就是使用这些工具进行自动化。在早期的 DevOps实践里,开发和运维仍然是分离的。而在很 ...
分类:   
#DevOps的前世今生# 3. DevOps 的目标和核心
#DevOps的前世今生# 3. DevOps 的目标和核心
Dev 和 Ops 的矛盾主要是面向适应性的敏捷软件交付和面向经验性的传统运维之间的矛盾。在一个组织中,如果相关利益者的利益不一致,在既定流程的进行中一定会碰到诸多阻力。而在这一点上,首先做得就是把 Dev 和 Ops ...
分类:   
#DevOps的前世今生# 2. Dev和Ops矛盾缘何而来 ?
#DevOps的前世今生# 2. Dev和Ops矛盾缘何而来 ?
历史要追溯到刚刚出现计算机的时期。当时,软件开发还是少数人通过高学历才能够掌握的技能,那个时候只有“程序”(Program),但没有“软件”(Software),所以那个时候编写程序的人员被称为“程序员”(Programme ...
分类:   
#DevOps的前世今生# 1. DevOps编年史
#DevOps的前世今生# 1. DevOps编年史
DevOps的历史要从一个比利时的独立IT咨询师说起。这位咨询师的名字叫做Patrick Debois,他喜欢从各个角度研究IT组织。2007 年,Patrick参与了比利时一个政府下属部门的大型数据中心迁移的项目。在这个项目中,他负责 ...
分类:   
Linux 上的 load average 这个指标基本失去了作用
Linux 上的 load average 这个指标基本失去了作用
uptime和top等命令都可以看到load average指标,从左至右三个数字分别表示1分钟、5分钟、15分钟的load average:Load average的概念源自UNIX系统,虽然各家的公式不尽相同,但都是用于衡量正在使用CPU的进程数量和正 ...
分类:   
Python批量修改Excel文件格式:加粗、颜色交替、渐变背景色填充
Python批量修改Excel文件格式:加粗、颜色交替、渐变背景色填充
功能描述:首先生成几个测试用的Excel文件,然后批量修改这些文件的格式,把表头加粗并设置为黑体,其他行字体为宋体,设置奇偶行颜色不同,并设置偶数行为从红到蓝的渐变背景色填充。from random import sampleimpo ...
分类:   
MySQL 主从复制的常用拓扑结构
MySQL 主从复制的常用拓扑结构
在实际应用场景中,MySQL复制90%以上都是一个Master复制到一个或者多个Slave的架构模式,主要用于读压力比较大的应用的数据库端廉价扩展解决方案。因为只要Master和Slave的压力不是太大(尤其是Slave端压力)的话, ...
分类:   
最流行的 IDE 之争:Eclipse 反超 Visual Studio 成第一
最流行的 IDE 之争:Eclipse 反超 Visual Studio 成第一
据 PYPL 指数显示,10 月份 Eclipse 以 24.93 % 的成绩击败了 Visual Studio,夺下冠军宝座,Android Studio 位居第三,而 iOS 开发者们的 Xcode 则位居第七。另外,在前十名中,IntelliJ 形势大好,已连续数月上涨 ...
分类:   
通过SSH实现TCP/ IP隧道:使用OpenSSH可能的8种场景
通过SSH实现TCP/ IP隧道:使用OpenSSH可能的8种场景
对于 Secure Shell (SSH) 这样的网络协议来说,其主要职责就是在终端模式下访问一个远程系统。因为 SSH 协议对传输数据进行了加密,所以通过它在远端系统执行命令是安全的。此外,我们还可以在这种加密后的连接上通 ...
分类:   
编程语言 10 月排行榜:Java/C/C++ 排名不变,Swift 持续下降
编程语言 10 月排行榜:Java/C/C++ 排名不变,Swift 持续下降
TIOBE 最近公布了 2017 年 10 月编程语言指数排行榜,排名前三的还是 Java、C、C++,C# 和 Python 排第四和第五。在今年年初,Swift 语言的 TIOBE 指数最高达到 2.3%,排在第 10 位。不过 Swift 目前降到第 16 位, ...
分类:   
在AI与AR的交叉路口,苹果和谷歌不同抉择的背后
在AI与AR的交叉路口,苹果和谷歌不同抉择的背后
苹果发布会上,发布的亮点显然是新的手机系列,尤其是iPhone X。而苹果的新手机围绕的主题就是AR。在发布会上,苹果的VP Phil Schiller评价iPhone X是“第一款真正为AR打造的智能手机。”在硬件上,苹果的iPhone X正 ...
分类:   
让孩子进阶中产的唯一路径是编程?
让孩子进阶中产的唯一路径是编程?
****年,新的北京城已经建成**年了。如今的北京已经是一座有着八千万人口的巨型城市,但是位于城市中心的紫禁城却不再属于每一个居民。为了满足八千万人口的居住需求,北京将自己改造成了一座“折叠城市”:“大地的 ...
分类:   
几种常见的微服务架构方案—ZeroC IceGrid、Spring Cloud ...
几种常见的微服务架构方案—ZeroC IceGrid、Spring Cloud ...
微服务架构是当前很热门的一个概念,它不是凭空产生的,是技术发展的必然结果。虽然微服务架构没有公认的技术标准和规范草案,但业界已经有一些很有影响力的开源微服务架构平台,架构师可以根据公司的技术实力并结合 ...
分类:   
Oracle Database 18c 的10大新特性一览
Oracle Database 18c 的10大新特性一览
首先,从最高级别上,Oracle 18c 将是一个『自治数据库 - Autonomous Database』,这由Larry Ellison首先发布,而在此框架下,一系列的设计由此展开。In-Memory的外部表和InLine外部表支持,这个特性值得独立说明, ...
分类:   

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2017-10-17 23:10 , Processed in 0.105907 second(s), 19 queries .