炼数成金 大数据
订阅

大数据

关于 Redis 的一些新特性、使用建议和最佳实践
关于 Redis 的一些新特性、使用建议和最佳实践
redis从2009年诞生到现在已经走过将近10年,从最开始大家在讨论nosql和传统关系数据库孰优孰劣,到现在大家谈起分布式锁,缓存纷纷将Redis作为其第一选择,服务端面试中Redis也作为一项必备能力,而如今Redis 5.0已 ...
分类:   
终于有人把 Docker 讲清楚了,万字详解!
终于有人把 Docker 讲清楚了,万字详解!
LXC为Linux Container的简写。可以提供轻量级的虚拟化,以便隔离进程和资源,而且不需要提供指令解释机制以及全虚拟化的其他复杂性。相当于C++中的NameSpace。容器有效地将由单个操作系统管理的资源划分到孤立的组中 ...
分类:   
Redis 到底是怎么实现“附近的人”这个功能的?
Redis 到底是怎么实现“附近的人”这个功能的?
针对“附近的人”这一位置服务领域的应用场景,常见的可使用PG、MySQL和MongoDB等多种DB的空间索引进行实现。而Redis另辟蹊径,结合其有序队列zset以及geohash编码,实现了空间搜索功能,且拥有极高的运行效率。本文 ...
分类:   
Python 3.8已发布,现在是切换至新版本的好时机吗?
Python 3.8已发布,现在是切换至新版本的好时机吗?
Python 3.8 已于前两周正式发布,不过目前大多数开发者主要使用的仍是 Python 3.7.x 或更旧的版本。事实上,立刻切换到使用 Python 3.8 可能会引发一些问题。想知道何时切换至 Python 3.8?下文将简要概述切换主要的 ...
分类:   
《中华人民共和国密码法》正式发布!
《中华人民共和国密码法》正式发布!
第一条 为了规范密码应用和管理,促进密码事业发展,保障网络与信息安全,维护国家安全和社会公共利益,保护公民、法人和其他组织的合法权益,制定本法。第二条 本法所称密码,是指采用特定变换的方法对信息等进行 ...
分类:   
数据显示市场丢失,那么 Hadoop 气数已尽?
数据显示市场丢失,那么 Hadoop 气数已尽?
我先从一个悲观的观点说起:Hadoop 正在迅速失去市场,我们可以从 Google 趋势走向看出这个现象:看起来 Hadoop 正处于炒作图的下坡轨道上,正在走向灭亡。我们都知道前段时间 Cloudera 已经收购了 Hortonworks,这 ...
分类:   
Hadoop 对象存储 Ozone
Hadoop 对象存储 Ozone
Apache Hadoop 项目至今已经有十多年的历史了,作为大数据的基石,自从投放之社区之后就引来了不少的眼球,进而也孕育出了众多的Apache项目,例如HBase,Hive , Spark 等等这些优秀的数据存储和处理等项目,从而构造 ...
分类:   
JDK 13 新特性一览
JDK 13 新特性一览
ZGC目前没有取消提交并将内存返回给操作系统,即使该内存长时间未使用。对于所有类型的应用程序和环境,此行为并非最佳, 尤其是那些需要关注内存占用的应用程序和环境 例如:通过使用支付资源的容器环境。应用程序 ...
分类:   
轰动全球的谷歌量子计算机
轰动全球的谷歌量子计算机
在加利福尼亚戈莱塔的山峦和海岸之间,坐落着一间不起眼的办公室,旁边就是高速公路。它可能属于任何一家南加州公司;工人们坐在荧光灯下的灰色隔间里,有一个架子用来放员工的自行车和冲浪板。但在这些桌子上,物理 ...
分类:   
IBM直怼谷歌「实现量子霸权」:1万年太久,经典计算机只需2天半
IBM直怼谷歌「实现量子霸权」:1万年太久,经典计算机只需2天半
上个月,谷歌「实现量子霸权」的消息占据各大媒体的头版头条。《财富》、《金融时报》等多家外媒报道称,谷歌用一台 53 量子比特的量子计算机实现了传统架构计算机无法完成的任务,在世界第一超算需要计算 1 万年的 ...
分类:   
美国人为什么不待见人脸识别技术?
美国人为什么不待见人脸识别技术?
2019 年 5 月,旧金山市对人脸识别技术发出了禁令,禁止该技术在政府机关和执法机关中使用,从而成为全球首个对人脸识别技术发出禁令的城市。不过,美国社会对人脸识别技术的反对不止于旧金山。近期,加州奥克兰市正 ...
分类:   
Python3.8正式发布!新特性解析在这里
Python3.8正式发布!新特性解析在这里
10月14日,Python 3.8 正式版发布。这也意味着一个Python开发周期的结束,和另一个开发周期的开始。Python 3.9 预计在2020年10月份发布。Python项目中一个常见的麻烦就是清理git代码库中的__pycache__文件,这些文件 ...
分类:   
合规成本可能高达550亿美元的CCPA,将于2020年正式生效
合规成本可能高达550亿美元的CCPA,将于2020年正式生效
《加州消费者隐私保护法案》(CCPA)的出台,很可能意味着之后在加州经营的公司都需要按照相关法案指导意见来处理大量数据。就目前而言,CCPA主要体现在以下几个方面:保护消费者的知情权。企业在收集个人资料之前, ...
分类:   
GitHub趋势榜第一:超强PyTorch目标检测库Detectron2,训练更快,支持更多任务
GitHub趋势榜第一:超强PyTorch目标检测库Detectron2,训练更快,支持更多任务
PyTorch目标检测库Detectron2诞生了,Facebook出品。站在初代的肩膀上,它训练比从前更快,功能比从前更全,支持的模型也比从前更丰盛。开源5天,已在GitHub收获3100星,还成了趋势榜第一:除此之外,团队把大规模姿 ...
分类:   
为什么我抛弃了 Ubuntu?
为什么我抛弃了 Ubuntu?
对于Ubuntu,我仍然会给予很高的评价,而且我非常敬仰Canonical。在企业界,没有人能像红帽那样将Linux作为一种严格的企业基础设施工具予以大力推广。Canonical也同样功不可没,它成功地将Linux桌面版推广到了很多新 ...
分类:   
为什么不建议在 MySQL 中使用 UTF-8?
为什么不建议在 MySQL 中使用 UTF-8?
Unicode字符集包含了上百万个字符。最简单的编码是UTF-32,每个字符使用32位。这样做最简单,因为一直以来,计算机将32位视为数字,而计算机最在行的就是处理数字。但问题是,这样太浪费空间了。UTF-8可以节省空间, ...
分类:   
对于大表的写入和统计查询该如何权衡,我有四个解决思路
对于大表的写入和统计查询该如何权衡,我有四个解决思路
首先根据描述业务情况,业务部门的需求其实更偏向于AP方向的业务,执行频率不高,但对数据准确性要求高。 当然至于具体的解决方案,上层需求不应该关注底层的技术细节,而是做到技术有效支撑即可。所以从我的理解中 ...
分类:   
5G都不能取代的Wi-Fi6,到底有多6
5G都不能取代的Wi-Fi6,到底有多6
据了解,最新一代WiFi6(802.11ax)的传输速率最高可达9.6Gbps,也就是说理论传输速度达到了1.2GB/s的传输速度。随着WiFi6的到来,将会覆盖更多样化的应用,例如物联网、汽车,到4K视频传输等。蜂窝通信与WiFi,就像移 ...
分类:   
PostgreSQL 12.0 正式发布,更多新功能来袭!
PostgreSQL 12.0 正式发布,更多新功能来袭!
2019年10月3日,PostgreSQL全球开发组宣布——世界上功能最为强大的开源数据库正式发布PostgreSQL 12版本。PostgreSQL 12版在各方面都得到了加强,包括显著地提升查询性能,特别是对大数据集,总的空间利用率方面。 ...
分类:   
世界第一超算跑深度学习模型,2.76万块V100 GPU将分布式训练扩展到极致
世界第一超算跑深度学习模型,2.76万块V100 GPU将分布式训练扩展到极致
分布式计算确实需要在很多 GPU 上训练,但你见过在排名第一的超算上训练深度模型,在 2.76 万块 V100 GPU 训练模型的方法吗?重要的是,通过新的通信策略,这么多 GPU 还能实现近线性的加速比,橡树岭国家实验室和英 ...
分类:   
Kafka 孕育开源 KarelDB
Kafka 孕育开源 KarelDB
Apache Kafka及其配套的键值存储系统如今用于为越来越多的关系数据库提供持久性存储。大多数数据库使用键值存储系统作为基础。最近冒出来的KarelDB是一种关系数据库,它几乎完全建立在开源组件的基础上,包括用于SQL ...
分类:   
谷歌、IBM 们的“量子争霸”迷局
谷歌、IBM 们的“量子争霸”迷局
虽然官网很快撤下了论文,但NASA验证谷歌获得“量子霸权”的消息,已经让潜在对手和等待已久的业界集体躁动了起来。相关内容想必大家已经看到了许多讨论,就不再赘述了。简单来说,就是谷歌的量子计算机完成相关计算 ...
分类:   
让人头大的各种锁,从这里让你思绪清晰
让人头大的各种锁,从这里让你思绪清晰
Java中的锁准确的来说也是为了保证安全,不过不同的是Java中的锁是为了保证并发所需要的。所以在Java中加锁准确的来说是为了保证并发安全,同时也是为了解决内存中的一致性,原子性,有序性三种问题。在Java中提供了 ...
分类:   
SSD核心设计
SSD核心设计
闪存包接收命令和传输数据的串行接口是SSD性能的主要瓶颈。三星部分需要大约100μs才能将4KB页面从片内寄存器传输到片外控制器。这使将数据从NAND单元移入寄存器所需的25μs相形见绌。当这两个操作串联时,闪存包每 ...
分类:   
音视频传输:RTP协议详解和H.264打包方案
音视频传输:RTP协议详解和H.264打包方案
RTP协议即实时传输协议(Real-time Transport Protocol),从字面理解也是和实时传输有关系,协议的初衷是为了实时多人视频会议而设计的,现在应用很广泛。在视频监控、实时直播、语音电话、视频会议都能看到应用。特 ...
分类:   
200秒=超算1万年,谷歌实现“量子霸权”论文上架随即被撤回,引发全球热议
200秒=超算1万年,谷歌实现“量子霸权”论文上架随即被撤回,引发全球热议
量子计算机用3分20秒完成的一项计算,全球最强大的超算Summit要花1万年。这个成果,来自谷歌最新的量子计算研究,发表在NASA官网上。论文宣布,“量子霸权”实现了。英国政府的量子技术顾问Steve Brierley说:这是第 ...
分类:   
Java 13 特性解读
Java 13 特性解读
2017年8月,JCP执行委员会提出将Java的发布频率改为每六个月一次,新的发布周期严格遵循时间点,将在每年的3月份和9月份发布。目前,JDK官网上已经可以看到JDK 13的进展,最新版的JDK 13将于2019年9月17日发布。目前 ...
分类:   
漫画:什么是中台?
漫画:什么是中台?
在传统IT企业,项目的物理结构是什么样的呢?无论项目内部的如何复杂,都可分为“前台”和“后台”这两部分。首先,这里所说的“前台”和“前端”并不是一回事。所谓前台即包括各种和用户直接交互的界面,比如web页 ...
分类:   
Oracle推出全球首个自治操作系统
Oracle推出全球首个自治操作系统
Oracle 推出了一个完全自治的操作系统 Oracle Autonomous Linux,Autonomous Linux 是以 Oracle Linux 为基础的,它为 Oracle Cloud 和 Oracle 工程系统提供了支持。该操作系统对 Oracle 云基础设施客户是免费的。在 ...
分类:   
图像传感器发展简史
图像传感器发展简史
光电倍增管(简称PMT),真空光电管的一种。工作原理是:由光电效应引起 ,在PMT入射窗处撞击光电阴极的光子产生电子,然后由高压场加速,并在二次加工过程中在倍增电极链中倍增发射。光电倍增管是一种极其灵敏的光 ...
分类:   

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2019-12-15 00:37 , Processed in 0.065864 second(s), 19 queries .