炼数成金 大数据
订阅

大数据

分布式架构——Gossip 协议详解
分布式架构——Gossip 协议详解
Gossip协议是基于六度分隔理论(Six Degrees of Separation)哲学的体现,简单的来说,一个人通过6个中间人可以认识世界任何人。数学公式是: n表示复杂度,N表示人的总数,W表示每个人的联系宽度。依据邓巴数,即 ...
分类:   
开源软件脱险!Linux硬核回应美实体清单:已开源软件属于全人类,不受制于EAR
开源软件脱险!Linux硬核回应美实体清单:已开源软件属于全人类,不受制于EAR
开源技术会被美国管制吗?这应该是一年来中国技术从业者最关心的问题。随着中美关系日益紧张,技术圈也受到波及,前两周,国商务部将哈工大、北航等33家机构纳入实体清单,也就是说,凡是在实体清单以内的公司以及机 ...
分类:   
技术选型:没有谷歌的命,得了谷歌的病
技术选型:没有谷歌的命,得了谷歌的病
1998 年的谷歌和今天的谷歌相差甚远,他们也是利用了一定技巧和捷径才走到今天的位置。谷歌也曾从小鱼慢慢发展为庞然大物。如果没有强大的开发军团,就做不了在全球部署的产品。公司规模的不同,决定了技术决策的不 ...
分类:   
如何选择 Git 分支模式?
如何选择 Git 分支模式?
常见的分支模式有 TBD(即主干开发模式)、Git-Flow 模式、Github-Flow 模式及 Gitlab-Flow 模式。TBD(主干开发模式),即所有开发者,仅在一个开发分支(即主干)上进行协作开发的模式,在这种模式下,不允许新建 ...
分类:   
程序员变木工?树莓派300美元DIY手提街机,随时随地玩街霸
程序员变木工?树莓派300美元DIY手提街机,随时随地玩街霸
程序员和木匠听起来隔行如隔山,但工作的方式其实还是有不少相似的地方:都有固定的workflow,都需要极致的耐心和一点创造力。这不,一位来自美国的北卡罗来纳州的程序员Tyler Capps,就为了完成一个“复古手提街机 ...
分类:   
开发点赞功能,用 MySQL 还是 Redis ?
开发点赞功能,用 MySQL 还是 Redis ?
当数据量达到上亿的量,上cache是必经的阶段,由于点赞这种动作很随意,很多人看到大拇指就想点,所以数据量增长很快,数据规模上来后,对mysql读写都有很大的压力,这时就要考虑memcache、redis进行存储或cache。为 ...
分类:   
关于 Kubernetes 的这些原理,你一定要了解
关于 Kubernetes 的这些原理,你一定要了解
kubernetes 已经成为容器编排领域的王者,它是基于容器的集群编排引擎,具备扩展集群、滚动升级回滚、弹性伸缩、自动治愈、服务发现等多种特性能力。从宏观上来看 kubernetes 的整体架构,包括 Master、Node 以及 Et ...
分类:   
7月编程排行榜:C 第一,R 创纪录升至第八
7月编程排行榜:C 第一,R 创纪录升至第八
近日,TIOBE 公布了 6 月编程指数信息。本月前三的编程语言依旧是 C、Java 和 Python,C++ 和 C# 分列第四和第五。R 语言在本月创造它的排名新纪录,从第 9 位升至第 8。(PHP 从第 8 掉到了第 9)。 R 语言主要用于 ...
分类:   
5种主要的软件架构模式
5种主要的软件架构模式
软件架构模式是经过验证的,具有良好设计结构的方法。更具体地说,架构模式是在实践中归纳总结的一组设计决策,具有明确定义的属性,并可以重复使用。软件开发有时可以看作是选择,定制和组合架构模式的过程。软件架 ...
分类:   
5000字解析:前端五种跨平台技术
5000字解析:前端五种跨平台技术
传统的纯原生开发已经不能满足日益增长的业务需求。主要表现在如下两个方面。1)动态化内容需求增大。当需求发生变化时,纯原生应用需要通过版本升级来更新内容,但应用上架、审核是需要周期的,这个周期对高速变化的 ...
分类:   
如何挑选数据可视化框架及平台 - 前端篇
如何挑选数据可视化框架及平台 - 前端篇
虽然很多语言都有图表库,但前端相关的项目最多,在 Github 7.6w 的结果中有 3.3w 是前端的,占了 40%,主要原因是基于浏览器的可视化用起来更方便,所以使用更为广泛。不过只需要过滤一下最近上次更新时间在三个月 ...
分类:   
中国厂商拒交源码违反GPL协议引发大讨论,Linus:没必要不停扯皮
中国厂商拒交源码违反GPL协议引发大讨论,Linus:没必要不停扯皮
国内电子书厂商文石(Onyx)被指拒绝发布其电子书设备源码,违反 GPL v2 开源协议。根据曝光出来的截图显示,有人向上述厂商指明了违规问题,但 Onyx 官方回应“技术团队无法公开源码”,并希望得到谅解,这件事情一 ...
分类:   
双子座(Gemini)协议:Web 协议最简单的一种替换
双子座(Gemini)协议:Web 协议最简单的一种替换
我已经开始对现在的 Web 非常反感了,它在各个层面上都是臃肿的。网站的规模正在以惊人的速度翻倍,Web 标准也在以惊人的速度扩张。试图从头开始建立一个能与现代网络兼容的 Web 浏览器,需要的人力相当于雪山工程( ...
分类:   
使用Kubernetes两年来的经验教训
使用Kubernetes两年来的经验教训
Kubernetes并不是魔法,但如果被一个懂它的团队使用,那它就是一个非常强大的工具。Traefik作为Ingress控制器,Cert-Manager通过LetsEncrypt生成证书,External-DNS管理边缘DNS记录,这三个组合使得HTTP路由和管理像 ...
分类:   
为什么不建议把数据库部署在docker容器内?
为什么不建议把数据库部署在docker容器内?
不要将数据储存在容器中,这也是 Docker 官方容器使用技巧中的一条。容器随时可以停止、或者删除。当容器被rm掉,容器里的数据将会丢失。为了避免数据丢失,用户可以使用数据卷挂载来存储数据。但是容器的 Volumes ...
分类:   
Python才是世界上最好的语言
Python才是世界上最好的语言
Python是人工智能的未来。前不久中国经济学会(CEA)发布了顶级编程语言交互排行榜:Python超越Java高居首位。而且随着大数据和人工智能的发展,Python受到了越来越多程序员的欢迎。“人生苦短,我用 Python。”已经 ...
分类:   
未来的传感器技术:21种预期趋势
未来的传感器技术:21种预期趋势
在高速发展的今天,我们对于传感器技术的需求不断变化,以希望传感器实现更多测量。比如,我们一直在努力提高效率。以前,我们不专注于度量,而是节省成本。但现在,我们已经从一个以机械测量原理为主的世界过渡到了 ...
分类:   
渡尽劫波:听3GPP大牛讲讲标准背后的故事
渡尽劫波:听3GPP大牛讲讲标准背后的故事
北京时间7月3日深夜, 国际组织3GPP宣布R16标准冻结,标志着5G第一个演进版本标准完成。R16不仅增强了5G的功能,让5G进一步走入各行各业,催生新的数字生态产业,还更多兼顾了成本、效率、效能等因素,使通信基础投 ...
分类:   
分布式锁原理——redis分布式锁,zookeeper分布式锁
分布式锁原理——redis分布式锁,zookeeper分布式锁
首先分布式锁和我们平常讲到的锁原理基本一样,目的就是确保,在多个线程并发时,只有一个线程在同一刻操作这个业务或者说方法、变量。在一个进程中,也就是一个jvm 或者说应用中,我们很容易去处理控制,在jdk java ...
分类:   
细谈八种架构设计模式及其优缺点概述
细谈八种架构设计模式及其优缺点概述
设计模式就是设计经验,有了这些经验,我们就能在特定情况下使用特定的设计、组合设计,这样可以大大节省我们的设计时间,提高工作效率。作为一个工作10年以上的老码农,经历的系统架构设计也算不少,接下来,我会把 ...
分类:   
Go 语言之父:四十年软件开发巨变与 Go 的过去和未来
Go 语言之父:四十年软件开发巨变与 Go 的过去和未来
与现今的很多开发人员不一样,你几十年前就在贝尔实验室开始了自己的职业生涯。从你角度来看,你认为软件开发方式最大的变化是什么?现今的规模要大得多,不仅仅是计算机和网络,还有程序本身。所有的 Unix V6(大约 ...
分类:   
Redis之父退出开源项目维护:人生苦短不想上班
Redis之父退出开源项目维护:人生苦短不想上班
两天前,Sanfilippo(又名 antirez)在自己的博客上发布了一篇公告,表示将不再担当 Redis 开源项目的软件维护者,并“将 Redis 交给 Redis 社区”。这意味着 Redis 项目的未来命运将由整个社区决定,而不再单纯掌握 ...
分类:   
Linux核心维护者都五六十岁了,Linus称社区后继无人
Linux核心维护者都五六十岁了,Linus称社区后继无人
和很多老一辈社区一样,Linux也面临着同样的问题:当前一代的维护人员老去甚至离开时,Linux将会发生什么?目前,很多Linux的维护者和Torvalds一样,已经五六十岁了,“在某种程度上,我们作为一个群体需要开始考虑新 ...
分类:   
异地多活:MySQL实时双向(多向)复制实践
异地多活:MySQL实时双向(多向)复制实践
DRC(Data Replicate Center)是携程框架架构研发部推出的用于数据双向或多向复制的数据库中间件,在公司G2(高品质Great Service、全球化Globalization)战略的背景下,服务于异地多活项目,赋予了业务全球化的部署 ...
分类:   
Python 3.9 正式版要来了,会有哪些新特性?
Python 3.9 正式版要来了,会有哪些新特性?
Python 发布了版本号为 3.9.0b3 的 beta 版,后续即将发布 Python 3.9 的正式版。该版本包含了一些令人兴奋的新特性,预计正式版发布以后这些特性能够被大家广泛使用。字典合并,这是我最喜欢的新特性,该特性的用法 ...
分类:   
霍尼韦尔刚宣布的“业界最强量子计算机”,是炒作吗?
霍尼韦尔刚宣布的“业界最强量子计算机”,是炒作吗?
霍尼韦尔最近宣布,其最新量子计算机的量子体积得分达到64,是IBM和谷歌竞争对手的两倍,同时霍尼韦尔表示,希望在未来五年内,将自家量子计算机的算力每年增加10倍。霍尼韦尔量子计算的量子体积得分达到64意味着什 ...
分类:   
一文带你了解 MySQL 中的各种锁机制!
一文带你了解 MySQL 中的各种锁机制!
MySQL中的锁机制,按粒度分为行级锁,页级锁,表级锁,其中按用法还分为共享锁和排他锁.行级锁行级锁是Mysql中锁定粒度最细的一种锁,表示只针对当前操作的行进行加锁。行级锁能大大减少数据库操作的冲突。其加锁粒度最 ...
分类:   
包含加密货币支持恶意软件的多种Docker镜像,已经由Docker Hub大量扩散
包含加密货币支持恶意软件的多种Docker镜像,已经由Docker Hub大量扩散
如今,通过Docker对软件应用程序进行打包与部署已经成为新的潮流。但恶意攻击者也借此机会快速行动,针对暴露在公共互联网上的API端点开发包含恶意软件的镜像,借此实施分布式拒绝服务(DDoS)攻击与加密货币挖掘。& ...
分类:   
涉嫌盗取前东家谷歌的代码,一位工程师被判赔1.8亿美金,将全由个人偿还
涉嫌盗取前东家谷歌的代码,一位工程师被判赔1.8亿美金,将全由个人偿还
被判赔 1.8 亿美元,从最抢手的工程师,瞬间变成了“最麻烦”的前员工。安东尼·莱万多夫斯基(Anthony Levandwski)原是硅谷的一位明星工程师,曾先后任职于谷歌和 Uber,如今却成为了两家前雇主公开诉讼的焦点人物 ...
分类:   
Effective Python | 用pythonic方式来思考
Effective Python | 用pythonic方式来思考
目前主流的版本是Python3,但是资料或公司也可能有Python2写的历史代码。因此两者的区别还是要清楚的。区别如下:Python3中的print是函数,需要加括号,Python2中的print是语句,不需要加括号,如果想要和Python3一 ...
分类:   

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2020-8-5 07:21 , Processed in 0.174658 second(s), 19 queries .