最新收录文章列表

HDFS核心原理

HDFS读写解析HDFS读数据流程客户端通过FileSystem向NameNode发起请求下载文件,NameNode通过查询元数据找到文件所在的DataNode地址挑选一台DataNode(就近原则)服务器,发送读取数据请求DataNode开始传输数据给客户端客户端以Packet为单位接收,先在本地缓存,然后写入目标文件HDFS写数据流程客户端通过FileSystem模块向NameNode发送上传
收录时间:2022-08-08 13:46:33  标签:

【系统设计】S3 对象存储

在本文中,我们设计了一个类似于AmazonSimpleStorageService(S3)的对象存储服务。S3是AmazonWebServices(AWS)提供的一项服务,它通过基于RESTfulAPI的接口提供对象存储。根据亚马逊的报告,到2021年,有超过100万亿个对象存储在S3中。在深入设计之前,有必要先回顾一下存储系统和相关的术语。存储系统在高层次上,存储系统分类三大类:块存储文件存储对
收录时间:2022-08-08 13:44:53 

计算机视觉的分类

传统计算机视觉方法传统的计算机视觉可以使用Opencv等Python库,对图像进行简单的操作,例如对图像缩放、滤波、阈值分割等等。对于计算机来说,一张彩色图片就是一个三通道的矩阵,分别对应红绿蓝(RGB)三种颜色,通过改变颜色的数值(0-255)来显示出一张完整的彩色图片,传统的计算机视觉就是围绕这一个三维矩阵,比如设置一个颜色区间,进行过滤等等操作。这一类视觉处理的方法,功能相对较弱一些,能够处
收录时间:2022-08-08 13:34:54  标签:

[开源项目]可观测、易使用的SpringBoot线程池

在开发springboot应用服务的时候,难免会使用到异步任务及线程池。springboot的线程池是可以自定义的,所以我们经常会在项目里面看到类似于下面这样的代码@BeanpublicExecutortaskExecutor(){ThreadPoolTaskExecutorexecutor=newThreadPoolTaskExecutor();executor.setCorePoolSize(
收录时间:2022-08-08 12:54:53  标签:

用 Antlr 重构脚本解释器

前言在上一个版本实现的脚本解释器GScript中实现了基本的四则运算以及AST的生成。当我准备再新增一个%取模的运算符时,会发现工作很繁琐而且几乎都是重复的;主要是两步:需要在词法解析器中新增对%符号的支持。在语法解析器遍历AST时对%token实现具体逻辑。其中的词法解析和遍历AST完全是重复工作,所以我们可否能够简化这两步呢?AntlrAntlr就是做帮我们解决这些问题的常用工具,利用它我们只
收录时间:2022-08-08 12:34:52  标签:

手绘地图制作的关键点之“图层覆盖”

? 前面介绍了《景区手绘地图(电子地图、智慧导览系统)如何制作》以及《景区手绘地图的绘制流程》,接下来介绍一些手绘地图制作的关键点。手绘地图最关键的一点,就是把手绘地图准确的覆盖到地图平台。??手绘地图体验一、地图开放平台接口这是首要的关键点。通过前面的介绍,我们知道,手绘地图是基于地图平台针对某一区域进行美化及手绘,从而生产一张精美的手绘图片文件。但这个文件并不能拿来直接使用,而必须要
收录时间:2022-08-08 11:46:31  标签:

看到这个应用上下线方式,不禁感叹:优雅,太优雅了!

摘要: 本文讲述基于SermantAgent接入的SpringCloud应用实现优雅上下线功能。什么是优雅上下线试想一个A场景,系统中运行着一个消费者(客户端)和两个服务提供者(服务端),消费者可负载均衡调用服务提供者。假设某个服务提供者因业务更新或其他场景需要滚动升级,若此时存在大量并发流量,便会出现以下问题:大量TCP连接因服务提供者升级下线操作,导致大量请求错误。由于消费者(客户端
收录时间:2022-08-08 11:44:51  标签:

一文搞懂│XSS攻击、SQL注入、CSRF攻击、DDOS攻击、DNS劫持

目录??XSS攻击??SQL注入??CSRF攻击??DDOS攻击??DNS劫持??XSS攻击全称跨站脚本攻击CrossSiteScripting为了与重叠样式表CSS进行区分,所以换了另一个缩写名称XSSXSS攻击者通过篡改网页,注入恶意的HTML脚本,一般是javascript,在用户浏览网页时,控制用户浏览器进行恶意操作的一种攻击方式XSS攻击经常使用在论坛,博客等应用中。攻击者可以偷取用户C
收录时间:2022-08-08 11:34:52  标签:

使用 CSS 构建强大且酷炫的粒子动画

粒子动画,顾名思义,就是页面上存在大量的粒子构建而成的动画。传统的粒子动画主要由Canvas、WebGL实现。当然,不使用HTML+CSS的主要原因在于,粒子动画通常需要较多的粒子,而如果使用HTML+CSS的话势必需要过多的DOM元素,这也就导致了使用HTML+CSS构建的粒子动画在性能上毫无优势。当然,如果仅仅是从效果的角度而言,使用CSS构建的粒子动画一样可以做到非常的令人震撼。本文,将尝试
收录时间:2022-08-08 11:24:52  标签:

十年架构五年生活-08 第一次背锅

十年架构,五年生活,不劳不繁,不急不缓! —— 行走在三十五岁的边缘这 是工作以来的第一次背锅。首先说明一下,我对“锅”的理解。正常情况,A做一份工作,B做一份工作,C做一份工作,ABC属于我的管理范畴,出了问题我承担主要责任,理所因当。这时候,出来一个D,而D与我们本没有工作交集,但是D出来问题后,相关负责人召开了一次复盘会议分析问题,而会议没邀请我们参加,最后责任
收录时间:2022-08-08 11:14:50  标签:

(原创)[C#] GDI+ 之鼠标交互:原理、示例、一步步深入、性能优化

一、前言“GDI+”与“鼠标交互”,乍一听好像不可能,也无从下手,但是实现原理比想象中要简单很多。基于“GDI+”的“交互”,应用场景也很多,比如:流程图、数据图表、思维导图等等。本篇文章就通过多个示例来讲解一下GDI+与鼠标交互的原理,以及如何去实现。每一个示例实现后,都会对示例进行优化,主要是解决一些在实际应用中比较常见的问题,比如:闪烁、资源占用高等等。而在最后,会基于实际的应用场景——在背
收录时间:2022-08-08 10:54:58  标签:

【Java面试】怎么防止缓存击穿的问题?

“怎么防止缓存击穿?”这是很多一二线大厂面试的时候考察频率较高的问题。在并发量较高的系统中,缓存可以提升数据查询的性能,还能缓解后端存储系统的并发压力。可谓是屡试不爽的利器。我把这个问题的回答,整理到了一个20W字的面试文档里面。大家可以私信我领取。下面看看高手的回答。高手:在实际应用中,我们会在程序和数据库之间增加一个缓存层。一方面是为了提升数据检索效率,提升程序性能,另一方面是为了缓解数据库的
收录时间:2022-08-08 10:44:50 

羽夏看Linux内核——门相关入门知识

写在前面??此系列是本人一个字一个字码出来的,包括示例和实验截图。如有好的建议,欢迎反馈。码字不易,如果本篇文章有帮助你的,如有闲钱,可以打赏支持我的创作。如想转载,请把我的转载信息附在文章后面,并声明我的个人信息和本人博客地址即可,但必须事先通知我。你如果是从中间插过来看的,请仔细阅读,方便学习本教程。练习及参考为什么20位的寻址可以达到1MB???点击查看答案??2^20B=2^10*2^10
收录时间:2022-08-08 10:34:51  标签:

Reactive UI -- 反应式编程UI框架入门学习(一)

推荐一个反应式编程的MVVM跨平台框架。反应式编程反应式编程是一种相对于命令式的编程范式,由函数式的组合声明来构建异步数据流。要理解这个概念,可以简单的借助Excel中的单元格函数。上图中,A1=B1+C1,无论B1和C1中的数据怎么变化,A1中的值都会自动变化,这其中就蕴含了反应式/响应式编程的思想。反应式编程对于数据的处理不关心具体的数据值是多少,只要构建出数据的函数式处理,就能并行的异步处理
收录时间:2022-08-08 10:24:50 

Linux使用netstat查看网络状态

查看本机的网络状态。使用netstat查看网络状态。显示系统端口使用情况。UDP类型的端口。TCP类型的端口。只显示所有监听端口。只显示所有监听tcp端口。命令使用举例命令说明netstat-anp显示系统端口使用情况netstat-nuplUDP类型的端口netstat-ntplTCP类型的端口netstat-l只显示所有监听端口netstat-lt只显示所有监听tcp端口输入命令后,输出里包含
收录时间:2022-08-08 10:04:49  标签:

学习与尝试 --> 事件风暴

事件风暴1.基础概念术语执行者----->是指执行的角色,系统的主体,是导致系统状态变化的触发源人员,系统的用户,操作人员等系统,系统本身执行的,或者调度的,自动触发的,第三方系统定时任务,定时的触发任务命令----->是执行者发起的操作,构成要件是执行者的行为是某个场景中领域事件的触发动作,对应一个用例领域对象----->是对对象,人或者系统的信息表示,它通过较为简单的信息结构
收录时间:2022-08-08 09:54:50  标签:

使用.NET简单实现一个Redis的高性能克隆版(三)

译者注该原文是AyendeRahien大佬业余自己在使用C#和.NET构建一个简单、高性能兼容Redis协议的数据库的经历。首先这个"Redis"是非常简单的实现,但是他在优化这个简单"Redis"路程很有趣,也能给我们在从事性能优化工作时带来一些启示。原作者:AyendeRahien原链接:https://ayende.com/blog/197473-C/high-performance-net
收录时间:2022-08-08 09:46:29  标签:

关于 java 的动态绑定机制

关于java的动态绑定机制聊一聊动态绑定机制,相信看完这篇文章,你会对动态绑定机制有所了解。网上大多一言概括:当调用对象的时候,该方法会和该对象的内存地址/运行类型绑定。当调用对象的属性时,没有动态绑定机制,哪里声明就使用哪里。这里我们展开来说一说。动态绑定机制,简单来说,就是在以父类为编译类型,创建子类对象的时候,绑定子类运行类型,当我们再调用方法的时候,能够有序的寻找方法,实现方法的有序调用。
收录时间:2022-08-08 09:44:49  标签:

利用图像二维熵实现视频信号丢失检测(Signal Loss Detection)

1图像二维熵图像二维熵作为一种特征评价尺度能够反映出整个图像所含平均信息量的高低,熵值(H)越大则代表图像所包含的信息越多,反之熵值(H)越小,则图像包含的信息越少。对于图像信息量,可以简单地认为图像的边缘信息越多则图像的信息量越大。二维熵公式如下所示:2信号丢失检测2.1画面对比由于信号丢失所产生的画面大部分均由简单的纯色或少色的人造图像,再加上“信号丢失”提示信息所构成,因此信号丢失画面的信息
收录时间:2022-08-08 09:36:28  标签:

Redis 定长队列的探索和实践

vivo互联网服务器团队-WangZhi一、业务背景从技术的角度来说,技术方案的选型都是受限于实际的业务场景,都以解决实际业务场景为目标。在我们的实际业务场景中,需要以游戏的维度收集和上报行为数据,考虑数据的量级,执行尽最大努力交付且允许数据的部分丢弃。数据上报支持游戏的维度的批量上报,支持同一款游戏128个行为进行批量上报。数据上报需要时效控制,上报的数据必须是上报时刻的前3分钟的数据。整体数据
收录时间:2022-08-08 09:34:49  标签:

1 2 3 4 5 6 7 8 9 10 下一页