从源码看ThreadLocal
对于多线程并发对数据的修改的情况,其实除了使用锁或者CAS机制之外,有的情况我们完全可以为每一个线程分配单独的数据,这个数量只能在对应的线程下才能访问到,这样就能避免资源的争抢 或者对于单次请求全局的一些信息,比如当前请求对应的用户信息,可以不通过参数的方式依次传递,而是在全局的一个地方维护,比如当请求进来时,就将当前用户的信息存储进去,但是因为我们的服务是多线程的,同时可能有很多的请求,所以需要用户信息有线程隔离的能力,不能访问到或覆盖了别的线程的用户信息 JDK提供的对应功能的类就是ThreadLocal 使用 先来看下最简单的例子 12345678910111213141516171819202122private static ThreadLocal<String> nameThreadLocal = new ThreadLocal<>();private static ExecutorService executorService = Executors.newSingleThreadExecutor();public static void ...
Redis RDB与AOF
Redis的存储是基于内存的,这就有意味着,如果服务重启那么所有的数据都会丢失,这是我们不能接受的,为此,Redis提供了 RDB 与 AOF 两种持久化机制 简介 RDB: 对于RDB,我们可以把它理解一个定时的快照,就是每隔一段时间(或其他策略),它会创建一个当时所有数据的一个快照,默认存储到的文件为 dump.rdb AOF: 因为RDB创建的是所有数据的快照,这点就决定了它不可能进行高频率的执行,但是如果不经常性的执行,那么当出现如服务器宕机等情况时,会丢失从上次快照到当前的所有操作数据。为了解决这个问题,AOF应运而生,它会在每次执行操作的时候,将这个操作命令进行持久化存储,默认存储到的文件为 appendonly.aof,这样恢复的时候,可以将 aof文件中的所有命令重新执行一遍,即可恢复数据 配置及使用 RDB和AOF的配置都在redis的配置文件redis.conf中进行配置,我们看下主要的配置 RDB的主要配置如下 1234567rdbcompression yes # 是否使用 LZF算法 压缩字符串dbfilename dump.rdb # 持久...
Netty服务端使用及简介
最近因为工作原因,学习了一下Netty,这里写个笔记记录一下 Netty是什么呢?它是一款异步的事件驱动的网络应用程序框架,使用它可以快速的开发出可维护的高性能的面向协议的服务器和客户端—《Netty实战》 这是有两个关键词是异步和事件驱动,先来简单介绍一下 异步是指什么呢?就是发送消息和接收消息是异步的,如调用发送方法后,进行的异步发送,你不知道到底发送出去了没有,如果想要知道结果怎么办呢?这时候可以设置回调函数,发送结果会通过回调函数传回来,当然,其实也可以阻塞同步等待结果,不过那可能就会影响其他数据的处理了 事件驱动呢,我理解就是接收数据等的时候,如在数据可以到达可读取的时候,IO线程会通知调用我们相应的方法进行数据处理流程 好了,下面我们看一段来自Netty官网的服务端代码 12345678910111213141516171819202122232425262728293031323334353637public class DiscardServer { private int port; public DiscardServer(int po...
C语言实现的封装,继承,多态
提到面向对象编程,我们想到的就是封装、继承、多态,但是其实这几个特性并不是只有面向对象语言才能实现,面向过程的C语言也是可以支持实现这三个特性的,下面我们来具体看下 封装 1234// point.hstruct Point;struct Point* makePoint(double x, double y);double distance(struct Point *p1, struct Point *p2); 123456789101112131415161718192021// point.c#include "point.h"#include <stdlib.h>#include <math.h>struct Point { double x, y;};struct Point* makePoint(double x, double y) { struct Point* p = malloc(sizeof (struct Point)); p->x = x; p->y = y;...
Tomcat NioEndpoint浅析
NioEndpoint 是 Tomcat 中负责使用 NIO 方式进行网络通信功能的模块,它负责监听处理请求连接,并将解析出的字节流传递给 Processor 进行后续的处理 下面梳理一下主要的处理流程,如下图 创建Acceptor(默认1个),并启动在对应端口进行监听 创建Poller(多核下默认为2个)并启动,每个 Poller 在创建时会开启一个 Selector Acceptor 监听到连接后,将其转发注册到随机的一个 Poller 中 Poller 在获取到连接后,将其包装为 PollerEvent,并添加到其 events 列表中 Poller 在执行时,会循环获取 events,执行其 run方法 PollerEvent 执行时,会将其中的 SocketChannel 注册到selector中,监听对应事件 当有事件触发时,Poller 会将对应的连接转发给 Endpoint Endpoint 会创建对应的 SocketProcessor, 并将其提交到线程池中执行 SocketProcessor 会获取 Endpoint 中的 hanler进行处理 简化一...
Tomcat整体结构概览
这里主要介绍一下 Tomcat 的整体设计结构 整体结构 Tomcat 的整体结构如下 主要分为两大部分,连接器和容器 连接器 ProtocolHandler EndPoint EndPoint 负责进行 TCP 监听连接,解析之后将消息转发给Processor Processor Processor 进行应用层对应的解析,如HTTP1.1协议,为请求和响应生成对应的Tomcat 的 Request 和 Response 对象 Adapter Adapter 主要负责将 Tomcat 的 Request 和 Response对象转换为 Servlet 的 ServletRequest 和 ServletResponse 对象 容器 容器中也是分层的,从 Engine -> Host -> Context -> Wrapper,消息进行层层对位转发 Server.xml 下面看一个具体 Tomcat 的 serverl.xml配置信息对应一下 12345678910111213141516171819202122232425262728293031323334...
Java字节码结构
我们都知道java实现跨平台靠的是虚拟机技术,将源文件编译成与操作系统无关的,只有虚拟机能识别并执行的字节码文件,由各个操作系统上的jvm来负责执行,屏蔽了底层具体的操作系统。这里我们就来认识一下这个只有jvm才认识的字节码文件的真实样子。 为了节省空间,类文件中没有任何分隔符,各个数据项都是一个挨着一个紧凑排列的,所以其中无论是顺序还是数量等都是严格规定的,哪个字节代表什么含义,长度是多少,先后顺序如何,都不允许改变。下面我们先看一下类文件的整体结构: Class文件结构 其中常量、接口、字段、方法和属性在其中按各自的结构紧密排列,个数由其前面的数量字段决定。同时类文件中最小单位为1个字节,超过一个字节的数据以大端方式存储。 下面依次介绍其中的每个部分: 魔数 魔数是用来确定文件的类型是否是class文件,因为只靠文件扩展名来确定文件类型并不可靠。 这个魔数占文件的开始4个字节,为CA FE BA BE。(注意:这里的字面代表的是十六进制数,而不是ASCII码) 版本号 接下来的4个字节为class文件版本号,其中前两个字节表示的是次版本号,后两个字节表示的是主版本号(从4...
Spring 事件及异步方法使用
Spring 不仅为我们提供了IOC , AOP功能外,还在这个基础上提供了许多的功能,我们用的最多的可能就是 Spring MVC了吧,但是让我们来看下spring-context包,其中包含了缓存、调度、校验功能等等 这里主要想介绍一下Spring提供的观察者模式实现(事件发布监听)、事务事件监听及异步方法执行,这些功能也都是基于AOP实现的 Spring 事件 观察者模式大家都了解,它可以解耦各个功能,但是自己实现的话比较麻烦,Spring为我们提供了一种事件发布机制,可以按需要发布事件,之后由监听此事件的类或方法来执行各自对应的功能,代码互相不影响,以后修改订单后续的逻辑时不会影响到订单创建,有点类似于使用MQ的感觉~ 比如在配置中心apollo项目中,在portal创建了app后会发送app创建事件,监听此事件的逻辑处将此消息同步到各个环境的adminsevice中,大家有兴趣可以看下相关代码 现在我们来看看具体如何使用:假设一个下单场景,订单创建成功后可能有一些后续逻辑要处理,但是和创建订单本身没有关系,此时就可以在创建订单完成后,发送一个消息,又相应部分的代码进...
Spring AOP 使用及浅析
看过了前面的Spring Beans相关的 IOC 功能, 接下来我们来看看 AOP 是如何实现的 我们都知道 AOP 是通过动态代理来实现的, 但是代理这一步是如何实现的呢? 其实就是之前提到过的, 在Spring Bean的创建过程中, 实现BeanPostProcessor的接口可以对创建好的Bean进行修改替换等操作 123456789protected Object initializeBean(String beanName, Object bean, RootBeanDefinition mbd) { invokeAwareMethods(beanName, bean); Object wrappedBean = applyBeanPostProcessorsBeforeInitialization(wrappedBean, beanName); invokeInitMethods(beanName, wrappedBean, mbd); // 依次执行beanFactory中所有实现BeanPostProcessor的后置方法...
流计算-Flink笔记
一种被设计来处理无穷数据集的数据处理系统引擎 对实时产生的数据进行实时统计分析 电商大促时,统计当前下单量、金额 实时统计 App 中的埋点数据等 流计算相比批处理需要切分为窗口才能进行分组聚合处理 同时需要解决如下两个问题 正确性/完整性 exactly-once 处理无序、延迟数据的能力 Flink对流计算提供的支持 同时支持高吞吐、低延迟、高性能(spark支持高吞吐和高性能,strom支持低延迟高性能) 支持事件时间概念 支持有状态的计算 支持高度灵活的窗口 基于轻量级分布式快照实现容错 基于JVM实现独立的内存管理 save point(保存点) 流计算的流程 窗口 在处理无限流数据时, 如果需要对数据进行分组聚合操作,实时获取结果时, 则需要将数据分段到不同的窗口中,分别进行计算输出 窗口可分为 滚动窗口(时间驱动、数量驱动) 有固定间隔相等的连续窗口,每个窗口不会重复, 如每5分钟统计一次或每5个数据计算一次 滑动窗口(时间驱动、数量驱动) 有固定间隔相等的连续窗口,每个窗口之间可能有重叠,如每5分钟,统计前20分钟数据 ...
