如何用Netty写一个高性能的分布式服务框架？

智能摘要文章源自JAVA秀-https://www.javaxiu.com/34649.html

相比较与直接使用底层的Java IO API，你不需要先成为网络专家就可以基于Netty去构建复杂的网络应用。size是独立的，这将导致总的direct memory size将是jdk配置的2倍)。一条连接有瓶颈，无法有效利用cpu，连接太多也白扯，最佳实践是根据自己场景测试。SIMPLE，ADVANCED采样率相同，不到1%(按位与操作mask==128-1)。立刻改为ADVANCED级别再跑，可以报告泄漏对象在哪被访问的。文章源自JAVA秀-https://www.javaxiu.com/34649.html

原文约 4451 字 | 图片 18 张 | 建议阅读 9 分钟 | 评价反馈文章源自JAVA秀-https://www.javaxiu.com/34649.html

如何用Netty写一个高性能的分布式服务框架？

原创 家纯 阿里技术 文章源自JAVA秀-https://www.javaxiu.com/34649.html

收录于话题文章源自JAVA秀-https://www.javaxiu.com/34649.html

#Java文章源自JAVA秀-https://www.javaxiu.com/34649.html

57个文章源自JAVA秀-https://www.javaxiu.com/34649.html

文章源自JAVA秀-https://www.javaxiu.com/34649.html

一  什么是 Netty? 能做什么?文章源自JAVA秀-https://www.javaxiu.com/34649.html

• Netty 是一个致力于创建高性能网络应用程序的成熟的 IO 框架。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 相比较与直接使用底层的 Java IO API，你不需要先成为网络专家就可以基于 Netty 去构建复杂的网络应用。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 业界常见的涉及到网络通信的相关中间件大部分基于 Netty 实现网络层。文章源自JAVA秀-https://www.javaxiu.com/34649.html

二  设计一个分布式服务框架文章源自JAVA秀-https://www.javaxiu.com/34649.html

1  Architecture文章源自JAVA秀-https://www.javaxiu.com/34649.html

文章源自JAVA秀-https://www.javaxiu.com/34649.html

2  远程调用的流程文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 启动服务端(服务提供者)并发布服务到注册中心。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 启动客户端(服务消费者)并去注册中心订阅感兴趣的服务。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 客户端收到注册中心推送的服务地址列表。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 调用者发起调用，Proxy从服务地址列表中选择一个地址并将请求信息 <group，providerName，version>，methodName，args[] 等信息序列化为字节数组并通过网络发送到该地址上。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 服务端收到收到并反序列化请求信息，根据 <group，providerName，version> 从本地服务字典里查找到对应providerObject，再根据 <methodName，args[]> 通过反射调用指定方法，并将方法返回值序列化为字节数组返回给客户端。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 客户端收到响应信息再反序列化为 Java 对象后由 Proxy 返回给方法调用者。文章源自JAVA秀-https://www.javaxiu.com/34649.html

以上流程对方法调用者是透明的，一切看起来就像本地调用一样。文章源自JAVA秀-https://www.javaxiu.com/34649.html

3  远程调用客户端图解文章源自JAVA秀-https://www.javaxiu.com/34649.html

文章源自JAVA秀-https://www.javaxiu.com/34649.html

重要概念：RPC三元组 <ID，Request，Response>。文章源自JAVA秀-https://www.javaxiu.com/34649.html

PS: 若是 netty4.x 的线程模型，IO Thread(worker) —> Map<InvokeId，Future> 代替全局 Map 能更好的避免线程竞争。文章源自JAVA秀-https://www.javaxiu.com/34649.html

4  远程调用服务端图解文章源自JAVA秀-https://www.javaxiu.com/34649.html

文章源自JAVA秀-https://www.javaxiu.com/34649.html

5  远程调用传输层图解文章源自JAVA秀-https://www.javaxiu.com/34649.html

文章源自JAVA秀-https://www.javaxiu.com/34649.html

6  设计传输层协议栈文章源自JAVA秀-https://www.javaxiu.com/34649.html

协议头文章源自JAVA秀-https://www.javaxiu.com/34649.html

文章源自JAVA秀-https://www.javaxiu.com/34649.html

协议体文章源自JAVA秀-https://www.javaxiu.com/34649.html

1）metadata: <group，providerName，version>文章源自JAVA秀-https://www.javaxiu.com/34649.html

2）methodName文章源自JAVA秀-https://www.javaxiu.com/34649.html

3）parameterTypes[] 真的需要吗?文章源自JAVA秀-https://www.javaxiu.com/34649.html

（a）有什么问题?文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 反序列化时 ClassLoader.loadClass() 潜在锁竞争。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 协议体码流大小。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 泛化调用多了参数类型。文章源自JAVA秀-https://www.javaxiu.com/34649.html

（b）能解决吗?文章源自JAVA秀-https://www.javaxiu.com/34649.html

• Java方法静态分派规则参考JLS <Java语言规范> $15.12.2.5 Choosing the Most Specific Method 章节。文章源自JAVA秀-https://www.javaxiu.com/34649.html

（c）args[]文章源自JAVA秀-https://www.javaxiu.com/34649.html

（d）其他：traceId，appName…文章源自JAVA秀-https://www.javaxiu.com/34649.html

三  一些Features&好的实践&压榨性能文章源自JAVA秀-https://www.javaxiu.com/34649.html

1  创建客户端代理对象文章源自JAVA秀-https://www.javaxiu.com/34649.html

1）Proxy 做什么?文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 集群容错 —> 负载均衡 —> 网络文章源自JAVA秀-https://www.javaxiu.com/34649.html

2）有哪些创建 Proxy 的方式?文章源自JAVA秀-https://www.javaxiu.com/34649.html

• jdk proxy/javassist/cglib/asm/bytebuddy文章源自JAVA秀-https://www.javaxiu.com/34649.html

3）要注意的：文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 注意拦截toString，equals，hashCode等方法避免远程调用。文章源自JAVA秀-https://www.javaxiu.com/34649.html

4）推荐的(bytebuddy)：文章源自JAVA秀-https://www.javaxiu.com/34649.html

文章源自JAVA秀-https://www.javaxiu.com/34649.html

2  优雅的同步/异步调用文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 先往上翻再看看“远程调用客户端图解”文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 再往下翻翻看看 Failover 如何处理更好文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 思考下如何拿到 future?文章源自JAVA秀-https://www.javaxiu.com/34649.html

3  单播/组播文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 消息派发器文章源自JAVA秀-https://www.javaxiu.com/34649.html

• FutureGroup文章源自JAVA秀-https://www.javaxiu.com/34649.html

4  泛化调用文章源自JAVA秀-https://www.javaxiu.com/34649.html

• Object $invoke(String methodName，Object... args)文章源自JAVA秀-https://www.javaxiu.com/34649.html

• parameterTypes[]文章源自JAVA秀-https://www.javaxiu.com/34649.html

5  序列化/反序列化文章源自JAVA秀-https://www.javaxiu.com/34649.html

协议 header 标记 serializer type，同时支持多种。文章源自JAVA秀-https://www.javaxiu.com/34649.html

6  可扩展性文章源自JAVA秀-https://www.javaxiu.com/34649.html

Java SPI：文章源自JAVA秀-https://www.javaxiu.com/34649.html

• java.util.ServiceLoader文章源自JAVA秀-https://www.javaxiu.com/34649.html

• META-INF/services/com.xxx.Xxx文章源自JAVA秀-https://www.javaxiu.com/34649.html

7  服务级别线程池隔离文章源自JAVA秀-https://www.javaxiu.com/34649.html

要挂你先挂，别拉着我。文章源自JAVA秀-https://www.javaxiu.com/34649.html

8  责任链模式的拦截器文章源自JAVA秀-https://www.javaxiu.com/34649.html

太多扩展需要从这里起步。文章源自JAVA秀-https://www.javaxiu.com/34649.html

9  指标度量(Metrics)文章源自JAVA秀-https://www.javaxiu.com/34649.html

10  链路追踪文章源自JAVA秀-https://www.javaxiu.com/34649.html

OpenTracing文章源自JAVA秀-https://www.javaxiu.com/34649.html

11  注册中心文章源自JAVA秀-https://www.javaxiu.com/34649.html

12  流控(应用级别/服务级别)文章源自JAVA秀-https://www.javaxiu.com/34649.html

要有能方便接入第三方流控中间件的扩展能力。文章源自JAVA秀-https://www.javaxiu.com/34649.html

13  Provider线程池满了怎么办?文章源自JAVA秀-https://www.javaxiu.com/34649.html

文章源自JAVA秀-https://www.javaxiu.com/34649.html

14  软负载均衡文章源自JAVA秀-https://www.javaxiu.com/34649.html

1）加权随机 (二分法，不要遍历)文章源自JAVA秀-https://www.javaxiu.com/34649.html

文章源自JAVA秀-https://www.javaxiu.com/34649.html

2）加权轮训(最大公约数)文章源自JAVA秀-https://www.javaxiu.com/34649.html

文章源自JAVA秀-https://www.javaxiu.com/34649.html

3）最小负载文章源自JAVA秀-https://www.javaxiu.com/34649.html

4）一致性 hash (有状态服务场景)文章源自JAVA秀-https://www.javaxiu.com/34649.html

5）其他文章源自JAVA秀-https://www.javaxiu.com/34649.html

注意：要有预热逻辑。文章源自JAVA秀-https://www.javaxiu.com/34649.html

15  集群容错文章源自JAVA秀-https://www.javaxiu.com/34649.html

1）Fail-fast文章源自JAVA秀-https://www.javaxiu.com/34649.html

2）Failover文章源自JAVA秀-https://www.javaxiu.com/34649.html

异步调用怎么处理?文章源自JAVA秀-https://www.javaxiu.com/34649.html

• Bad文章源自JAVA秀-https://www.javaxiu.com/34649.html

文章源自JAVA秀-https://www.javaxiu.com/34649.html

文章源自JAVA秀-https://www.javaxiu.com/34649.html

• Better文章源自JAVA秀-https://www.javaxiu.com/34649.html

文章源自JAVA秀-https://www.javaxiu.com/34649.html

3）Fail-safe文章源自JAVA秀-https://www.javaxiu.com/34649.html

4）Fail-back文章源自JAVA秀-https://www.javaxiu.com/34649.html

5）Forking文章源自JAVA秀-https://www.javaxiu.com/34649.html

6）其他文章源自JAVA秀-https://www.javaxiu.com/34649.html

16  如何压榨性能(Don’t trust it，Test it)文章源自JAVA秀-https://www.javaxiu.com/34649.html

1）ASM 写个 FastMethodAccessor 来代替服务端那个反射调用文章源自JAVA秀-https://www.javaxiu.com/34649.html

文章源自JAVA秀-https://www.javaxiu.com/34649.html

2）序列化/反序列化文章源自JAVA秀-https://www.javaxiu.com/34649.html

在业务线程中序列化/反序列化，避免占用 IO 线程：文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 序列化/反序列化占用数量极少的 IO 线程时间片。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 反序列化常常会涉及到 Class 的加载，loadClass 有一把锁竞争严重(可通过 JMC 观察一下)。文章源自JAVA秀-https://www.javaxiu.com/34649.html

选择高效的序列化/反序列化框架：文章源自JAVA秀-https://www.javaxiu.com/34649.html

文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 如kryo/protobuf/protostuff/hessian/fastjson/…文章源自JAVA秀-https://www.javaxiu.com/34649.html

选择只是第一步，它(序列化框架)做的不好的，去扩展和优化之：文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 传统的序列化/反序列化+写入/读取网络的流程：java对象--> byte[] -->堆外内存 / 堆外内存--> byte[] -->java对象。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 优化：省去 byte[] 环节，直接 读/写 堆外内存，这需要扩展对应的序列化框架。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• String 编码/解码优化。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• Varint 优化：多次 writeByte 合并为 writeShort/writeInt/writeLong。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• Protostuff 优化举例：UnsafeNioBufInput 直接读堆外内存/UnsafeNioBufOutput 直接写堆外内存。文章源自JAVA秀-https://www.javaxiu.com/34649.html

3）IO 线程绑定 CPU文章源自JAVA秀-https://www.javaxiu.com/34649.html

文章源自JAVA秀-https://www.javaxiu.com/34649.html

4）同步阻塞调用的客户端和容易成为瓶颈，客户端协程：文章源自JAVA秀-https://www.javaxiu.com/34649.html

• Java层面可选的并不多，暂时也都不完美。文章源自JAVA秀-https://www.javaxiu.com/34649.html

5）Netty Native Transport & PooledByteBufAllocator：文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 减小GC带来的波动。文章源自JAVA秀-https://www.javaxiu.com/34649.html

6）尽快释放 IO 线程去做他该做的事情，尽量减少线程上下文切换。文章源自JAVA秀-https://www.javaxiu.com/34649.html

四  Why Netty?文章源自JAVA秀-https://www.javaxiu.com/34649.html

1  BIO vs NIO文章源自JAVA秀-https://www.javaxiu.com/34649.html

文章源自JAVA秀-https://www.javaxiu.com/34649.html

2  Java 原生 NIO API 从入门到放弃文章源自JAVA秀-https://www.javaxiu.com/34649.html

复杂度高文章源自JAVA秀-https://www.javaxiu.com/34649.html

• API复杂难懂，入门困。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 粘包/半包问题费神。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 需超强的并发/异步编程功底，否则很难写出高效稳定的实现。文章源自JAVA秀-https://www.javaxiu.com/34649.html

稳定性差，坑多且深文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 调试困难，偶尔遭遇匪夷所思极难重现的bug，边哭边查是常有的事儿。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• linux 下 EPollArrayWrapper.epollWait 直接返回导致空轮训进而导致 100% cpu 的 bug 一直也没解决利索，Netty帮你 work around (通过rebuilding selector)。文章源自JAVA秀-https://www.javaxiu.com/34649.html

NIO代码实现方面的一些缺点文章源自JAVA秀-https://www.javaxiu.com/34649.html

1）Selector.selectedKeys() 产生太多垃圾文章源自JAVA秀-https://www.javaxiu.com/34649.html

Netty 修改了 sun.nio.ch.SelectorImpl 的实现，使用双数组代替 HashSet 存储来 selectedKeys：文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 相比HashSet(迭代器，包装对象等)少了一些垃圾的产生(help GC)。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 轻微的性能收益(1~2%)。文章源自JAVA秀-https://www.javaxiu.com/34649.html

Nio 的代码到处是 synchronized (比如 allocate direct buffer 和 Selector.wakeup() )：文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 对于 allocate direct buffer，Netty 的 pooledBytebuf 有前置 TLAB(Thread-local allocation buffer)可有效的减少去竞争锁。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• wakeup 调用多了锁竞争严重并且开销非常大(开销大原因: 为了在 select 线程外跟 select 线程通信，linux 平台上用一对 pipe，windows 由于 pipe 句柄不能放入 fd_set，只能委曲求全用两个 tcp 连接模拟)，wakeup 调用少了容易导致 select 时不必要的阻塞(如果懵逼了就直接用 Netty 吧，Netty中有对应的优化逻辑)。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• Netty Native Transport 中锁少了很多。文章源自JAVA秀-https://www.javaxiu.com/34649.html

2）fdToKey 映射文章源自JAVA秀-https://www.javaxiu.com/34649.html

• EPollSelectorImpl#fdToKey 维持着所有连接的 fd(描述符)对应 SelectionKey 的映射，是个 HashMap。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 每个 worker 线程有一个 selector，也就是每个 worker 有一个 fdToKey，这些 fdToKey 大致均分了所有连接。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 想象一下单机 hold 几十万的连接的场景，HashMap 从默认 size=16，一步一步 rehash...文章源自JAVA秀-https://www.javaxiu.com/34649.html

3）Selector在linux 平台是 Epoll LT 实现文章源自JAVA秀-https://www.javaxiu.com/34649.html

• Netty Native Transport支持Epoll ET。文章源自JAVA秀-https://www.javaxiu.com/34649.html

4）Direct Buffers 事实上还是由 GC 管理文章源自JAVA秀-https://www.javaxiu.com/34649.html

• DirectByteBuffer.cleaner 这个虚引用负责 free direct memory，DirectByteBuffer 只是个壳子，这个壳子如果坚强的活下去熬过新生代的年龄限制最终晋升到老年代将是一件让人伤心的事情…文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 无法申请到足够的 direct memory 会显式触发 GC，Bits.reserveMemory() -> { System.gc() }，首先因为 GC 中断整个进程不说，代码中还 sleep 100 毫秒，醒了要是发现还不行就 OOM。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 更糟的是如果你听信了个别<XX优化宝典>谗言设置了-XX:+DisableExplicitGC 参数，悲剧会静悄悄的发生...文章源自JAVA秀-https://www.javaxiu.com/34649.html

• Netty的UnpooledUnsafeNoCleanerDirectByteBuf 去掉了 cleaner，由 Netty 框架维护引用计数来实时的去释放。文章源自JAVA秀-https://www.javaxiu.com/34649.html

五  Netty 的真实面目文章源自JAVA秀-https://www.javaxiu.com/34649.html

1  Netty 中几个重要概念及其关系文章源自JAVA秀-https://www.javaxiu.com/34649.html

EventLoop文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 一个 Selector。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 一个任务队列(mpsc_queue: 多生产者单消费者 lock-free)。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 一个延迟任务队列(delay_queue: 一个二叉堆结构的优先级队列，复杂度为O(log n))。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• EventLoop 绑定了一个 Thread，这直接避免了pipeline 中的线程竞争。文章源自JAVA秀-https://www.javaxiu.com/34649.html

Boss: mainReactor 角色，Worker: subReactor 角色文章源自JAVA秀-https://www.javaxiu.com/34649.html

• Boss 和 Worker 共用 EventLoop 的代码逻辑，Boss 处理 accept 事件，Worker 处理 read，write 等事件。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• Boss 监听并 accept 连接(channel)后以轮训的方式将 channel 交给 Worker，Worker 负责处理此 channel 后续的read/write 等 IO 事件。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 在不 bind 多端口的情况下 BossEventLoopGroup 中只需要包含一个 EventLoop，也只能用上一个，多了没用。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• WorkerEventLoopGroup 中一般包含多个 EventLoop，经验值一般为 cpu cores * 2(根据场景测试找出最佳值才是王道)。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• Channel 分两大类 ServerChannel 和 Channel，ServerChannel 对应着监听套接字(ServerSocketChannel)，Channel 对应着一个网络连接。文章源自JAVA秀-https://www.javaxiu.com/34649.html

2  Netty4 Thread Model文章源自JAVA秀-https://www.javaxiu.com/34649.html

文章源自JAVA秀-https://www.javaxiu.com/34649.html

3  ChannelPipeline文章源自JAVA秀-https://www.javaxiu.com/34649.html

文章源自JAVA秀-https://www.javaxiu.com/34649.html

4  Pooling&reuse文章源自JAVA秀-https://www.javaxiu.com/34649.html

PooledByteBufAllocator文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 基于 jemalloc paper (3.x)文章源自JAVA秀-https://www.javaxiu.com/34649.html

• ThreadLocal caches for lock free：这个做法导致曾经有坑——申请(Bytebuf)线程与归还(Bytebuf)线程不是同一个导致内存泄漏，后来用一个mpsc_queue解决，代价就是牺牲了一点点性能。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• Different size classes。文章源自JAVA秀-https://www.javaxiu.com/34649.html

Recycler文章源自JAVA秀-https://www.javaxiu.com/34649.html

• ThreadLocal + Stack。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 曾经有坑，申请(元素)线程与归还(元素)线程不是同一个导致内存泄漏。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 后来改进为不同线程归还元素的时候放入一个 WeakOrderQueue 中并关联到 stack 上，下次 pop 时如果 stack 为空则先扫描所有关联到当前 stack 上的 weakOrderQueue。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• WeakOrderQueue 是多个数组的链表，每个数组默认size=16。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 存在的问题：思考一下老年代对象引用新生代对象对 GC 的影响？文章源自JAVA秀-https://www.javaxiu.com/34649.html

5  Netty Native Transport文章源自JAVA秀-https://www.javaxiu.com/34649.html

相比 Nio 创建更少的对象，更小的 GC 压力。文章源自JAVA秀-https://www.javaxiu.com/34649.html

针对 linux 平台优化，一些 specific features：文章源自JAVA秀-https://www.javaxiu.com/34649.html

• SO_REUSEPORT - 端口复用(允许多个 socket 监听同一个 IP+端口，与 RPS/RFS 协作，可进一步提升性能)：可把 RPS/RFS 模糊的理解为在软件层面模拟多队列网卡，并提供负载均衡能力，避免网卡收包发包的中断集中的一个 CPU core 上而影响性能。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• TCP_FASTOPEN - 3次握手时也用来交换数据。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• EDGE_TRIGGERED (支持Epoll ET是重点)。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• Unix 域套接字(同一台机器上的进程间通信，比如Service Mesh)。文章源自JAVA秀-https://www.javaxiu.com/34649.html

6  多路复用简介文章源自JAVA秀-https://www.javaxiu.com/34649.html

select/poll文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 本身的实现机制上的限制(采用轮询方式检测就绪事件，时间复杂度: O(n)，每次还要将臃肿的 fd_set 在用户空间和内核空间拷贝来拷贝去)，并发连接越大，性能越差。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• poll 相比 select 没有很大差异，只是取消了最大文件描述符个数的限制。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• select/poll 都是 LT 模式。文章源自JAVA秀-https://www.javaxiu.com/34649.html

epoll文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 采用回调方式检测就绪事件，时间复杂度: O(1)，每次 epoll_wait 调用只返回已就绪的文件描述符。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• epoll 支持 LT 和 ET 模式。文章源自JAVA秀-https://www.javaxiu.com/34649.html

7  稍微深入了解一点 Epoll文章源自JAVA秀-https://www.javaxiu.com/34649.html

LT vs ET文章源自JAVA秀-https://www.javaxiu.com/34649.html

概念：文章源自JAVA秀-https://www.javaxiu.com/34649.html

• LT：level-triggered 水平触发文章源自JAVA秀-https://www.javaxiu.com/34649.html

• ET：edge-triggered 边沿触发文章源自JAVA秀-https://www.javaxiu.com/34649.html

可读：文章源自JAVA秀-https://www.javaxiu.com/34649.html

文章源自JAVA秀-https://www.javaxiu.com/34649.html

• buffer 不为空的时候 fd 的 events 中对应的可读状态就被置为1，否则为0。文章源自JAVA秀-https://www.javaxiu.com/34649.html

可写：文章源自JAVA秀-https://www.javaxiu.com/34649.html

文章源自JAVA秀-https://www.javaxiu.com/34649.html

• buffer 中有空间可写的时候 fd 的 events 中对应的可写状态就被置为1，否则为0。文章源自JAVA秀-https://www.javaxiu.com/34649.html

图解：文章源自JAVA秀-https://www.javaxiu.com/34649.html

文章源自JAVA秀-https://www.javaxiu.com/34649.html

epoll 三个方法简介文章源自JAVA秀-https://www.javaxiu.com/34649.html

1）主要代码：linux-2.6.11.12/fs/eventpoll.c文章源自JAVA秀-https://www.javaxiu.com/34649.html

2）int epoll_create(int size)文章源自JAVA秀-https://www.javaxiu.com/34649.html

创建 rb-tree(红黑树)和 ready-list (就绪链表)：文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 红黑树O(logN)，平衡效率和内存占用，在容量需求不能确定并可能量很大的情况下红黑树是最佳选择。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• size参数已经没什么意义，早期epoll实现是hash表，所以需要size参数。文章源自JAVA秀-https://www.javaxiu.com/34649.html

3）int epoll_ctl(int epfd，int op，int fd，struct epoll_event *event)文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 把epitem放入rb-tree并向内核中断处理程序注册ep_poll_callback，callback触发时把该epitem放进ready-list。文章源自JAVA秀-https://www.javaxiu.com/34649.html

4）int epoll_wait(int epfd，struct epoll_event * events，int maxevents，int timeout)文章源自JAVA秀-https://www.javaxiu.com/34649.html

• ready-list —> events[]。文章源自JAVA秀-https://www.javaxiu.com/34649.html

epoll 的数据结构文章源自JAVA秀-https://www.javaxiu.com/34649.html

文章源自JAVA秀-https://www.javaxiu.com/34649.html

epoll_wait 工作流程概述 文章源自JAVA秀-https://www.javaxiu.com/34649.html

文章源自JAVA秀-https://www.javaxiu.com/34649.html

对照代码：linux-2.6.11.12/fs/eventpoll.c：文章源自JAVA秀-https://www.javaxiu.com/34649.html

1）epoll_wait 调用 ep_poll文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 当 rdlist(ready-list) 为空(无就绪fd)时挂起当前线程,直到 rdlist 不为空时线程才被唤醒。文章源自JAVA秀-https://www.javaxiu.com/34649.html

2）文件描述符 fd 的 events 状态改变文章源自JAVA秀-https://www.javaxiu.com/34649.html

• buffer由不可读变为可读或由不可写变为可写，导致相应fd上的回调函数ep_poll_callback被触发。文章源自JAVA秀-https://www.javaxiu.com/34649.html

3）ep_poll_callback 被触发文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 将相应fd对应epitem加入rdlist，导致rdlist不空，线程被唤醒，epoll_wait得以继续执行。文章源自JAVA秀-https://www.javaxiu.com/34649.html

4）执行 ep_events_transfer 函数文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 将rdlist中的epitem拷贝到txlist中，并将rdlist清空。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 如果是epoll LT，并且fd.events状态没有改变(比如buffer中数据没读完并不会改变状态)，会再重新将epitem放回rdlist。文章源自JAVA秀-https://www.javaxiu.com/34649.html

5）执行 ep_send_events 函数文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 扫描txlist中的每个epitem，调用其关联fd对应的poll方法取得较新的events。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 将取得的events和相应的fd发送到用户空间。文章源自JAVA秀-https://www.javaxiu.com/34649.html

8  Netty 的最佳实践文章源自JAVA秀-https://www.javaxiu.com/34649.html

1）业务线程池必要性文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 业务逻辑尤其是阻塞时间较长的逻辑，不要占用netty的IO线程，dispatch到业务线程池中去。文章源自JAVA秀-https://www.javaxiu.com/34649.html

2）WriteBufferWaterMark文章源自JAVA秀-https://www.javaxiu.com/34649.html

文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 注意默认的高低水位线设置(32K~64K)，根据场景适当调整(可以思考一下如何利用它)。文章源自JAVA秀-https://www.javaxiu.com/34649.html

3）重写 MessageSizeEstimator 来反应真实的高低水位线文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 默认实现不能计算对象size，由于write时还没路过任何一个outboundHandler就已经开始计算message size，此时对象还没有被encode成Bytebuf，所以size计算肯定是不准确的(偏低)。文章源自JAVA秀-https://www.javaxiu.com/34649.html

4）注意EventLoop#ioRatio的设置(默认50)文章源自JAVA秀-https://www.javaxiu.com/34649.html

文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 这是EventLoop执行IO任务和非IO任务的一个时间比例上的控制。文章源自JAVA秀-https://www.javaxiu.com/34649.html

5）空闲链路检测用谁调度?文章源自JAVA秀-https://www.javaxiu.com/34649.html

• Netty4.x默认使用IO线程调度，使用eventLoop的delayQueue，一个二叉堆实现的优先级队列，复杂度为O(log N)，每个worker处理自己的链路监测，有助于减少上下文切换，但是网络IO操作与idle会相互影响。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 如果总的连接数小，比如几万以内，上面的实现并没什么问题，连接数大建议用HashedWheelTimer实现一个IdleStateHandler，HashedWheelTimer复杂度为 O(1)，同时可以让网络IO操作和idle互不影响，但有上下文切换开销。文章源自JAVA秀-https://www.javaxiu.com/34649.html

6）使用ctx.writeAndFlush还是channel.writeAndFlush?文章源自JAVA秀-https://www.javaxiu.com/34649.html

• ctx.write直接走到下一个outbound handler，注意别让它违背你的初衷绕过了空闲链路检测。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• channel.write从末尾开始倒着向前挨个路过pipeline中的所有outbound handlers。文章源自JAVA秀-https://www.javaxiu.com/34649.html

7）使用Bytebuf.forEachByte() 来代替循环 ByteBuf.readByte()的遍历操作，避免rangeCheck()文章源自JAVA秀-https://www.javaxiu.com/34649.html

8）使用CompositeByteBuf来避免不必要的内存拷贝文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 缺点是索引计算时间复杂度高，请根据自己场景衡量。文章源自JAVA秀-https://www.javaxiu.com/34649.html

9）如果要读一个int，用Bytebuf.readInt()，不要Bytebuf.readBytes(buf，0，4)文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 这能避免一次memory copy (long，short等同理)。文章源自JAVA秀-https://www.javaxiu.com/34649.html

10）配置文章源自JAVA秀-https://www.javaxiu.com/34649.html

UnpooledUnsafeNoCleanerDirectByteBuf来代替jdk的DirectByteBuf，让netty框架基于引用计数来释放堆外内存文章源自JAVA秀-https://www.javaxiu.com/34649.html

io.netty.maxDirectMemory：文章源自JAVA秀-https://www.javaxiu.com/34649.html

• < 0: 不使用cleaner，netty方面直接继承jdk设置的最大direct memory size，(jdk的direct memory size是独立的，这将导致总的direct memory size将是jdk配置的2倍)。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• == 0: 使用cleaner，netty方面不设置最大direct memory size。文章源自JAVA秀-https://www.javaxiu.com/34649.html

文章源自JAVA秀-https://www.javaxiu.com/34649.html

0：不使用cleaner，并且这个参数将直接限制netty的最大direct memory size，(jdk的direct memory size是独立的，不受此参数限制)。文章源自JAVA秀-https://www.javaxiu.com/34649.html

11）最佳连接数文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 一条连接有瓶颈，无法有效利用cpu，连接太多也白扯，最佳实践是根据自己场景测试。文章源自JAVA秀-https://www.javaxiu.com/34649.html

12）使用PooledBytebuf时要善于利用 -Dio.netty.leakDetection.level 参数文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 四种级别：DISABLED(禁用)，SIMPLE(简单)，ADVANCED(高级)，PARANOID(偏执)。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• SIMPLE，ADVANCED采样率相同，不到1%(按位与操作 mask ==128 - 1)。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 默认是SIMPLE级别，开销不大。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 出现泄漏时日志会出现“LEAK: ”字样，请时不时grep下日志，一旦出现“LEAK: ”立刻改为ADVANCED级别再跑，可以报告泄漏对象在哪被访问的。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• PARANOID：测试的时候建议使用这个级别，100%采样。文章源自JAVA秀-https://www.javaxiu.com/34649.html

13）Channel.attr()，将自己的对象attach到channel上文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 拉链法实现的线程安全的hash表，也是分段锁(只锁链表头)，只有hash冲突的情况下才有锁竞争(类似ConcurrentHashMapV8版本)。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 默认hash表只有4个桶，使用不要太任性。文章源自JAVA秀-https://www.javaxiu.com/34649.html

9  从 Netty 源码中学到的代码技巧文章源自JAVA秀-https://www.javaxiu.com/34649.html

1）海量对象场景中文章源自JAVA秀-https://www.javaxiu.com/34649.html

AtomicIntegerFieldUpdater --> AtomicInteger文章源自JAVA秀-https://www.javaxiu.com/34649.html

• Java中对象头12 bytes(开启压缩指针的情况下)，又因为Java对象按照8字节对齐，所以对象最小16 bytes，AtomicInteger大小为16 bytes，AtomicLong大小为 24 bytes。文章源自JAVA秀-https://www.javaxiu.com/34649.html

• AtomicIntegerFieldUpdater作为static field去操作volatile int。文章源自JAVA秀-https://www.javaxiu.com/34649.html

2）FastThreadLocal，相比jdk的实现更快文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 线性探测的Hash表 —> index原子自增的裸数组存储。文章源自JAVA秀-https://www.javaxiu.com/34649.html

3）IntObjectHashMap / LongObjectHashMap …文章源自JAVA秀-https://www.javaxiu.com/34649.html

• Integer—> int文章源自JAVA秀-https://www.javaxiu.com/34649.html

• Node[] —> 裸数组文章源自JAVA秀-https://www.javaxiu.com/34649.html

4）RecyclableArrayList文章源自JAVA秀-https://www.javaxiu.com/34649.html

文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 基于前面说的Recycler，频繁new ArrayList的场景可考虑。文章源自JAVA秀-https://www.javaxiu.com/34649.html

5）JCTools文章源自JAVA秀-https://www.javaxiu.com/34649.html

文章源自JAVA秀-https://www.javaxiu.com/34649.html

• 一些jdk没有的 SPSC/MPSC/SPMC/MPMC 无锁并发队以及NonblockingHashMap(可以对比ConcurrentHashMapV6/V8)文章源自JAVA秀-https://www.javaxiu.com/34649.html

招聘文章源自JAVA秀-https://www.javaxiu.com/34649.html

我们是蚂蚁智能监控技术中台的存储团队，我们正在使用 Rust/Go/Java 构建高性能、低成本具备实时分析能力的新一代时序数据库，欢迎转岗或者推荐，联系人：冯家纯 jiachun.fjc@antgroup.com文章源自JAVA秀-https://www.javaxiu.com/34649.html

文章源自JAVA秀-https://www.javaxiu.com/34649.html

Alibaba Cloud Linux技术图谱文章源自JAVA秀-https://www.javaxiu.com/34649.html

业界权威专家出品，共 18 个知识点，79 课时 ，基于 Alibaba Cloud Linux 结合阿里巴巴工程师的一线实战经验，邀请行业在职运维工程师授课，课程内容涵盖 Linux 基础知识、常用业务服务维护、自动化运维、自动化运维监控、KVM 虚拟化等相关知识。文章源自JAVA秀-https://www.javaxiu.com/34649.html

点击“阅读原文”，开始学习吧~文章源自JAVA秀-https://www.javaxiu.com/34649.html

阅读原文文章源自JAVA秀-https://www.javaxiu.com/34649.html