2024-02-26
CXL(Compute Express Link)简介

CXL 是什么?CXL 全称是 Compute Express Link,是一种在PCIe物理层上构建缓存一致性系统。CXL的概念最初由英特尔在2019年提出,旨在解决数据中心内存扩展和性能瓶颈问题。CXL旨在通过提供一种新的高速互连技术,使CPU、GPU、FPGA等处理器能够更高效地共享内存资源。CXL 当前有...

Read More
 2023-08-30
C++ std::tuple 学习笔记

概述C++的std::tuple是在C++11中引入的,作为对C++标准库的增强。在此之前,C++标准库中的std::pair已经无法满足日益复杂的数据处理需求。因此,为了增强C++的数据处理能力,std::tuple被引入到了C++标准库中。在C++17中,又引入了变长模板和if constexpr等技术,使得...

Read More
 2023-08-28
LRU Cache 算法

概述LRU 是 Least Recently Used 的缩写,意思是最近最少使用,是一种常见的缓存淘汰策略,其他策略还有 FIFO、LFU 等。缓存的访问速度比较快,但是其是一种有限的资源,所以需要进行缓存的淘汰,一般情况下缓存会使用内存,计算机的内存一般来说都有比较有限的资源。下面通过一个示意图来解释 LRU...

Read More
 2023-08-26
Flood Fill 算法解题实例分析

概述Wikipedia 对于Flood fill算法的定义是从一个区域中提取若干个连通的点与其他相邻区域区分开(或分别染成不同颜色)的经典算法。因为其思路类似洪水从一个区域扩散到所有能到达的区域而得名。最简单的实现思路就是深度优先搜索的递归方法,从一个点根据规则去扩散到各个可以到达的地方。这个思路对于我们日常解决...

Read More
 2023-08-15
LZ4 压缩算法简介

概述LZ4 是一种常用的压缩算法,主要特点是压缩和解压的速度比较快,CPU 消耗低,移动设备上会用其作内存压缩的算法。LZ4 算法的基本思想很简单,就是将数据中发现的重复项进行编码,达到压缩的目的。本文仅仅介绍其算法的逻辑,不涉及具体的实现。算法简介对数据的重复项进行编码,编码的方式是 (offset, leng...

Read More
 2023-04-01
Remote Shuffle Service 概述

概述Shuffle 是大数据处理中非常重要的一个操作,其作用是将数据按照新的分区方式进行重新分布,从而满足计算上对分区的要求,保证最终结果的正确性。一般来说,聚合(aggregation)、join 等都需要 Shuffle 操作。Shuffle 整体上可以分为 Shuffle 写和 Shuffle 读两个阶段。...

Read More
 2023-03-15
TreeSet 并发写入后可能导致读取死循环

概述Java 中的内置集合类型有很多是非线程安全的,本文主要是介绍 TreeSet 在多线程并发写入后可能会导致 iterator 读取死循环的问题。本文主要是介绍复现问题的方法,做一个简单的记录。出现死循环的原因是因为 TreeSet 底层是 TreeMap 实现的,数据结构是红黑树,红黑树在并发写入后,可能会...

Read More
 2022-07-29
c++ 11 的单例模式

概述在开发过程中,Singleton 是一个非常常用的模式,例如,系统配置、内存管理等全局唯一的实例都需要使用单例。在 C++ 11 之前,实现一个线程安全的单例需要一些特别的 trick。本文介绍 C++ 11 之后的实现方式,非常的简单。实现实现的关键点: 构造函数设置为 private 拷贝和移动的构造...

Read More