内核项目

基于eBPF的网络性能监控与异常检测

  • 项目ID: 210520870

  • 难 度:高

  • 支持语言: 中文

  • 项目描述:

    随着网络规模的不断扩大,网络性能异常的问题越来越突出,网络性能的监控与异常检测尤为重要。网络故障或网络入侵等通常会引起网络性能异常,网络异常检测是维护网络正常运行、确保网络安全的一个重要手段。异常检测首先建立系统、网络和程序的正常模式,在后续检测过程,把偏离该模式的行为判定为网络异常事件或行为。传统的网络性能一般通过网络测量、 SNMP 或系统日志的方式计算得到,本课题要求基于eBPF技术进行获取网络性能数据。首先,分析Linux内核源代码,找出网络性能指标的监控点,使用eBPF技术提取内核网络性能数据,并进行可视化展示。其次,选择合适的算法检测网络性能的异常状况。异常检测可以分为固定阈值检测或自适应检测。目前采用的异常检测方法和基于固定阈值过滤的策略,其基本思想是对每种性能值设定一个阈值,性能数据超过阈值便被认定为异常事件。自适应异常检测算法,通常可以分为 3 种类型:基于统计特征的算法 ,基于机器学习的算法和基于数据挖掘的算法。最后,对接到社区项目LMP中,并能够成功运行。

Linux内核下系统内存及进程内存相关信息提取及预测

  • 项目ID: 210520871

  • 难 度:高

  • 支持语言: 中文

  • 项目描述

    首先:本题需要提取下列4个指标: 全系统的内存水位变化 按内存段提取进程的内存用量 按进程提取页换入信息 按进程提取巨页缺页错误相关信息 其次:要求从Linux内核中实时提取到相关数据后,经过处理,可以在网页前端展示系统当前的内存情况,并且需要将该功能实现为社区项目LMP的插件,并成功对接到LMP中 最后:需要选择一个合适的预测算法,根据当前内存指标情况,给出下个阶段可能的指标大小,其中指标数据需要存放在LMP的数据存储模块中,并且需要将该模型对接到社区项目LMP中,并能够成功运行。

LMP下数据处理的支持

  • 项目ID: 210520872

  • 难 度:低

  • 支持语言: 中文

  • 项目描述:

    LMP是一个基于BCC(BPF Compiler Collection)的Linux系统性能数据实时展示的web工具,是Linux内核之旅社区项目。LMP项目正在规划数据处理功能,即数据采集模块提取到性能数据后,会将数据保存到数据存储模块,但是这些数据是原始数据,并不能直接交给机器学习模型处理,本题目需要实现数据存储模块中数据的预处理功能,例如数据清洗、数据转换、数据标准化等,并且需要采用不同方式来实现以上功能,所有功能需要对接到LMP项目中,并且可以正常使用。

HTTP、DNS网络态势预测

  • 项目ID: 210520877

  • 难 度:低

  • 支持语言: 中文

  • 项目描述 LMP是一个基于BCC(BPF Compiler Collection)的Linux系统性能数据实时展示的web工具,是Linux内核之旅社区项目。eBPF技术的出现使得我们可以更为精确地提取网络指标,因此本题目要求使用eBPF技术实现HTTP、DNS的性能监控,不限于传统的网络指标,需要探索Linux内核中可以利用的HTTP、DNS数据,要求至少从以下6个处理维度中选取4个维度对HTTP、DNS性能进行刻画展示:1、HTTP请求;2、HTTP响应;3、HTTP延时;4、DNS请求5、DNS响应6、DNS延时,从而达到探索Linux内核的目的。所有指标需要以插件形式成功对接到LMP项目之中。

LMP下数据存储模块的优化

  • 项目ID: 210520878

  • 难 度:低

  • 支持语言: 中文

  • 项目描述: LMP是一个基于BCC(BPF Compiler Collection)的Linux系统性能数据实时展示的web工具,是Linux内核之旅社区项目。目前LMP项目中,插件提取的性能数据全部存储于influxdb中,本题目要求将目前项目中的数据存储模块中数据库换为ES数据库,并可正常支持项目目前的所有功能,并需要提供详细的文档说明。

LMP下应用程序进程线程的动态捕获

  • 项目ID: 210520879

  • 难 度:低

  • 支持语言: 中文

  • 项目描述

    LMP是一个基于BCC(BPF Compiler Collection)的Linux系统性能数据实时展示的web工具,是Linux内核之旅社区项目。本题目要求利用eBPF技术实现应用程序进程线程的动态捕获,通过在内核中找到进程/线程的入口函数和出口函数,动态捕获应用程序在运行过程中产生的进程或者线程,并且需要成功对接到LMP项目中,且捕获到的PID等信息可以为其余插件服务。

通过预选重要内核参数实现更快的IO性能调优

  • 项目ID: 210520873

  • 难 度:高

  • 支持语言: 中文

  • 项目描述:

    IO子系统拥有许多能够显著影响Linux系统行为的内核参数,调整这些参数可以显著提高性能。由于IO系统可调节参数较多,自动调优框架会花费大量时间探索庞大的配置空间,并且需要随着工作负载的变化而重复这一过程。 研究表明,有些参数相比其他参数对性能的影响更大,因此关注数量较少的更重要的参数可以加快自动调整系统的速度,因为需要探索的参数空间较小。 本题目要求设计并实现一个框架,首先能够对IO子系统全部可调节参数形成的参数空间进行合理降维,依据降维后的参数空间作为当前系统配置,运行工作负载并记录该点的性能指标(例如吞吐量、延时),输出配置空间中的点和对应的性能指标形成数据集。 然后提出重要性指标,通过机器学习方法预选出重要参数并进行重要性排序,能够使用前端页面展示当前IO子系统的Top5重要参数。 最后,选手可自行选择离线训练或者在线训练的方式预选重要参数,离线训练时间应尽可能短,预选参数达到的性能尽可能高,参数空间覆盖面应尽可能广。

Linux内核TCP性能分析工具

  • 项目ID: 210520874

  • 难 度:低

  • 支持语言: 中文

  • 项目描述:

    LMP(Linux microscope)是Linux内核之旅社区开发的一款基于BCC(BPF Compiler Collection)的Linux系统性能数据实时展示的web工具,是Linux内核之旅社区项目。TCP虽然作为可靠的传输层网络协议,但在最初设计的时候并没有把所有的应用场景考虑到,大型网络相关项目开发时往往会考虑优化TCP协议性能,这就需要提供TCP协议性能分析工具提供运维测试,eBPF技术的出现使得我们从内核角度去看待网络性能,因此本题目要求使用eBPF技术实现TCP层的性能监控,不限于传统的网络指标,需要探索Linux内核中TCP层有哪些可以利用的数据,要求至少从Linux内核中以下5个处理维度中选取4个维度对TCP性能进行刻画展示:1、数据包连接、传输情况;2、丢包或重传;3、拥塞控制;4、Conncet(三次握手)连接延迟、5、HTTP处理,并且需要采用BCC方式开发,并成功对接到社区LMP项目中。

LMP(Linux microscope)项目插件添加

  • 项目ID: 210520875

  • 难 度:低

  • 支持语言: 中文

  • 项目描述:

    LMP(Linux microscope)是Linux内核之旅社区开发的一款基于BCC(BPF Compiler Collection)的Linux系统性能数据实时展示的web工具,与常规Linux系统性能数据展示工具不同,该项目是一种内核态监控方案,目前在ubuntu18.04上测试通过,内核版本4.15.0。LMP数据提取模块支持多种插件类型,包括BCC插件、CBPF插件、SHELL插件等。目前项目主体架构开发已经完成,但bcc插件数量较少,使得LMP无法发挥出其真正能力,故需要向LMP中添加插件,丰富插件库,更好的支撑项目发展。在BCC现有工具中,对接包括scheduler、Virtual Memory、Sockets、TCP/UDP、VFS、File Systems、Volume Manager、Block Device等子系统的性能监测工具到LMP系统之中。

LMP项目前端网页优化

  • 项目ID: 210520867

  • 难 度:低

  • 支持语言: 中文

  • 项目描述:

    LMP是一个基于BCC(BPF Compiler Collection)的Linux系统性能数据实时展示的web工具,是Linux内核之旅社区项目。LMP项目目前需要优化前端页面,本题目要求采用vue框架,配合后端逻辑实现前端指标展示、指标选取、指标状态展示和性能数据可视化展示功能,要求功能完备,页面美观。

基于eBPF的DDos攻击检测

  • 项目ID: 210520868

  • 难 度:高

  • 支持语言: 中文

  • 项目描述:

    网络安全问题一直是人们最关注的问题之一。ddos攻击仍是最常见、最常用的的一种攻击手段。 由于其使用简单、攻击效果明显能够快速的消耗系统资源,使得正常的服务请求不能够正常访问。因此,如果能够追踪不同的ddos攻击方式在linux系统攻击的过程。提取ddos在攻击过程中表现出的不同的一些行为特征和指标数据,进行检测分析,对系统防御具有重要的意义。eBPF技术在系统追踪、观测、性能调优、安全和网络领域发挥着重要的角色。eBPF技术的出现对ddos攻击的过程进行跟踪观测成为了可能。因此本题目要求通过eBPF技术提取ddos攻击在linux系统的指标数据。设计出相应的检测算法,算法要能够进行ddos攻击的溯源,找到攻击的源头。最后,可以使用xdp技术对攻击的源头进行防御,数据提取功能和检测算法需要对接到LMP项目中。

LMP项目下插件API的优化

  • 项目ID: 210520869

  • 难 度:低

  • 支持语言: 中文

  • 项目描述:

    LMP是一个基于BCC(BPF Compiler Collection)的Linux系统性能数据实时展示的web工具,是Linux内核之旅社区项目。目前LMP项目中支持接入BCC类型的插件,每一个插件需要调用项目提供的API接口才能将性能数据写入到influxdb数据库。本题目要求优化API接口和插件管理,设计出一套较为完善和稳定的API接口,并优化所有的插件管理,例如目录管理等。

NUMA节点的CPU UNCORE共享资源的争用感知与评估

  • 项目ID: 210520848

  • 难 度:高

  • 支持语言: 中文

  • 项目描述:

    NUMA架构是目前商用服务器使用的一种主流架构,其分布式内存设计提高了多处理器系统的可扩展性。但是,NUMA下各种共享资源的争用却影响着应用程序的性能。共享资源竞争主要发生在节点内处理器的UNCORE部分,其包含了三种主要的竞争资源:LLC( Last Level Cache)、 QPI链路和内存控制器(IMC),这三种访存性能事件可以反映节点的访存压力情况。因此,感知NUMA内节点的访存压力情况,对于指导多线程应用程序的优化具有重要作用。本题目首先要求自己设计并实现一种框架,在内核态下从Intel处理器的PMU中读取UNCORE的三种访存性能事件类型(LLC、QPI、IMC)的计数值,并在用户态进行展示。三种类型下具体的访存性能事件的选取由自己选定,所选取的性能事件需要能反映出当前节点的访存压力情况。其次,用户态程序需要依据性能事件计数值评估每个节点的访存压力,并依据压力由高到低将节点进行排序。最后,要求所实现框架能够成功运行。

LMP项目下插件和数据提取功能的优化

  • 项目ID: 210520864

  • 难 度:低

  • 支持语言: 中文

  • 项目描述:

LMP是一个基于BCC(BPF Compiler Collection)的Linux系统性能数据实时展示的web工具,是Linux内核之旅社区项目。目前LMP项目中,插件在执行过程中会直接将性能数据存放到数据存储模块中,因为eBPF的特性,在磁盘IO等场景会出现数据提取和存储死循环的问题,现需要将数据提取和数据存储隔离为两个服务,该功能方案较多,需要提出不同的方案并比较优劣,选取最佳方案实现,在此过程中可以优化LMP插件API。

Linux内核下CPU cache统计及预测

  • 项目ID: 210520865

  • 难 度:高

  • 支持语言: 中文

  • 项目描述:

    缓存的引入,平衡了CPU和内存的处理速度。但随即带来的缓存争用,无疑影响了CPU以及其上运行进程的性能。因此,了解缓存的分布情况,对缓解缓存争用,从而实现CPU利用率最大化和负载均衡等目标,都有着巨大的指导意义。本题首先要求从Linux内核中实时提取到CPU cache相关数据后,经过处理,可以在网页前端展示系统当前的缓存分布情况,并且需要将该功能实现为社区项目LMP的插件,并成功对接到LMP中;其次需要选择一个合适的预测算法,根据当前缓存分布情况,给出下个阶段可能的缓存分布,其中性能数据需要存放在LMP的数据存储模块中,并且需要将该模型对接到社区项目LMP中,并能够成功运行。