# 虚拟内存
传统存储管理方式的特征、缺点:
- 一次性:作业必须一次性全部装入内存后才能开始运行。这会造成两个问题:
- 作业太大时,不能全部装入内存,导致大作业无法运行
- 当大量作业要求运行时,由于内存无法容纳所有作业,因此只有少量作业能运行,导致多道程序并发度下降
- 驻留性:一旦作业被装入内存,就会一直驻留在内存中,直至作业运行结束。事实上,在一个时间段内,只需要访问作业的一小部分数据即可正常运行,这就导致了内存中会驻留大量的、暂时用不到的数据,浪费了宝贵的内存资源
# 虚拟内存的定义和特征
基于局部性原理,在程序装入时,可以将程序中很快会用到的部分装入内存,暂时用不到的部分留在外存,就可以让程序开始执行。
在程序执行过程中,当所访问的信息不在内存时,由操作系统负责将所需信息从外存调入内存,然后继续执行程序。
若内存空间不够,由操作系统负责将内存中暂时用不到的信息换出到外存
在操作系统的管理下,在用户看来似乎有一个比实际内存大得多的内存,这就是虚拟内存(操作系统虚拟性的一个体现,实际的物理内存大小没有变,只是在逻辑上进行了扩充)
虚拟内存的三个主要特征:
- 多次性:无需在作业运行时一次性全部装入内存、而是允许被分成多次调入内存
- 对换性:在作业运行时无需一直常驻内存,而是允许在作业运行过程中,将作业换入、换出
- 虚拟性:在逻辑上扩充了内存的容量,使用户看到的内存容量,远大于实际的容量
# 如何实现虚拟内存
虚拟内存的实现需要建立在离散分配的内容管理方式基础上
- 请求分页存储管理
- 请求分段存储管理
- 请求段页式存储管理
虚拟内存管理方式与传统的非连续分配存储管理方式区别
主要区别
在程序执行过程中,当所访问的信息不在内存时,由操作系统负责将所需的信息从外存调入内存,然后继续执行程序
若内存空间不够,由操作系统负责将内存中暂时用不到的信息换出到外存
操作系统需实现功能:
- 操作系统要提供请求调页 (或请求调段) 功能
- 操作系统要提供页面置换(或段置换)的功能
# 请求分页管理方式
请求分页存储管理与基本分页存储管理的主要区别:
在程序执行过程中,当所访问的信息不在内存时,由操作系统负责将所需的信息从外存调入内存,然后继续执行程序
若内存空间不够,由操作系统负责将内存中暂时用不到的信息换出到外存
# 页表机制
与基本分页管理相比,请求分页管理中,为了实现请求调页,操作系统需要知道每个页面是否已经调入内存,如果还没调入,那么也需要知道该页面在外存中的存放位置
当内存空间不够时,要实现 "页面置换",操作系统需要通过某些指标来决定到底换出哪个页面;有的页面没有被修改,就不用再浪费时间写回外存。有的页面修改过,就需要将外存中的旧数据覆盖,因此,操作系统也需要记录各个页面是否被修改的信息
请求分页存储管理的页表添加了四个字段:
- 状态位(是否已调入内存):0 为没有调入内存,1 为已调入内存
- 访问字段(可记录最近被访问过几次,该记录上次访问的时间,供置换算法选择换出页面时参考)
- 修改位(页面调入内存后是否被修改过)
- 外存地址(页面在外存中的存放位置)
# 缺页中断机构
在请求分页系统中,每当要访问的页面不存在时,便产生一个缺页中断,然后由操作系统的缺页中断处理程序处理中断。
此时缺页的进程阻塞,放入阻塞队列,调页完成后再将其唤醒,放回就绪队列
如果内存中有空闲块,则为进程分配一个空闲块,将所缺页面装入该块,并修改页表中相应的页表项
如果内存中没有空闲块,则由页面置换算法选择一个页面淘汰,若该页面在内存期间被修改过,则需要将其写回外存,未修改过的页面不用写回外存
缺页中断是因为当前执行的指令想要访问的目标页面未调入内存而产生的,因此属于内中断
一条指令在执行过程当中,可能产生多次缺页中断
# 地址变换机构
新增步骤:
- 请求调页(查到页表项时进行判断)
- 页面置换(需要调入页面,但没有空闲内存块时进行)
- 需要修改请求页表中新增的表项
快表中有的页面一定是在内存中的。若某个页面被换出内存,则快表中相应表项也要删除,否则可能访问错误的页面
细节部分:
- 只有 "写指令" 才需要修改 "修改位"。并且,一般来说只需要修改快表中的数据,只有要将快表项删除时才需要写回内存中的慢表。这样可以减少访存次数
- 和普通的中断处理一样,缺页中断处理依然需要保留 CPU 现场
- 需要用某种 "页面置换算法" 来决定一个换出页面
- 换入 / 换出页面都需要启动慢速的 I/O 操作,可见,如果换入 / 换出太频繁,会有很大的开销
- 页面调入内存后,需要修改慢表,同时也需要将表项复制到快表中。
- 在具有快表机构的请求分页系统中,访问一个逻辑地址时,若发生缺页,则地址变换步骤是:
- 查快表(未命中)—— 查慢表(发现未调入内存)—— 调页(调入的页面对应的表项会直接加入快表)—— 查快表(命中)—— 访问目标内存单元
# 页面置换算法
# 最佳置换算法 OPT
最佳置换算法:每次选择淘汰的页面将是以后永不使用,或者在最长的时间内不再被访问的页面。这样可以保证最低的缺页率
# 先进先出置换算法 FIFO
先进先出置换算法:每次选择淘汰的页面是最早进入内存的页面
实现方法:把调入内存的页面根据调入的先后顺序排成一个队列,需要换出页面时选择队头页面即可。队列的最大长度取决于系统为进程分配了多少个内存块
Belady 现象:当为进程分配的物理块数增大时,缺页次数不减反增的异常现象
只有 FIFO 算法会产生 Belady 现象。另外,FIFO 算法虽然实现简单,但是该算法与进程实际运行时规律不适应,因为先进先入的页面也有可能最经常被访问。因此,算法性能差
# 最近最久未使用置换算法(LRU)
最近最久未使用置换算法:每次淘汰的页面时最近最久未使用的页面
实现方法:赋予每个页面对应的页表项中,用访问字段记录该页面自上次被访问以来所经历的时间 t。当需要淘汰一个页面时,选择现有页面中 t 值最大的,即最近最久未使用的页面
在手动做题时,若需要淘汰页面,可以逆向检查此时在内存中的几个页面号,在逆向扫描过程中最后一个出现的页号就是要淘汰的页面。
该算法的实现需要专门的硬件支持,虽然算法性能好,但是实现困难,开销大
# 时钟置换算法(CLOCK)
最佳置换算法性能最好,但无法实现;先进先出置换算法实现简单,但算法性能差;最近最久未使用置换算法性能好,是最接近 OPT 算法性能的,但是实现起来需要专门的硬件支持,算法开销大
时钟置换算法是一种性能和开销比较均衡的算法,又称 CLOCK 算法,或最近未使用算法(NRU)
简单的 CLOCK 算法实现方法:为每个页面设置一个访问位,再将内存中的页面都通过链接指针链接成一个循环队列。当某页被访问时,其访问位置为 1。当需要淘汰一个页面时,只需检查页的访问位。如果是 0,就选择该页换出;如果是 1,则将它置成 0,暂不换出,继续检查下一个页面,若第一轮扫描中所有页面都是 1,则将这些页面的访问位依次置为 0 后,再进行第二轮扫描(第二轮扫描一定会有访问位为 0 的页面,因此简单的 CLOCK 算法选择一个淘汰页面最多会经过两轮扫描)
# 改进的时钟置换算法
简单的时钟置换算法仅考虑一个页面最近是否被访问过。事实上,如果被淘汰的页面没有被修改过,就不需要执行 I/O 操作写回外存。只有被淘汰的页面被修改时,才需要写回外存。
因此,除了考虑一个页面最近有没有被访问过之外,操作系统还应考虑页面有没有被修改过。在其他条件都相同时,应优先淘汰没有修改过的页面,避免 I/O 操作。这就是改进的时钟置换算法的思想
修改位 = 0,表示页面没有被修改过,修改位 = 1,表示页面被修改过
用(访问位,修改位)的形式表示各页面的状态
算法规则:将所有可能被置换的页面排成一个循环队列
第一轮:从当前位置开始扫描到第一个 (0,0) 的帧用于替换。本轮扫描不修改任何标志位
第二轮:若第一轮扫描失败,则重新扫描,查找第一个 (0,1) 的帧用于替换。本轮将所有扫描过的帧访问位设为 0
第三轮:若第二轮扫描失败,则重新扫描,查找第一个 (0,0) 的帧用于替换。本轮扫描不修改任何标志位
第四轮:若第三轮扫描失败,则重新扫描,查找第一个 (0,1) 的帧用于替换。
改进型 CLOCK 置换算法选择一个淘汰页面最多会进行四轮扫描
第一优先级:最近没访问,且没有修改的页面
第二优先级:最近没访问,但修改过的页面
第三优先级:最近访问了,但没有修改的页面
第四优先级:最近访问了,且有修改的页面
# 页面分配策略、抖动、工作集
# 页面分配、置换策略
驻留集:指请求分页存储管理中给进程分配的物理块的集合
在采用了虚拟存储技术的系统中,驻留集大小一般小于进程的总大小
若驻留集太小,会导致缺页频繁,系统要花大量时间来处理缺页,实际用于进程推进的时间很少;驻留集太大又会导致多道程序并发度下降,资源利用率降低。所以应选择一个合适的驻留集大小
固定分配:操作系统为每个进程分配一组固定数目的物理块,在进程运行期间不再改变,即:驻留集大小不变
可变分配:先为每个进程分配一定数目的物理块,在进程运行过程期间,可根据情况做适当的增加或减少,即,驻留集大小可变
局部置换:发生缺页时只能选进程自己的物理块进行置换
全局置换:可以将操作系统保留的空闲物理块分配给缺页进程,也可以将别的进程持有的物理块置换到外存,再分配给缺页进程
注意:全局置换意味着一个进程拥有的物理块数量必然会改变,因此不可能是固定分配
固定分配局部置换
系统为每个进程分配一定数量的物理块,在整个运行期间都不改变。若进程在运行中发生缺页,则只能从该进程在内存中的页面中选出一页换出,然后再调入需要的页面,这种策略的缺点是:很难在刚开始就确定应为每个进程分配多少个物理块才算合理。(采用这种策略的系统可以根据进程大小、优先级,或是根据程序员给出的参数来确定为一个进程分配的内存块数)
可变分配全局置换
刚开始会为每个进程分配一定数量的物理块。操作系统会保持一个空闲物理块队列。当某进程发生缺页时,从空闲物理块中取出一块分配给该进程;若无空闲物理块,则可选择一个未锁定的页面换出外存,再将该物理块分配给缺页的进程。采用这种策略时,只要某进程发生缺页,都将获得新的物理块,仅当空闲物理块用完时,系统才选择一个未锁定的页面调出,被选择调出的页可能是系统中任何一个进程中的页,因此这个被选中的进程拥有的物理块会减少,缺页率会增加。(系统会锁定一些页面,这些页面中的内容不能置换出外存,如重要的内核数据可以设为锁定)
可变分配局部置换
刚开始为每个进程分配一定数量的物理块。当某进程发生缺页时,只允许从该进程自己的物理块中选出一个进行换出外存。如果进程在运行中频繁地缺页,系统会为该进程多分配几个物理块,直至该进程缺页率趋势适当程度;反之,如果进程在运行过程中缺页率特别低,则可适当减少分配给该进程的物理块
可变分配全局置换:只要缺页就分配新的物理块
可变分配局部置换:要根据发生缺页的频率来动态地增加或减少进程的物理块
# 何时调入页面
预调页策略:根据局部性原理(主要指空间局部性),一次调入若干个相邻的页面可能比一次调入一个页面更高效。但如果提前调入的页面中大多数都没被访问过,则又是低效的。因此可以预测不久之后可能访问到的页面,将它们预先调入内存,但目前预测成功率只有 50% 左右。故这种策略主要用于进程的首次调入(运行前调入),由程序员指出应该先调入哪些部分
请求调页策略:进程在运行期间发现缺页时才将所缺页面调入内存。由这种策略调入的页面一定会被访问到,但由于每次只能调入一页,而每次调页都要磁盘 I/O 操作,因此 I/O 开销较大
# 从何处调入页面
外存:
对换区:读 / 写速度更快,采用连续分配方式
文件区:读 / 写速度更慢,采用离散分配方式
1、系统拥有足够的对换区空间:页面的调入、调出都是在内存与对换区之间进行,这样可以保证页面的调入、调出速度很快。在进程运行前,需将进程相关的数据从文件区复制到对换区
2、系统缺少足够的对换区空间:凡是不会被修改的数据都直接从文件区调入,由于这些页面不会被修改,因此换出时不必写回磁盘,下次需要时再从文件区调入即可。对于可能被修改的部分,换出时需写回磁盘对换区,下次需要时再从对换区调入
3、UNIX 方式:运行之前进程有关的数据全部放在文件区,故未使用过的页面,都可以从文件区调入。若被使用过的页面需要换出,则写回对换区,下次需要时从对换区调入
# 抖动(颠簸)现象
刚刚换出的页面马上又要换入内存,刚刚换入的页面马上又要换出外存,这种频繁的页面调度行为称为抖动,或颠簸。产生抖动的主要原因是进程频繁访问的页面数目高于可用的物理块数(分配给进程的物理块不够)
工作集:指在某段时间间隔里,进程实际访问页面的集合
操作系统会根据窗口尺寸计算工作集
工作集大小可能小于窗口尺寸,实际应用中,操作系统可以统计进程的工作集大小,根据工作集大小给进程分配若干内存块。
一般来说,驻留集的大小不能小于工作集大小,否则进程运行过程中将频繁缺页
拓展:基于局部性原理可知,进程在一段时间内访问的页面与不久之后会访问的页面是由相关性的。因此,可以根据进程近期访问的页面集合(工作集)来设计一种页面置换算法 —— 选择一个不在工作集中的页面进行淘汰
# 内存映射文件
内存映射文件 —— 操作系统向上层程序员提供的功能(系统调用)
- 方便程序员访问文件数据
- 方便多个进程共享同一个文件
传统的文件访问方式
open 系统调用 —— 打开文件
seek 系统调用 —— 将读写指针移到某个位置
read 系统调用 —— 从读写指针所指位置读入若干数据(从磁盘读入内容)
write 系统调用 —— 将内存中的指定数据,写回磁盘(根据读写指针确定要写回什么位置)
内存映射文件
- open 系统调用 —— 打开文件
- mmap 系统调用 —— 将文件映射到进程的虚拟地址空间
特性:
以访问内存的方式访问文件数据
以文件数据的读入、写出由操作系统自动完成
进程关闭文件时,操作系统自动将文件被修改的数据写回磁盘
多个进程可以映射同一个文件,实现共享
在物理内存中,一个文件对应同一份数据,当一个进程修改文件数据时,另一个进程可以立马 "看到"
优点:
- 程序员编程更简单,已建立映射的文件,只需按访问内存的方式读写即可
- 文件数据的读入 / 写出完全由操作系统负责优化