硬盤存儲數(shù)據(jù)是根據(jù)電、磁轉換原理實現(xiàn)的。硬盤由一個或幾個表面鍍有磁性物質(zhì)的金屬或玻璃等物質(zhì)盤片以及盤片兩面所安裝的磁頭和相應的控制電路組成(圖1),其中盤片和磁頭密封在無塵的金屬殼中。
硬盤工作時,盤片以設計轉速高速旋轉,設置在盤片表面的磁頭則在電路控制下徑向移動到指定位置然后將數(shù)據(jù)存儲或讀取出來。當系統(tǒng)向硬盤寫入數(shù)據(jù)時,磁頭中“寫數(shù)據(jù)”電流產(chǎn)生磁場使盤片表面磁性物質(zhì)狀態(tài)發(fā)生改變,并在寫電流磁場消失后仍能保持,這樣數(shù)據(jù)就存儲下來了;當系統(tǒng)從硬盤中讀數(shù)據(jù)時,磁頭經(jīng)過盤片指定區(qū)域,盤片表面磁場使磁頭產(chǎn)生感應電流或線圈阻抗產(chǎn)生變化,經(jīng)相關電路處理后還原成數(shù)據(jù)。因此只要能將盤片表面處理得更平滑、磁頭設計得更精密以及盡量提高盤片旋轉速度,就能造出容量更大、讀寫數(shù)據(jù)速度更快的硬盤。這是因為盤片表面處理越平、轉速越快就能越使磁頭離盤片表面越近,提高讀、寫靈敏度和速度;磁頭設計越小越精密就能使磁頭在盤片上占用空間越小,使磁頭在一張盤片上建立更多的磁道以存儲更多的數(shù)據(jù)。
二、硬盤的邏輯結構:
硬盤由很多盤片(platter)組成,每個盤片的每個面都有一個讀寫磁頭。如果有N個盤片。就有2N個面,對應2N個磁頭(Heads),從0、1、2開始編號。每個盤片被劃分成若干個同心圓磁道(邏輯上的,是不可見的。)每個盤片的劃分規(guī)則通常是一樣的。這樣每個盤片的半徑均為固定值R的同心圓再邏輯上形成了一個以電機主軸為軸的柱面(Cylinders),從外至里編號為0、1、2……每個盤片上的每個磁道又被劃分為幾十個扇區(qū)(Sector),通常的容量是512byte,并按照一定規(guī)則編號為1、2、3……形成Cylinders×Heads×Sector個扇區(qū)。這三個參數(shù)即是硬盤的物理參數(shù)。我們下面的很多實踐需要深刻理解這三個參數(shù)的意義。
三、磁盤引導原理:
3.1 MBR(master boot record)扇區(qū):
計算機在按下power鍵以后,開始執(zhí)行主板bios程序。進行完一系列檢測和配置以后。開始按bios中設定的系統(tǒng)引導順序引導系統(tǒng)。假定現(xiàn)在是硬盤。Bios執(zhí)行完自己的程序后如何把執(zhí)行權交給硬盤呢。交給硬盤后又執(zhí)行存儲在哪里的程序呢。其實,稱為mbr的一段代碼起著舉足輕重的作用。MBR(master boot record),即主引導記錄,有時也稱主引導扇區(qū)。位于整個硬盤的0柱面0磁頭1扇區(qū)(可以看作是硬盤的第一個扇區(qū)),bios在執(zhí)行自己固有的程序以后就會jump到mbr中的第一條指令。將系統(tǒng)的控制權交由mbr來執(zhí)行。在總共512byte的主引導記錄中,MBR的引導程序占了其中的前446個字節(jié)(偏移0H~偏移1BDH),隨后的64個字節(jié)(偏移1BEH~偏移1FDH)為DPT(Disk PartitionTable,硬盤分區(qū)表),最后的兩個字節(jié)“55 AA”(偏移1FEH~偏移1FFH)是分區(qū)有效結束標志。
MBR不隨操作系統(tǒng)的不同而不同,意即不同的操作系統(tǒng)可能會存在相同的MBR,即使不同,MBR也不會夾帶操作系統(tǒng)的性質(zhì)。具有公共引導的特性。
我們來分析一段mbr。下面是用winhex查看的一塊希捷120GB硬盤的mbr。
你的硬盤的MBR引導代碼可能并非這樣。不過即使不同,所執(zhí)行的功能大體是一樣的。這里找wowocock關于磁盤mbr的反編譯,已加了詳細的注釋,感興趣可以細細研究一下。
我們看DPT部分。操作系統(tǒng)為了便于用戶對磁盤的管理。加入了磁盤分區(qū)的概念。即將一塊磁盤邏輯劃分為幾塊。磁盤分區(qū)數(shù)目的多少只受限于C~Z的英文字母的數(shù)目,在上圖DPT共64個字節(jié)中如何表示多個分區(qū)的屬性呢?microsoft通過鏈接的方法解決了這個問題。在DPT共64個字節(jié)中,以16個字節(jié)為分區(qū)表項單位描述一個分區(qū)的屬性。也就是說,第一個分區(qū)表項描述一個分區(qū)的屬性,一般為基本分區(qū)。第二個分區(qū)表項描述除基本分區(qū)外的其余空間,一般而言,就是我們所說的擴展分區(qū)。這部分的大體說明見表1。
注:上表中的超過1字節(jié)的數(shù)據(jù)都以實際數(shù)據(jù)顯示,就是按高位到地位的方式顯示。存儲時是按低位到高位存儲的。兩者表現(xiàn)不同,請仔細看清楚。以后出現(xiàn)的表,圖均同。
也可以在winhex中看到這些參數(shù)的意義:
說明: 每個分區(qū)表項占用16個字節(jié),假定偏移地址從0開始。如圖3的分區(qū)表項3。分區(qū)表項4同分區(qū)表項3。
1、0H偏移為活動分區(qū)是否標志,只能選00H和80H。80H為活動,00H為非活動。其余值對microsoft而言為非法值。
2、重新說明一下(這個非常重要):大于1個字節(jié)的數(shù)被以低字節(jié)在前的存儲格式格式(little endian format)或稱反字節(jié)順序保存下來。低字節(jié)在前的格式是一種保存數(shù)的方法,這樣,最低位的字節(jié)最先出現(xiàn)在十六進制數(shù)符號中。例如,相對扇區(qū)數(shù)字段的值0x3F000000的低字節(jié)在前表示為0x0000003F。這個低字節(jié)在前的格式數(shù)的十進制數(shù)為63。
3、系統(tǒng)在分區(qū)時,各分區(qū)都不允許跨柱面,即均以柱面為單位,這就是通常所說的分區(qū)粒度。有時候我們分區(qū)是輸入分區(qū)的大小為7000M,分出來卻是6997M,就是這個原因。 偏移2H和偏移6H的扇區(qū)和柱面參數(shù)中,扇區(qū)占6位(bit),柱面占10位(bit),以偏移6H為例,其低6位用作扇區(qū)數(shù)的二進制表示。其高兩位做柱面數(shù)10位中的高兩位,偏移7H組成的8位做柱面數(shù)10位中的低8位。由此可知,實際上用這種方式表示的分區(qū)容量是有限的,柱面和磁頭從0開始編號,扇區(qū)從1開始編號,所以最多只能表示1024個柱面×63個扇區(qū)×256個磁頭×512byte=8455716864byte。即通常的8.4GB(實際上應該是7.8GB左右)限制。實際上磁頭數(shù)通常只用到255個(由匯編語言的尋址寄存器決定),即使把這3個字節(jié)按線性尋址,依然力不從心。 在后來的操作系統(tǒng)中,超過8.4GB的分區(qū)其實已經(jīng)不通過C/H/S的方式尋址了。而是通過偏移CH~偏移FH共4個字節(jié)32位線性扇區(qū)地址來表示分區(qū)所占用的扇區(qū)總數(shù)。可知通過4個字節(jié)可以表示2^32個扇區(qū),即2TB=2048GB,目前對于大多數(shù)計算機而言,這已經(jīng)是個天文數(shù)字了。在未超過8.4GB的分區(qū)上,C/H/S的表示方法和線性扇區(qū)的表示方法所表示的分區(qū)大小是一致的。也就是說,兩種表示方法是協(xié)調(diào)的。即使不協(xié)調(diào),也以線性尋址為準。(可能在某些系統(tǒng)中會提示出錯)。超過8.4GB的分區(qū)結束C/H/S一般填充為FEH FFH FFH。即C/H/S所能表示的最大值。有時候也會用柱面對1024的模來填充。不過這幾個字節(jié)是什么其實都無關緊要了。
雖然現(xiàn)在的系統(tǒng)均采用線性尋址的方式來處理分區(qū)的大小。但不可跨柱面的原則依然沒變。本分區(qū)的扇區(qū)總數(shù)加上與前一分區(qū)之間的保留扇區(qū)數(shù)目依然必須是柱面容量的整數(shù)倍。(保留扇區(qū)中的第一個扇區(qū)就是存放分區(qū)表的MBR或虛擬MBR的扇區(qū),分區(qū)的扇區(qū)總數(shù)在線性表示方式上是不計入保留扇區(qū)的。如果是第一個分區(qū),保留扇區(qū)是本分區(qū)前的所有扇區(qū)。
附:分區(qū)表類型標志如圖4
3.2 擴展分區(qū)
擴展分區(qū)中的每個邏輯驅(qū)動器都存在一個類似于MBR的擴展引導記錄( Extended Boot Record, EBR),也有人稱之為虛擬mbr或擴展mbr,意思是一樣的。擴展引導記錄包括一個擴展分區(qū)表和該扇區(qū)的標簽。擴展引導記錄將記錄只包含擴展分區(qū)中每個邏輯驅(qū)動器的第一個柱面的第一面的信息。一個邏輯驅(qū)動器中的引導扇區(qū)一般位于相對扇區(qū)32或63。但是,如果磁盤上沒有擴展分區(qū),那么就不會有擴展引導記錄和邏輯驅(qū)動器。第一個邏輯驅(qū)動器的擴展分區(qū)表中的第一項指向它自身的引導扇區(qū)。第二項指向下一個邏輯驅(qū)動器的EBR。如果不存在進一步的邏輯驅(qū)動器,第二項就不會使用,而且被記錄成一系列零。如果有附加的邏輯驅(qū)動器,那么第二個邏輯驅(qū)動器的擴展分區(qū)表的第一項會指向它本身的引導扇區(qū)。第二個邏輯驅(qū)動器的擴展分區(qū)表的第二項指向下一個邏輯驅(qū)動器的EBR。擴展分區(qū)表的第三項和第四項永遠都不會被使用。
通過一幅4分區(qū)的磁盤結構圖可以看到磁盤的大致組織形式。如圖5:
關于擴展分區(qū),如圖6所示,擴展分區(qū)中邏輯驅(qū)動器的擴展引導記錄是一個連接表。該圖顯示了一個擴展分區(qū)上的三個邏輯驅(qū)動器,說明了前面的邏輯驅(qū)動器和最后一個邏輯驅(qū)動器之間在擴展分區(qū)表中的差異。
除了擴展分區(qū)上最后一個邏輯驅(qū)動器外,表2中所描述的擴展分區(qū)表的格式在每個邏輯驅(qū)動器中都是重復的:第一個項標識了邏輯驅(qū)動器本身的引導扇區(qū),第二個項標識了下一個邏輯驅(qū)動器的EBR。最后一個邏輯驅(qū)動器的擴展分區(qū)表只會列出它本身的分區(qū)項。最后一個擴展分區(qū)表的第二個項到第四個項被使用。
擴展分區(qū)表項中的相對扇區(qū)數(shù)字段所顯示的是從擴展分區(qū)開始到邏輯驅(qū)動器中第一個扇區(qū)的位移的字節(jié)數(shù)??偵葏^(qū)數(shù)字段中的數(shù)是指組成該邏輯驅(qū)動器的扇區(qū)數(shù)目??偵葏^(qū)數(shù)字段的值等于從擴展分區(qū)表項所定義的引導扇區(qū)到邏輯驅(qū)動器末尾的扇區(qū)數(shù)。
有時候在磁盤的末尾會有剩余空間,剩余空間是什么呢?我們前面說到,分區(qū)是以1柱面的容量為分區(qū)粒度的,那么如果磁盤總空間不是整數(shù)個柱面的話,不夠一個柱面的剩下的空間就是剩余空間了,這部分空間并不參與分區(qū),所以一般無法利用。照道理說,磁盤的物理模式?jīng)Q定了磁盤的總容量就應該是整數(shù)個柱面的容量,為什么會有不夠一個柱面的空間呢。在我的理解看來,本來現(xiàn)在的磁盤為了更大的利用空間,一般在物理上并不是按照外圍的扇區(qū)大于里圈的扇區(qū)這種管理方式,只是為了與操作系統(tǒng)兼容而抽象出來CHS??赡芷鋵嶋H空間 zymail@vip.sina.com
四、FAT分區(qū)原理
先來一幅結構圖:
現(xiàn)在我們著重研究FAT格式分區(qū)內(nèi)數(shù)據(jù)是如何存儲的。FAT分區(qū)格式是MICROSOFT最早支持的分區(qū)格式,依據(jù)FAT表中每個簇鏈的所占位數(shù)(有關概念,后面會講到)分為fat12、fat16、fat32三種格式”變種”,但其基本存儲方式是相似的。
仔細研究圖7中的fat16和fat32分區(qū)的組成結構。下面依次解釋DBR、FAT1、FAT2、根目錄、數(shù)據(jù)區(qū)、剩余扇區(qū)的概念。提到的地址如無特別提示均為分區(qū)內(nèi)部偏移。
4.1 關于DBR.
DBR區(qū)(DOS BOOT RECORD)即操作系統(tǒng)引導記錄區(qū)的意思,通常占用分區(qū)的第0扇區(qū)共512個字節(jié)(特殊情況也要占用其它保留扇區(qū),我們先說第0扇)。在這512個字節(jié)中,其實又是由跳轉指令,廠商標志和操作系統(tǒng)版本號,BPB(BIOS Parameter Block),擴展BPB,os引導程序,結束標志幾部分組成。 以用的最多的FAT32為例說明分區(qū)DBR各字節(jié)的含義。見圖8。
圖8的對應解釋見表3
圖9給出了winhex對圖8 DBR的相關參數(shù)解釋:
根據(jù)上邊圖例,我們來討論DBR各字節(jié)的參數(shù)意義。
MBR將CPU執(zhí)行轉移給引導扇區(qū),因此,引導扇區(qū)的前三個字節(jié)必須是合法的可執(zhí)行的基于x86的CPU指令。這通常是一條跳轉指令,該指令負責跳過接下來的幾個不可執(zhí)行的字節(jié)(BPB和擴展BPB),跳到操作系統(tǒng)引導代碼部分。
跳轉指令之后是8字節(jié)長的OEM ID,它是一個字符串, OEM ID標識了格式化該分區(qū)的操作系統(tǒng)的名稱和版本號。為了保留與MS-DOS的兼容性,通常Windows 2000格式化該盤是在FAT16和FAT32磁盤上的該字段中記錄了“MSDOS 5.0”,在NTFS磁盤上(關于ntfs,另述),Windows 2000記錄的是“NTFS”。通常在被Windows 95格式化的磁盤上OEM ID字段出現(xiàn)“MSWIN4.0”,在被Windows 95 OSR2和Windows 98格式化的磁盤上OEM ID字段出現(xiàn)“MSWIN4.1”。
接下來的從偏移0x0B開始的是一段描述能夠使可執(zhí)行引導代碼找到相關參數(shù)的信息。通常稱之為BPB(BIOS Parameter Block),BPB一般開始于相同的位移量,因此,標準的參數(shù)都處于一個已知的位置。磁盤容量和幾何結構變量都被封在BPB之中。由于引導扇區(qū)的第一部分是一個x86跳轉指令。因此,將來通過在BPB末端附加新的信息,可以對BPB進行擴展。只需要對該跳轉指令作一個小的調(diào)整就可以適應BPB的變化。圖9已經(jīng)列出了項目的名稱和取值,為了系統(tǒng)的研究,針對圖8,將FAT32分區(qū)格式的BPB含義和擴展BPB含義釋義為表格,見表4和表5。
DBR的偏移0x5A開始的數(shù)據(jù)為操作系統(tǒng)引導代碼。這是由偏移0x00開始的跳轉指令所指向的。在圖8所列出的偏移0x00~0x02的跳轉指令”EB 58 90″清楚地指明了OS引導代碼的偏移位置。jump 58H加上跳轉指令所需的位移量,即開始于0x5A。此段指令在不同的操作系統(tǒng)上和不同的引導方式上,其內(nèi)容也是不同的。大多數(shù)的資料上都說win98,構建于fat基本分區(qū)上的win2000,winxp所使用的DBR只占用基本分區(qū)的第0扇區(qū)。他們提到,對于fat32,一般的32個基本分區(qū)保留扇區(qū)只有第0扇區(qū)是有用的。實際上,以FAT32構建的操作系統(tǒng)如果是win98,系統(tǒng)會使用基本分區(qū)的第0扇區(qū)和第2扇區(qū)存儲os引導代碼;以FAT32構建的操作系統(tǒng)如果是win2000或winxp,系統(tǒng)會使用基本分區(qū)的第0扇區(qū)和第0xC扇區(qū)(win2000或winxp,其第0xC的位置由第0扇區(qū)的0xAB偏移指出)存儲os引導代碼。所以,在fat32分區(qū)格式上,如果DBR一扇區(qū)的內(nèi)容正確而缺少第2扇區(qū)(win98系統(tǒng))或第0xC扇區(qū)(win2000或winxp系統(tǒng)),系統(tǒng)也是無法啟動的。如果自己手動設置NTLDR雙系統(tǒng),必須知道這一點。
DBR扇區(qū)的最后兩個字節(jié)一般存儲值為0x55AA的DBR有效標志,對于其他的取值,系統(tǒng)將不會執(zhí)行DBR相關指令。上面提到的其他幾個參與os引導的扇區(qū)也需以0x55AA為合法結束標志。
FAT16 DBR:
FAT32中DBR的含義大致如此,對于FAT12和FAT16其基本意義類似,只是相關偏移量和參數(shù)意義有小的差異,F(xiàn)AT格式的區(qū)別和來因,以后會說到,此處不在多說FAT12與FAT16。我將FAT16的扇區(qū)參數(shù)意義列表。感興趣的朋友自己研究一下,和FAT32大同小異的。
4.2 關于保留扇區(qū)
在上述FAT文件系統(tǒng)DBR的偏移0x0E處,用2個字節(jié)存儲保留扇區(qū)的數(shù)目。所謂保留扇區(qū)(有時候會叫系統(tǒng)扇區(qū),隱藏扇區(qū)),是指從分區(qū)DBR扇區(qū)開始的僅為系統(tǒng)所有的扇區(qū),包括DBR扇區(qū)。在FAT16文件系統(tǒng)中,保留扇區(qū)的數(shù)據(jù)通常設置為1,即僅僅DBR扇區(qū)。而在FAT32中,保留扇區(qū)的數(shù)據(jù)通常取為32,有時候用Partition Magic分過的FAT32分區(qū)會設置36個保留扇區(qū),有的工具可能會設置63個保留扇區(qū)。
FAT32中的保留扇區(qū)除了磁盤總第0扇區(qū)用作DBR,總第2扇區(qū)(win98系統(tǒng))或總第0xC扇區(qū)(win2000,winxp)用作OS引導代碼擴展部分外,其余扇區(qū)都不參與操作系統(tǒng)管理與磁盤數(shù)據(jù)管理,通常情況下是沒作用的。操作系統(tǒng)之所以在FAT32中設置保留扇區(qū),是為了對DBR作備份或留待以后升級時用。FAT32中,DBR偏移0x34占2字節(jié)的數(shù)據(jù)指明了DBR備份扇區(qū)所在,一般為0x06,即第6扇區(qū)。當FAT32分區(qū)DBR扇區(qū)被破壞導致分區(qū)無法訪問時??梢杂玫?扇區(qū)的原備份替換第0扇區(qū)來找回數(shù)據(jù)。
4.3 FAT表和數(shù)據(jù)的存儲原則
FAT表(File Allocation Table 文件分配表),是Microsoft在FAT文件系統(tǒng)中用于磁盤數(shù)據(jù)(文件)索引和定位引進的一種鏈式結構。假如把磁盤比作一本書,F(xiàn)AT表可以認為相當于書中的目錄,而文件就是各個章節(jié)的內(nèi)容。但FAT表的表示方法卻與目錄有很大的不同。
在FAT文件系統(tǒng)中,文件的存儲依照FAT表制定的簇鏈式數(shù)據(jù)結構來進行。同時,F(xiàn)AT文件系統(tǒng)將組織數(shù)據(jù)時使用的目錄也抽象為文件,以簡化對數(shù)據(jù)的管理。
★存儲過程假想:
我們模擬對一個分區(qū)存儲數(shù)據(jù)的過程來說明FAT文件系統(tǒng)中數(shù)據(jù)的存儲原則。
假定現(xiàn)在有一個空的完全沒有存放數(shù)據(jù)的磁盤,大小為100KB,我們將其想象為線形的空間地址。為了存儲管理上的便利,我們?nèi)藶榈膶⑦@100KB的空間均分成100份,每份1KB。我們來依次存儲這樣幾個文件:A.TXT(大小10KB),B.TXT(大小53.6KB),C.TXT(大小20.5KB)。
最起碼能夠想到,我們可以順序的在這100KB空間中存放這3個文件。同時不要忘了,我們還要記下他們的大小和開始的位置,這樣下次要用時才能找的到,這就像是目錄。為了便于查找,我們假定用第1K的空間來存儲他們的特征(屬性)。還有,我們設計的存儲單位是1KB,所以,A.TXT我們需要10個存儲單位(為了說明方便,我們把存儲單位叫做“簇”吧。也能少打點字,呵呵。),B.TXT需要54個簇,C.TXT需要21個簇。可能有人會說B.TXT和C.TXT不是各自浪費了不到1簇的空間嗎?干嘛不讓他們緊挨著,不是省地方嗎?我的回答是,如果按照這樣的方式存儲,目錄中原本只需要記下簇號,現(xiàn)在還需要記下簇內(nèi)的偏移,這樣會增加目錄的存儲量,而且存取沒有了規(guī)則,讀取也不太方便,是得不償失的。
根據(jù)上面所說的思想,我們設計了這樣的圖4.3.1所示的存儲方式。
我們再考慮如何來寫這三個文件的目錄。對于每個文件而言,一定要記錄的有:文件名,開始簇,大小,創(chuàng)建日期、時間,修改日期、時間,文件的讀寫屬性等。這里大小能不能用結束簇來計算呢?一定不能,因為文件的大小不一定就是整數(shù)個簇的大小,否則的話像B.TXT的內(nèi)容就是54KB的內(nèi)容了,少了固然不行,可多了也是不行的。那么我們怎么記錄呢?可以想象一下。為了管理上的方便,我們用數(shù)據(jù)庫的管理方式來管理我們的目錄。于是我把1KB再分成10份,假定開始簇號為0,定義每份100B的各個位置的代表含義如圖4.3.2
這樣設計的結構絕對可以對文件進行正確的讀寫了。接著讓我們設計的文件系統(tǒng)工作吧。先改動個文件,比如A.TXT,增加點內(nèi)容吧!咦?增加后往哪里放呀,雖然存儲塊的后面有很多空間,但緊隨其后B.TXT的數(shù)據(jù)還頂著呢?要是把A.TXT移到后邊太浪費處理資源,而且也不一定解決問題。這個問題看來暫時解決不了。
那我們換個操作,把B.txt刪了,b.txt的空間隨之釋放。這時候空間如圖4.3.3,目錄如圖4.3.4
這個操作看來還可以,我們接著做,在存入一個文件D.txt(大小為60.3KB),總共100簇的空間只用了31簇,還有68簇剩余,按說能放下??墒??往那里放呢?沒有61個連續(xù)的空間了,目錄行沒辦法寫了,看來無連續(xù)塊存儲暫時也不行。
你一定能夠想到我們可以在連續(xù)空間不夠或增加文件長度的時候轉移影響我們操作的其他文件,從而騰出空間來,但我要問你,那不是成天啥也不要干了,就是倒騰東西了嗎?
看來我們設計的文件系統(tǒng)有致命的漏洞,怎么解決呢?其實可以這樣解決:
首先我們允許文件的不連續(xù)存儲。目錄中依然只記錄開始簇和文件的大小。那么我們怎么記錄文件占用那些簇呢,以文件映射簇不太方便,因為文件名是不固定的。我們換個思想,可以用簇來映射文件,在整個存儲空間的前部留下幾簇來記錄數(shù)據(jù)區(qū)中數(shù)據(jù)與簇號的關系。對于上例因為總空間也不大,所以用前部的1Kb的空間來記錄這種對應,假設3個文件都存儲,空間分配如圖4.3.5,同時修改一下目錄,如圖4.3.6
第一簇用來記錄數(shù)據(jù)區(qū)中每一簇的被占用情況,暫時稱其為文件分配表。結合文件分配表和文件目錄就可以達到完全的文件讀取了。我們想到,把文件分配表做成一個數(shù)據(jù)表,以圖4.3.7的形式記錄簇與數(shù)據(jù)的對應。
用圖4.3.7的組織方式是完全可以實現(xiàn)對文件占有簇的記錄的。但還不夠效率。比如文件名在文件分配表中記錄太多,浪費空間,而實際上在目錄中已經(jīng)記錄了文件的開始簇了。所以可以改良一下,用鏈的方式來存放占有簇的關系,變成圖4.3.8的組織方式。
參照圖4.3.8來理解一下文件分配表的意義。如文件a.txt我們根據(jù)目錄項中指定的a.txt的首簇為2,然后找到文件分配表的第2簇記錄,上面登記的是3,我們就能確定下一簇是3。找到文件分配表的第3簇記錄,上面登記的是4,我們就能確定下一簇是4……直到指到第11簇,發(fā)現(xiàn)下一個指向是FF,就是結束。文件便絲毫無誤讀取完畢。
我們再看上面提到的第三種情況,就是將b.txt刪除以后,存入一個大小為60.3KB的d.txt。利用簇鏈可以很容易的實現(xiàn)。實現(xiàn)后的磁盤如圖4.3.9 4.3.10 4.3.11
上面是我們對文件存儲的一種假設,也該揭開謎底的時候了。上面的思想其實就是fat文件系統(tǒng)的思想的精髓(但并不是,尤其像具體的參數(shù)的意義與我們所舉的例子是完全不同的。請忘掉上邊細節(jié),努力記憶下邊)。
★FAT16存儲原理:
當把一部分磁盤空間格式化為fat文件系統(tǒng)時,fat文件系統(tǒng)就將這個分區(qū)當成整塊可分配的區(qū)域進行規(guī)劃,以便于數(shù)據(jù)的存儲。一般來講,其劃分形式如圖7所示。我們把FAT16部分提取出來,詳細描述一下:
FAT16是Microsoft較早推出的文件系統(tǒng),具有高度兼容性,目前仍然廣泛應用于個人電腦尤其是移動存儲設備中,F(xiàn)AT16簡單來講由圖4.3.12所示的6部分組成(主要是前5部分)。引導扇區(qū)(DBR)我們已經(jīng)說過,FAT16在DBR之后沒有留有任何保留扇區(qū),其后緊隨的便是FAT表。FAT表是FAT16用來記錄磁盤數(shù)據(jù)區(qū)簇鏈結構的。像前面我們說過的例子一樣,F(xiàn)AT將磁盤空間按一定數(shù)目的扇區(qū)為單位進行劃分,這樣的單位稱為簇。通常情況下,每扇區(qū)512字節(jié)的原則是不變的。簇的大小一般是2n (n為整數(shù))個扇區(qū)的大小,像512B,1K,2K,4K,8K,16K,32K,64K。實際中通常不超過32K。 之所以簇為單位而不以扇區(qū)為單位進行磁盤的分配,是因為當分區(qū)容量較大時,采用大小為512b的扇區(qū)管理會增加fat表的項數(shù),對大文件存取增加消耗,文件系統(tǒng)效率不高。分區(qū)的大小和簇的取值是有關系的,見表9
注意:少于32680個扇區(qū)的分區(qū)中,簇空間大小可最多達到每個簇8個扇區(qū)。不管用戶是使用磁盤管理器來格式化分區(qū),還是使用命令提示行鍵入format命令格式化,格式化程序都創(chuàng)建一個12位的FAT。少于16MB的分區(qū),系統(tǒng)通常會將其格式化成12位的FAT,F(xiàn)AT12是FAT的初始實現(xiàn)形式,是針對小型介質(zhì)的。FAT12文件分配表要比FAT16和FAT32的文件分配表小,因為它對每個條目使用的空間較少。這就給數(shù)據(jù)留下較多的空間。所有用FAT12格式化的5.25英寸軟盤以及1.44MB的3.5英寸軟盤都是由FAT12格式化的。除了FAT表中記錄每簇鏈結的二進制位數(shù)與FAT16不同外,其余原理與FAT16均相同,不再單獨解釋。
格式化FAT16分區(qū)時,格式化程序根據(jù)分區(qū)的大小確定簇的大小,然后根據(jù)保留扇區(qū)的數(shù)目、根目錄的扇區(qū)數(shù)目、數(shù)據(jù)區(qū)可分的簇數(shù)與FAT表本身所占空間 來確定FAT表所需的扇區(qū)數(shù)目,然后將計算后的結果寫入DBR的相關位置。
FAT16 DBR參數(shù)的偏移0x11處記錄了根目錄所占扇區(qū)的數(shù)目。偏移0x16記錄了FAT表所占扇區(qū)的數(shù)據(jù)。偏移0x10記錄了FAT表的副本數(shù)目。系統(tǒng)在得到這幾項參數(shù)以后,就可以確定數(shù)據(jù)區(qū)的開始扇區(qū)偏移了。
FAT16文件系統(tǒng)從根目錄所占的32個扇區(qū)之后的第一個扇區(qū)開始以簇為單位進行數(shù)據(jù)的處理,這之前仍以扇區(qū)為單位。對于根目錄之后的第一個簇,系統(tǒng)并不編號為第0簇或第1簇 (可能是留作關鍵字的原因吧),而是編號為第2簇,也就是說數(shù)據(jù)區(qū)順序上的第1個簇也是編號上的第2簇。
FAT文件系統(tǒng)之所以有12,16,32不同的版本之分,其根本在于FAT表用來記錄任意一簇鏈接的二進制位數(shù)。以FAT16為例,每一簇在FAT表中占據(jù)2字節(jié)(二進制16位)。所以,F(xiàn)AT16最大可以表示的簇號為0xFFFF(十進制的65535),以32K為簇的大小的話,F(xiàn)AT32可以管理的最大磁盤空間為:32KB×65535=2048MB,這就是為什么FAT16不支持超過2GB分區(qū)的原因。
FAT表實際上是一個數(shù)據(jù)表,以2個字節(jié)為單位,我們暫將這個單位稱為FAT記錄項,通常情況其第1、2個記錄項(前4個字節(jié))用作介質(zhì)描述。從第三個記錄項開始記錄除根目錄外的其他文件及文件夾的簇鏈情況。根據(jù)簇的表現(xiàn)情況FAT用相應的取值來描述,見表10
看一幅在winhex所截FAT16的文件分配表,圖10:
如圖,F(xiàn)AT表以”F8 FF FF FF” 開頭,此2字節(jié)為介質(zhì)描述單元,并不參與FAT表簇鏈關系。小紅字標出的是FAT扇區(qū)每2字節(jié)對應的簇號。
相對偏移0x4~0x5偏移為第2簇(順序上第1簇),此處為FF,表示存儲在第2簇上的文件(目錄)是個小文件,只占用1個簇便結束了。
第3簇中存放的數(shù)據(jù)是0x0005,這是一個文件或文件夾的首簇。其內(nèi)容為第5簇,就是說接下來的簇位于第5簇??〉 FAT表指引我們到達FAT表的第5簇指向,上面寫的數(shù)據(jù)是”FF FF”,意即此文件已至尾簇。
第4簇中存放的數(shù)據(jù)是0x0006,這又是一個文件或文件夾的首簇。其內(nèi)容為第6簇,就是說接下來的簇位于第6簇??〉FAT表指引我們到達FAT表的第6簇指向,上面寫的數(shù)據(jù)是0x0007,就是說接下來的簇位于第7簇??〉FAT表指引我們到達FAT表的第7簇指向……直到根據(jù)FAT鏈讀取到扇區(qū)相對偏移0x1A~0x1B,也就是第13簇,上面寫的數(shù)據(jù)是0x000E,也就是指向第14簇??〉14簇的內(nèi)容為”FF FF”,意即此文件已至尾簇。
后面的FAT表數(shù)據(jù)與上面的道理相同。不再分析。
FAT表記錄了磁盤數(shù)據(jù)文件的存儲鏈表,對于數(shù)據(jù)的讀取而言是極其重要的,以至于Microsoft為其開發(fā)的FAT文件系統(tǒng)中的FAT表創(chuàng)建了一份備份,就是我們看到的FAT2。FAT2與FAT1的內(nèi)容通常是即時同步的,也就是說如果通過正常的系統(tǒng)讀寫對FAT1做了更改,那么FAT2也同樣被更新。如果從這個角度來看,系統(tǒng)的這個功能在數(shù)據(jù)恢復時是個天災。
FAT文件系統(tǒng)的目錄結構其實是一顆有向的從根到葉的樹,這里提到的有向是指對于FAT分區(qū)內(nèi)的任一文件(包括文件夾),均需從根目錄尋址來找到??梢赃@樣認為:目錄存儲結構的入口就是根目錄。
FAT文件系統(tǒng)根據(jù)根目錄來尋址其他文件(包括文件夾),故而根目錄的位置必須在磁盤存取數(shù)據(jù)之前得以確定。FAT文件系統(tǒng)就是根據(jù)分區(qū)的相關DBR參數(shù)與DBR中存放的已經(jīng)計算好的FAT表(2份)的大小來確定的。格式化以后,跟目錄的大小和位置其實都已經(jīng)確定下來了:位置緊隨FAT2之后,大小通常為32個扇區(qū)。根目錄之后便是數(shù)據(jù)區(qū)第2簇。
FAT文件系統(tǒng)的一個重要思想是把目錄(文件夾)當作一個特殊的文件來處理,F(xiàn)AT32甚至將根目錄當作文件處理(旁:NTFS將分區(qū)參數(shù)、安全權限等好多東西抽象為文件更是這個思想的升華),在FAT16中,雖然根目錄地位并不等同于普通的文件或者說是目錄,但其組織形式和普通的目錄(文件夾)并沒有不同。FAT分區(qū)中所有的文件夾(目錄)文件,實際上可以看作是一個存放其他文件(文件夾)入口參數(shù)的數(shù)據(jù)表。所以目錄的占用空間的大小并不等同于其下所有數(shù)據(jù)的大小,但也不等同于0。通常是占很小的空間的,可以看作目錄文件是一個簡單的二維表文件。其具體存儲原理是:
不管目錄文件所占空間為多少簇,一簇為多少字節(jié)。系統(tǒng)都會以32個字節(jié)為單位進行目錄文件所占簇的分配。這32個字節(jié)以確定的偏移來定義本目錄下的一個文件(或文件夾)的屬性,實際上是一個簡單的二維表。
這32個字節(jié)的各字節(jié)偏移定義如表11:
對表11中的一些取值進行說明:
(1)、對于短文件名,系統(tǒng)將文件名分成兩部分進行存儲,即主文件名+擴展名。0x0~0x7字節(jié)記錄文件的主文件名,0x8~0xA記錄文件的擴展名,取文件名中的ASCII碼值。不記錄主文件名與擴展名之間的”.” 主文件名不足8個字符以空白符(20H)填充,擴展名不足3個字符同樣以空白符(20H)填充。0x0偏移處的取值若為00H,表明目錄項為空;若為E5H,表明目錄項曾被使用,但對應的文件或文件夾已被刪除。(這也是誤刪除后恢復的理論依據(jù))。文件名中的第一個字符若為“.”或“..”表示這個簇記錄的是一個子目錄的目錄項?!?”代表當前目錄;“..”代表上級目錄(和我們在dos或windows中的使用意思是一樣的,如果磁盤數(shù)據(jù)被破壞,就可以通過這兩個目錄項的具體參數(shù)推算磁盤的數(shù)據(jù)區(qū)的起始位置,猜測簇的大小等等,故而是比較重要的)
(2)、0xB的屬性字段:可以看作系統(tǒng)將0xB的一個字節(jié)分成8位,用其中的一位代表某種屬性的有或無。這樣,一個字節(jié)中的8位每位取不同的值就能反映各個屬性的不同取值了。如00000101就表示這是個文件,屬性是只讀、系統(tǒng)。
(3)、0xC~0x15在原FAT16的定義中是保留未用的。在高版本的WINDOWS系統(tǒng)中有時也用它來記錄修改時間和最近訪問時間。那樣其字段的意義和FAT32的定義是相同的,見后邊FAT32。
(4)、0x16~0x17中的時間=小時*2048+分鐘*32+秒/2。得出的結果換算成16進制填入即可。也就是:0x16字節(jié)的0~4位是以2秒為單位的量值;0x16字節(jié)的5~7位和0x17字節(jié)的0~2位是分鐘;0x17字節(jié)的3~7位是小時。
(5)、0x18~0x19中的日期=(年份-1980)*512+月份*32+日。得出的結果換算成16進制填入即可。也就是:0x18字節(jié)0~4位是日期數(shù);0x18字節(jié)5~7位和0x19字節(jié)0位是月份;0x19字節(jié)的1~7位為年號,原定義中0~119分別代表1980~2099,目前高版本的Windows允許取0~127,即年號最大可以到2107年。
(6)、0x1A~0x1B存放文件或目錄的表示文件的首簇號,系統(tǒng)根據(jù)掌握的首簇號在FAT表中找到入口,然后再跟蹤簇鏈直至簇尾,同時用0x1C~0x1F處字節(jié)判定有效性。就可以完全無誤的讀取文件(目錄)了。
(7)、普通子目錄的尋址過程也是通過其父目錄中的目錄項來指定的,與數(shù)據(jù)文件(指非目錄文件)不同的是目錄項偏移0xB的第4位置1,而數(shù)據(jù)文件為0。
對于整個FAT分區(qū)而言,簇的分配并不完全總是分配干凈的。如一個數(shù)據(jù)區(qū)為99個扇區(qū)的FAT系統(tǒng),如果簇的大小設定為2扇區(qū),就會有1個扇區(qū)無法分配給任何一個簇。這就是分區(qū)的剩余扇區(qū),位于分區(qū)的末尾。有的系統(tǒng)用最后一個剩余扇區(qū)備份本分區(qū)的DBR,這也是一種好的備份方法。
早的FAT16系統(tǒng)并沒有長文件名一說,Windows操作系統(tǒng)已經(jīng)完全支持在FAT16上的長文件名了。FAT16的長文件名與FAT32長文件名的定義是相同的,關于長文件名,在FAT32部分再詳細作解釋。
★FAT32存儲原理:
FAT32是個非常有功勞的文件系統(tǒng),Microsoft成功地設計并運用了它,直到今天NTFS鋪天蓋地襲來的時候,F(xiàn)AT32依然占據(jù)著Microsoft Windows文件系統(tǒng)中重要的地位。FAT32最早是出于FAT16不支持大分區(qū)、單位簇容量大以致空間急劇浪費等缺點設計的。實際應用中,F(xiàn)AT32還是成功的。
FAT32與FAT16的原理基本上是相同的,圖4.3.13標出了FAT32分區(qū)的基本構成。
FAT32在格式化的過程中就根據(jù)分區(qū)的特點構建好了它的DBR,其中BPB參數(shù)是很重要的,可以回過頭來看一下表4和表5。首先FAT32保留扇區(qū)的數(shù)目默認為32個,而不是FAT16的僅僅一個。這樣的好處是有助于磁盤DBR指令的長度擴展,而且可以為DBR扇區(qū)留有備份空間。上面我們已經(jīng)提到,構建在FAT32上的win98或win2000、winXP,其操作系統(tǒng)引導代碼并非只占一個扇區(qū)了。留有多余的保留扇區(qū)就可以很好的拓展OS引導代碼。在BPB中也記錄了DBR扇區(qū)的備份扇區(qū)編號。備份扇區(qū)可以讓我們在磁盤遭到意外破壞時恢復DBR。
FAT32的文件分配表的數(shù)據(jù)結構依然和FAT16相同,所不同的是,F(xiàn)AT32將記錄簇鏈的二進制位數(shù)擴展到了32位,故而這種文件系統(tǒng)稱為FAT32。32位二進制位的簇鏈決定了FAT表最大可以尋址2T個簇。這樣即使簇的大小為1扇區(qū),理論上仍然能夠?qū)ぶ?TB范圍內(nèi)的分區(qū)。但實際中FAT32是不能尋址這樣大的空間的,隨著分區(qū)空間大小的增加,F(xiàn)AT表的記錄數(shù)會變得臃腫不堪,嚴重影響系統(tǒng)的性能。所以在實際中通常不格式化超過32GB的FAT32分區(qū)。WIN2000及之上的OS已經(jīng)不直接支持對超過32GB的分區(qū)格式化成FAT32,但WIN98依然可以格式化大到127GB的FAT32分區(qū),但這樣沒必要也不推薦。同時FAT32也有小的限制,F(xiàn)AT32卷必須至少有65527個簇,所以對于小的分區(qū),仍然需要使用FAT16或FAT12。
分區(qū)變大時,如果簇很小,文件分配表也隨之變大。仍然會有上面的效率問題存在。既要有效地讀寫大文件,又要最大可能的減少空間的浪費。FAT32同樣規(guī)定了相應的分區(qū)空間對應的簇的大小,見表12:
FAT32簇的取值意義和FAT16類似,不過是位數(shù)長了點罷了,比較見表13:
FAT32的另一項重大改革是根目錄的文件化,即將根目錄等同于普通的文件。這樣根目錄便沒有了FAT16中512個目錄項的限制,不夠用的時候增加簇鏈,分配空簇即可。而且,根目錄的位置也不再硬性地固定了,可以存儲在分區(qū)內(nèi)可尋址的任意簇內(nèi),不過通常根目錄是最早建立的(格式化就生成了)目錄表。所以,我們看到的情況基本上都是根目錄首簇占簇區(qū)順序上的第1個簇。在圖4.3.12中也是按這種情況制作的畫的。
FAT32對簇的編號依然同F(xiàn)AT16。順序上第1個簇仍然編號為第2簇,通常為根目錄所用(這和FAT16是不同的,F(xiàn)AT16的根目錄并不占簇區(qū)空間,32個扇區(qū)的根目錄以后才是簇區(qū)第1個簇)
FAT32的文件尋址方法與FAT16相同,但目錄項的各字節(jié)參數(shù)意義卻與FAT16有所不同,一方面它啟用了FAT16中的目錄項保留字段,同時又完全支持長文件名了。
對于短文件格式的目錄項。其參數(shù)意義見表14:
說明:
(1)、這是FAT32短文件格式目錄項的意義。其中文件名、擴展名、時間、日期的算法和FAT16時相同的。
(2)、由于FAT32可尋址的簇號到了32位二進制數(shù)。所以系統(tǒng)在記錄文件(文件夾)開始簇地址的時候也需要32位來記錄,F(xiàn)AT32啟用目錄項偏移0x12~0x13來表示起始簇號的高16位。
(3)、文件長度依然用4個字節(jié)表示,這說明FAT32依然只支持小于4GB的文件(目錄),超過4GB的文件(目錄),系統(tǒng)會截斷處理。
FAT32的一個重要的特點是完全支持長文件名。長文件名依然是記錄在目錄項中的。為了低版本的OS或程序能正確讀取長文件名文件,系統(tǒng)自動為所有長文件名文件創(chuàng)建了一個對應的短文件名,使對應數(shù)據(jù)既可以用長文件名尋址,也可以用短文件名尋址。不支持長文件名的OS或程序會忽略它認為不合法的長文件名字段,而支持長文件名的OS或程序則會以長文件名為顯式項來記錄和編輯,并隱藏起短文件名。
當創(chuàng)建一個長文件名文件時,系統(tǒng)會自動加上對應的短文件名,其一般有的原則:
(1)、取長文件名的前6個字符加上”~1″形成短文件名,擴展名不變。
(2)、如果已存在這個文件名,則符號”~”后的數(shù)字遞增,直到5。
(3)、如果文件名中”~”后面的數(shù)字達到5,則短文件名只使用長文件名的前兩個字母。通過數(shù)學操縱長文件名的剩余字母生成短文件名的后四個字母,然后加后綴”~1″直到最后(如果有必要,或是其他數(shù)字以避免重復的文件名)。
(4)、如果存在老OS或程序無法讀取的字符,換以”_”
長文件名的實現(xiàn)有賴于目錄項偏移為0xB的屬性字節(jié),當此字節(jié)的屬性為:只讀、隱藏、系統(tǒng)、卷標,即其值為0FH時,DOS和WIN32會認為其不合法而忽略其存在。這正是長文件名存在的依據(jù)。將目錄項的0xB置為0F,其他就任由系統(tǒng)定義了,Windows9x或Windows 2000、XP通常支持不超過255個字符的長文件名。系統(tǒng)將長文件名以13個字符為單位進行切割,每一組占據(jù)一個目錄項。所以可能一個文件需要多個目錄項,這時長文件名的各個目錄項按倒序排列在目錄表中,以防與其他文件名混淆。
長文件名中的字符采用unicode形式編碼(一個巨大的進步哦),每個字符占據(jù)2字節(jié)的空間。其目錄項定義如表15。
系統(tǒng)在存儲長文件名時,總是先按倒序填充長文件名目錄項,然后緊跟其對應的短文件名。從表15可以看出,長文件名中并不存儲對應文件的文件開始簇、文件大小、各種時間和日期屬性。文件的這些屬性還是存放在短文件名目錄項中,一個長文件名總是和其相應的短文件名一一對應,短文件名沒有了長文件名還可以讀,但長文件名如果沒有對應的短文件名,不管什么系統(tǒng)都將忽略其存在。所以短文件名是至關重要的。在不支持長文件名的環(huán)境中對短文件名中的文件名和擴展名字段作更改(包括刪除,因為刪除是對首字符改寫E5H),都會使長文件名形同虛設。長文件名和短文件名之間的聯(lián)系光靠他們之間的位置關系維系顯然遠遠不夠。其實,長文件名的0xD字節(jié)的校驗和起很重要的作用,此校驗和是用短文件名的11個字符通過一種運算方式來得到的。系統(tǒng)根據(jù)相應的算法來確定相應的長文件名和短文件名是否匹配。這個算法不太容易用公式說明,我們用一段c程序來加以說明。
假設文件名11個字符組成字符串shortname[],校驗和用chknum表示。得到過程如下:
int i,j,chknum=0;
for (i=11; i>0; i–)
chksum = ((chksum & 1) ? 0x80 : 0) + (chksum >> 1) + shortname[j++];
如果通過短文件名計算出來的校驗和與長文件名中的0xD偏移處數(shù)據(jù)不相等。系統(tǒng)無論如何都不會將它們配對的。
依據(jù)長文件名和短文件名對目錄項的定義,加上對簇的編號和鏈接,F(xiàn)AT32上數(shù)據(jù)的讀取便游刃有余了。