二進(jìn)制文件操作（上）

python比較擅長(zhǎng)與文本相關(guān)的操作。但現(xiàn)實(shí)世界中，對(duì)于非文本消息的處理也很普遍。例如：

(資料圖片僅供參考)

◆通過(guò)有線、無(wú)線傳遞傳感器獲得的測(cè)量數(shù)據(jù)。

◆衛(wèi)星通過(guò)電磁波發(fā)送測(cè)量數(shù)據(jù)。

◆數(shù)據(jù)中心的數(shù)萬(wàn)臺(tái)服務(wù)器發(fā)送當(dāng)前CPU的占用率信息、內(nèi)存占用量等眾多指標(biāo)數(shù)據(jù)。

以上數(shù)據(jù)，當(dāng)然可以以文本方式發(fā)送，但是對(duì)于帶寬的占用驚人。假設(shè)某個(gè)對(duì)于PM2.5進(jìn)行測(cè)量的傳感器，每隔一秒發(fā)送一次測(cè)量數(shù)據(jù)，以文本方式發(fā)送消息，內(nèi)容如下：

"counter: 1, pm25: 170.24119426834042, timestamp: 2022-07-24 08:52:11.138894+00:00"

以上消息占用了81個(gè)字節(jié)。而如果能夠按照約定的格式直接發(fā)送二進(jìn)制數(shù)據(jù)，則只需要20個(gè)字節(jié)，可以大幅提升傳輸效率。此外，以文本方式在本地保存?zhèn)鞲衅鲾?shù)據(jù)，則一天就需要81*86400/1024=6834M字節(jié)，對(duì)于傳感器這種體積小巧的嵌入式系統(tǒng)，存儲(chǔ)空間極為有限，很快就會(huì)空間耗盡。因此，對(duì)非文本數(shù)據(jù)直接保存與讀取非常有必要。下面的代碼演示了傳感器類(lèi)，以及傳感器測(cè)量數(shù)據(jù)的二進(jìn)制文件存儲(chǔ)與讀取的基本操作。

import binasciiimport randomimport structfrom datetime import datetimefrom io import BytesIOfrom time import sleepimport arrowclass sensordata_v1():    def __init__(self):        utc = arrow.utcnow()        self._timestamp = utc.to("Asia/Shanghai")    @property    def counter(self) -> int:        """        計(jì)數(shù)器        Returns:            int: 從0開(kāi)始的計(jì)數(shù)器        """        return self._counter    @counter.setter    def counter(self, value: int):        self._counter = value    @property    def pm25(self) -> float:        """        PM25測(cè)量值        Returns:            float: pm25的當(dāng)前測(cè)量值        """        return self._pm25    @pm25.setter    def pm25(self, value: float):        self._pm25 = value    @property    def timestamp(self) -> datetime:        """        當(dāng)前時(shí)點(diǎn)        Returns:            datetime: 當(dāng)前的時(shí)間        """        return self._timestamp.datetime    def __str__(self):        """        以文字輸出相關(guān)內(nèi)容        Returns:            string: 說(shuō)明性文字        """        return f"counter: {self.counter}, pm25: {self.pm25}, timestamp: {self.timestamp}"    def __repr__(self):        """        輸出字節(jié)流的16進(jìn)制內(nèi)容        Returns:            string: 16進(jìn)制顯示相關(guān)數(shù)值        """        return str(binascii.hexlify(self.toBytes()))    def toBytes(self):        """        將相關(guān)數(shù)據(jù)轉(zhuǎn)換成為bytes，便于網(wǎng)絡(luò)傳輸或者寫(xiě)入文件        Returns:            bytes: 整合測(cè)量數(shù)據(jù)到字節(jié)流中        """        with BytesIO() as byio:            byio.write(struct.pack("
其中arrow是非常值得推薦的時(shí)間處理框架。python有內(nèi)置的時(shí)間處理框架，功能非常完善，但失之于亂與雜，掌握起來(lái)非常不易。而arrow則非常人性化，做到了拿來(lái)即用。其安裝過(guò)程非常簡(jiǎn)單，直接pip install arrow即可。在示例程序中，為了能夠方便存儲(chǔ)，我們將時(shí)間戳直接用UNIX的timestamp來(lái)表示，轉(zhuǎn)換后為了保持精度，本例使用double(8字節(jié))存儲(chǔ)，如果要求不高，可以改為float(4字節(jié))。
sensordata_v1類(lèi)使用@property裝飾器來(lái)定義屬性。總共有3個(gè)屬性：
◆counter-計(jì)數(shù)器。從0開(kāi)始計(jì)數(shù)累加，后續(xù)保存到數(shù)據(jù)庫(kù)中時(shí)也方便檢索。
◆pm25-PM2.5測(cè)量值。在示例代碼中使用random.uniform模擬一個(gè)0到300的隨機(jī)浮點(diǎn)值，沒(méi)有什么太大的意義，保證每次不同即可。
◆timestamp-數(shù)據(jù)采集時(shí)的對(duì)應(yīng)時(shí)間。
str類(lèi)函數(shù)
可以自定義，本例中用它來(lái)直觀的表示當(dāng)前的采集值。當(dāng)對(duì)sensordata_v1類(lèi)的實(shí)例打印時(shí)，就會(huì)自動(dòng)調(diào)用這個(gè)函數(shù)。
repr類(lèi)函數(shù)
可以自定義，本例中用它來(lái)演示轉(zhuǎn)換成為字節(jié)流bytes時(shí)的16進(jìn)制值。對(duì)于程序員來(lái)說(shuō)，16進(jìn)制來(lái)表示字節(jié)是比較自然的。
toBytes類(lèi)函數(shù)具體展示了如何將類(lèi)的屬性值轉(zhuǎn)換成為二進(jìn)制字節(jié)流，主要依靠python內(nèi)置的struct模塊。在內(nèi)存中模擬文件打開(kāi)一個(gè)BytesIO,并且依次寫(xiě)入struct.pack編碼后的字節(jié)流，最終統(tǒng)一輸出。
fromBytes類(lèi)函數(shù)具體展示了如何從字節(jié)流反解成為對(duì)象的屬性值。struct.pack與struct.unpack成對(duì)出現(xiàn)。
toFile函數(shù)將編碼好的字節(jié)流寫(xiě)入二進(jìn)制文件。寫(xiě)入的模式為"wb"，其中w代表全覆蓋寫(xiě)入的意思，b代表二進(jìn)制模式的意思。fromFile負(fù)責(zé)從二進(jìn)制文件讀回保存的字節(jié)流，重新生成各個(gè)sensordata_v1對(duì)象。
生成的二進(jìn)制文件，可以使用UltraEditor、InHex等。也可以直接使用vscode自帶的2進(jìn)制文件瀏覽器擴(kuò)展Hex Editor，顯示效果如下圖所示：
從圖中可以看出，二進(jìn)制文件確實(shí)節(jié)省空間，但人類(lèi)不容易理解，必然借助于專(zhuān)用工具與代碼來(lái)管理。但即使計(jì)算機(jī)與網(wǎng)絡(luò)能力強(qiáng)悍如斯，二進(jìn)制文件與網(wǎng)絡(luò)上的字節(jié)流仍然必不可少，不可替代。