alexmaisiura/python-how-to-reduce-memory-consumption-by-half-by-adding-just-one-line-of-code-56be6443d524

 

 

我想與大家分享一些我和我的團(tuán)隊(duì)在一個(gè)項(xiàng)目中經(jīng)歷的一些問(wèn)題。在這個(gè)項(xiàng)目中，我們必須要存儲(chǔ)和處理一個(gè)相當(dāng)大的動(dòng)態(tài)列表。測(cè)試人員在測(cè)試過(guò)程中，抱怨內(nèi)存不足。下面介紹一個(gè)簡(jiǎn)單的方法，通過(guò)添加一行代碼來(lái)解決這個(gè)問(wèn)題。

圖片的結(jié)果

 

 

下面我來(lái)解釋一下，它是如何運(yùn)行的。

首先，我們考慮一個(gè)簡(jiǎn)單的”learning”例子，創(chuàng)建一個(gè)Dataltem 類(lèi)，該類(lèi)是一個(gè)人的個(gè)人信息，例如姓名，年齡，地址等。

class DataItem(object):def __init__(self, name, age, address):self.name = nameself.age = ageself.address = address

初學(xué)者的問(wèn)題：如何知道一個(gè)以上這樣的對(duì)象占用多少內(nèi)存?

首先，讓我們?cè)囍鉀Q一下：

d1 = DataItem("Alex", 42, "-")print ("sys.getsizeof(d1):", sys.getsizeof(d1))

我們得到的答案是56bytes，這似乎占用了很少的內(nèi)存，相當(dāng)滿意嘍。那么，我們?cè)趪L試另一個(gè)包含更多數(shù)據(jù)的對(duì)象例子：

d2 = DataItem("Boris", 24, "In the middle of nowhere")print ("sys.getsizeof(d2):", sys.getsizeof(d2))

答案仍然是56bytes，此刻，似乎我們意識(shí)到哪里有些不對(duì)?并不是所有的事情都第一眼所見(jiàn)那樣。

直覺(jué)不會(huì)讓我們失望，一切都不是那么簡(jiǎn)單。Python是一種具有動(dòng)態(tài)類(lèi)型的非常靈活的語(yǔ)言，對(duì)于它的工作，它存儲(chǔ)了大量的附加數(shù)據(jù)。它們本身占據(jù)了很多。

例如，sys.getsizeof(“”)返回33bytes，是的一個(gè)多達(dá)33個(gè)字節(jié)的空行!并且sys.getsizeof(1)返回24bytes，一個(gè)整個(gè)數(shù)字占用24個(gè)bytes(我想咨詢C語(yǔ)言程序員，遠(yuǎn)離屏幕，不想在進(jìn)一步閱讀，以免對(duì)美觀失去信心)。對(duì)于更復(fù)雜的元素，如字典，sys.getsizeof(.)返回272字節(jié)，這是針對(duì)空字典的，我不會(huì)再繼續(xù)了，我希望原理是明確的，并且RAM的制造商需要出售他們的芯片。

但是，我們回到我們的DataItem類(lèi)和最初的初學(xué)者的疑惑。

這個(gè)類(lèi)，占多少內(nèi)存?

首先，我們一小寫(xiě)的形式將這個(gè)類(lèi)的完整內(nèi)容輸出：

def dump(obj):for attr in dir(obj):print(" obj.%s = %r" % (attr, getattr(obj, attr)))

這個(gè)函數(shù)將顯示隱藏的“幕后”使所有Python函數(shù)(類(lèi)型、繼承和其他內(nèi)容)都能夠正常工作的內(nèi)容。

結(jié)果令人印象深刻：

 

 

這一切內(nèi)容占用多少內(nèi)存?

下邊有一個(gè)函數(shù)可以通過(guò)遞歸的方式，調(diào)用getsizeof函數(shù)，計(jì)算對(duì)象實(shí)際數(shù)據(jù)量。

def get_size(obj, seen=None):# From # Recursively finds size of objectssize = sys.getsizeof(obj)if seen is None:seen = setobj_id = id(obj)if obj_id in seen:return 0# Important mark as seen *before* entering recursion to gracefully handle# self-referential objectsseen.add(obj_id)if isinstance(obj, dict):size += sum([get_size(v, seen) for v in obj.values()])size += sum([get_size(k, seen) for k in obj.keys()])elif hasattr(obj, '__dict__'):size += get_size(obj.__dict__, seen)elif hasattr(obj, '__iter__') and not isinstance(obj, (str, bytes, bytearray)):size += sum([get_size(i, seen) for i in obj])return size

讓我們?cè)囈辉嚕?/p>

d1 = DataItem("Alex", 42, "-")print ("get_size(d1):", get_size(d1))d2 = DataItem("Boris", 24, "In the middle of nowhere")print ("get_size(d2):", get_size(d2))

我們獲得的答案分別為460bytes和484bytes，這結(jié)果似乎是真實(shí)的。

使用這個(gè)函數(shù)，你可以進(jìn)行一系列的實(shí)驗(yàn)。例如，我想知道如果DataItem結(jié)構(gòu)放在列表中，數(shù)據(jù)將占用多少空間。get_size ([d1])函數(shù)返回532bytes,顯然，這與上面說(shuō)的460+的開(kāi)銷(xiāo)相同。但是get_size ([d1, d2])返回863bytes,小于以上的460 + 484。get_size ([d1, d2, d1])的結(jié)果更有趣——我們得到了871字節(jié)，只是稍微多一點(diǎn)，也就是說(shuō)Python足夠聰明，不會(huì)再次為同一個(gè)對(duì)象分配內(nèi)存。

現(xiàn)在，我們來(lái)看一看問(wèn)題的第二部分。

是否存在減少內(nèi)存開(kāi)銷(xiāo)的可能呢?

是的,可以的。Python是一個(gè)解釋器，我們可以在任何時(shí)候擴(kuò)展我們的類(lèi)，例如，添加一個(gè)新的字段:

d1 = DataItem("Alex", 42, "-")print ("get_size(d1):", get_size(d1))d1.weight = 66print ("get_size(d1):", get_size(d1))

非常好，但是如果我們不需要這個(gè)功能呢?我們能強(qiáng)制解釋器來(lái)指定類(lèi)的列表對(duì)象使用__slots__命令：

class DataItem(object):__slots__ = ['name', 'age', 'address']def __init__(self, name, age, address):self.name = nameself.age = ageself.address = address

更多信息可以在文檔(RTFM)中找到，其中寫(xiě)到“__ dict__和__weakref__”。使用__dict__節(jié)省的空間非常大”。

我們確認(rèn)：是的，確實(shí)很重要，get_size (d1)返回…64字節(jié)，而不是460字節(jié)，即少7倍。另外，創(chuàng)建對(duì)象的速度要快20%(請(qǐng)參閱本文的第一個(gè)屏幕截圖)。

唉，真正使用如此大的內(nèi)存增益并不是因?yàn)槠渌_(kāi)銷(xiāo)。通過(guò)簡(jiǎn)單地添加元素，創(chuàng)建一個(gè)100,000的數(shù)組，并查看內(nèi)存消耗:

data = for p in range(100000):data.append(DataItem("Alex", 42, "middle of nowhere"))snapshot = tracemalloc.take_snapshottop_stats = snapshot.statistics('lineno')total = sum(stat.size for stat in top_stats)print("Total allocated size: %.1f MB" % (total / (1024*1024)))

我們不使用__slots__占用內(nèi)存16.8MB，使用時(shí)占用6.9MB。這個(gè)操作當(dāng)然不是最好的，但是確實(shí)代碼改變的最小的。(Not 7 times of course, but it’s not bad at all, considering that the code change was minimal.)

現(xiàn)在的缺點(diǎn)。激活__slots__禁止所有元素的創(chuàng)建,包括__dict__,這意味著,例如,一下代碼將結(jié)構(gòu)轉(zhuǎn)換成json將不運(yùn)行:

def toJSON(self): return json.dumps(self.__dict__)

這個(gè)問(wèn)題很容易修復(fù),它是足以產(chǎn)生dict編程方式,通過(guò)所有元素的循環(huán):

def toJSON(self):data = dictfor var in self.__slots__:data[var] = getattr(self, var)return json.dumps(data)

也不可能動(dòng)態(tài)給這個(gè)類(lèi)添加新類(lèi)變量,但是在這個(gè)例子中,這并不是必需的。

今天的最后一個(gè)測(cè)試。有趣的是整個(gè)程序需要多少內(nèi)存。添加一個(gè)無(wú)限循環(huán)的程序,以便它不結(jié)束,看看Windows任務(wù)管理器中的內(nèi)存消耗。

沒(méi)有 __slots__:

 

 

6.9Mb 變成 27Mb … 好家伙, 畢竟, 我們節(jié)省了內(nèi)存, 27Mb 代替 70 ，對(duì)于增加一行代碼來(lái)說(shuō)并不是一個(gè)壞的例子

注意：TraceMelc調(diào)試庫(kù)使用了許多附加內(nèi)存。顯然，她為每個(gè)創(chuàng)建的對(duì)象添加了額外的元素。如果關(guān)閉它，總的內(nèi)存消耗將少得多，截屏顯示兩個(gè)選項(xiàng)：

 

 

如果你想節(jié)省更多的內(nèi)存呢?

這可以使用numpy庫(kù)，它允許您以C樣式創(chuàng)建結(jié)構(gòu)，但是在我的例子中，它需要對(duì)代碼進(jìn)行更深入的細(xì)化，并且第一種方法就足夠了。

奇怪的是在Habré從來(lái)沒(méi)有詳細(xì)分析使用__slots__,我希望本文將填補(bǔ)這一空缺。

結(jié)論

這篇文章似乎是一個(gè)anti-Python廣告，但并不是。Python非?？煽?為了“降低”Python程序，您必須非常努力)，它是一種易于閱讀和方便編寫(xiě)代碼的語(yǔ)言。這些優(yōu)點(diǎn)在很多情況下都大于缺點(diǎn)，但是如果您需要最大的性能和效率，您可以使用像numpy這樣的庫(kù)，它是用C++編寫(xiě)的，它可以很快和高效地與數(shù)據(jù)一起工作。