本篇文章主要介紹了詳解python並發獲取snmp資訊及性能測試，小編覺得挺不錯的，現在分享給大家，也給大家做個參考。一起跟著小編過來看看吧
python & snmp
#用python取得snmp資訊有多個現成的函式庫可以使用，其中比較常用的是netsnmp和pysnmp兩個函式庫。網路上有較多的關於兩個函式庫的例子。
本文重點在於如何並發的獲取snmp的數據，即同時獲取多台機器的snmp資訊。
netsnmp
先說netsnmp。 python的netsnmp，其實是來自於net-snmp套件。
python透過一個c檔案呼叫net-snmp的介面來取得資料。
因此，在並發取得多台機器的時候，不能夠使用協程取得。因為使用協程，在get數據的時候，協程會一直等待net-snmp介面返回數據，而不會像socket使用時那樣在等待數據時把CPU切換給其他協程使用。從這點上來說，使用協程和串行獲取沒有區別。
那麼要如何解決並發取得的問題呢？可以使用線程，多線程獲取(當然也可以使用多進程)。多個執行緒同時呼叫net-snmp的介面取得數據，然後cpu在多個執行緒之間不停切換。當一個執行緒取得一個結果後，可以繼續呼叫介面來取得下一個snmp資料。
這裡我寫了一個範例程式。先把所有的host和oid做成任務放到佇列裡，然後啟動多個線程，去執行獲取任務。程式樣例如下：
import threading
import time
import netsnmp
import Queue
start_time = time.time()
hosts = ["192.20.150.109", "192.20.150.110", "192.20.150.111", "192.20.150.112", "192.20.150.113", "192.20.150.114",
"192.20.150.115", "192.20.150.116", "192.20.150.117", "192.20.150.118", "192.20.150.119", "192.20.150.120",
"192.20.150.121", "192.20.80.148", "192.20.80.149", "192.20.96.59", "192.20.82.14", "192.20.82.15",
"192.20.82.17", "192.20.82.19", "192.20.82.12", "192.20.80.139", "192.20.80.137", "192.20.80.136",
"192.20.80.134", "192.20.80.133", "192.20.80.131", "192.20.80.130", "192.20.81.141", "192.20.81.140",
"192.20.82.26", "192.20.82.28", "192.20.82.23", "192.20.82.21", "192.20.80.128", "192.20.80.127",
"192.20.80.122", "192.20.81.159", "192.20.80.121", "192.20.80.124", "192.20.81.151", "192.20.80.118",
"192.20.80.119", "192.20.80.113", "192.20.80.112", "192.20.80.116", "192.20.80.115", "192.20.78.62",
"192.20.81.124", "192.20.81.125", "192.20.81.122", "192.20.81.121", "192.20.82.33", "192.20.82.31",
"192.20.82.32", "192.20.82.30", "192.20.81.128", "192.20.82.39", "192.20.82.37", "192.20.82.35",
"192.20.81.130", "192.20.80.200", "192.20.81.136", "192.20.81.137", "192.20.81.131", "192.20.81.133",
"192.20.81.134", "192.20.82.43", "192.20.82.45", "192.20.82.41", "192.20.79.152", "192.20.79.155",
"192.20.79.154", "192.25.76.235", "192.25.76.234", "192.25.76.233", "192.25.76.232", "192.25.76.231",
"192.25.76.228", "192.25.20.96", "192.25.20.95", "192.25.20.94", "192.25.20.93", "192.24.163.14",
"192.24.163.21", "192.24.163.29", "192.24.163.6", "192.18.136.22", "192.18.136.23", "192.24.193.2",
"192.24.193.19", "192.24.193.18", "192.24.193.11", "192.20.157.132", "192.20.157.133", "192.24.212.232",
"192.24.212.231", "192.24.212.230"]
oids = [".1.3.6.1.4.1.2021.11.9.0",".1.3.6.1.4.1.2021.11.10.0",".1.3.6.1.4.1.2021.11.11.0",".1.3.6.1.4.1.2021.10.1.3.1",
".1.3.6.1.4.1.2021.10.1.3.2",".1.3.6.1.4.1.2021.10.1.3.3",".1.3.6.1.4.1.2021.4.6.0",".1.3.6.1.4.1.2021.4.14.0",
".1.3.6.1.4.1.2021.4.15.0"]
myq = Queue.Queue()
rq = Queue.Queue()
#把host和oid组成任务
for host in hosts:
for oid in oids:
myq.put((host,oid))
def poll_one_host():
while True:
try:
#死循环从队列中获取任务，直到队列任务为空
host, oid = myq.get(block=False)
session = netsnmp.Session(Version=2, DestHost=host, Community="cluster",Timeout=3000000,Retries=0)
var_list = netsnmp.VarList()
var_list.append(netsnmp.Varbind(oid))
ret = session.get(var_list)
rq.put((host, oid, ret, (time.time() - start_time)))
except Queue.Empty:
break
thread_arr = []
#开启多线程
num_thread = 50
for i in range(num_thread):
t = threading.Thread(target=poll_one_host, kwargs={})
t.setDaemon(True)
t.start()
thread_arr.append(t)
#等待任务执行完毕
for i in range(num_thread):
thread_arr[i].join()
while True:
try:
info = rq.get(block=False)
print info
except Queue.Empty:
print time.time() - start_time
break
netsnmp除了支援get操作之外，還支援walk操作，即遍歷某個oid。
但是walk使用的時候需要謹慎，以免導致高延時等問題，具體可以參見之前的一篇snmpwalk高延時問題分析的博客。
pysnmp
pysnmp是用python實作的一套snmp協定的函式庫。其自身提供了對於非同步的支持。
import time
import Queue
from pysnmp.hlapi.asyncore import *
t = time.time()
myq = Queue.Queue()
#回调函数。在有数据返回时触发
def cbFun(snmpEngine, sendRequestHandle, errorIndication, errorStatus, errorIndex, varBinds, cbCtx):
myq.put((time.time()-t, varBinds))
hosts = ["192.20.150.109", "192.20.150.110", "192.20.150.111", "192.20.150.112", "192.20.150.113", "192.20.150.114",
"192.20.150.115", "192.20.150.116", "192.20.150.117", "192.20.150.118", "192.20.150.119", "192.20.150.120",
"192.20.150.121", "192.20.80.148", "192.20.80.149", "192.20.96.59", "192.20.82.14", "192.20.82.15",
"192.20.82.17", "192.20.82.19", "192.20.82.12", "192.20.80.139", "192.20.80.137", "192.20.80.136",
"192.20.80.134", "192.20.80.133", "192.20.80.131", "192.20.80.130", "192.20.81.141", "192.20.81.140",
"192.20.82.26", "192.20.82.28", "192.20.82.23", "192.20.82.21", "192.20.80.128", "192.20.80.127",
"192.20.80.122", "192.20.81.159", "192.20.80.121", "192.20.80.124", "192.20.81.151", "192.20.80.118",
"192.20.80.119", "192.20.80.113", "192.20.80.112", "192.20.80.116", "192.20.80.115", "192.20.78.62",
"192.20.81.124", "192.20.81.125", "192.20.81.122", "192.20.81.121", "192.20.82.33", "192.20.82.31",
"192.20.82.32", "192.20.82.30", "192.20.81.128", "192.20.82.39", "192.20.82.37", "192.20.82.35",
"192.20.81.130", "192.20.80.200", "192.20.81.136", "192.20.81.137", "192.20.81.131", "192.20.81.133",
"192.20.81.134", "192.20.82.43", "192.20.82.45", "192.20.82.41", "192.20.79.152", "192.20.79.155",
"192.20.79.154", "192.25.76.235", "192.25.76.234", "192.25.76.233", "192.25.76.232", "192.25.76.231",
"192.25.76.228", "192.25.20.96", "192.25.20.95", "192.25.20.94", "192.25.20.93", "192.24.163.14",
"192.24.163.21", "192.24.163.29", "192.24.163.6", "192.18.136.22", "192.18.136.23", "192.24.193.2",
"192.24.193.19", "192.24.193.18", "192.24.193.11", "192.20.157.132", "192.20.157.133", "192.24.212.232",
"192.24.212.231", "192.24.212.230"]
oids = [".1.3.6.1.4.1.2021.11.9.0",".1.3.6.1.4.1.2021.11.10.0",".1.3.6.1.4.1.2021.11.11.0",".1.3.6.1.4.1.2021.10.1.3.1",
".1.3.6.1.4.1.2021.10.1.3.2",".1.3.6.1.4.1.2021.10.1.3.3",".1.3.6.1.4.1.2021.4.6.0",".1.3.6.1.4.1.2021.4.14.0",
".1.3.6.1.4.1.2021.4.15.0"]
snmpEngine = SnmpEngine()
#添加任务
for oid in oids:
for h in hosts:
getCmd(snmpEngine,
CommunityData('cluster'),
UdpTransportTarget((h, 161), timeout=3, retries=0,),
ContextData(),
ObjectType(ObjectIdentity(oid)),
cbFun=cbFun)
time1 = time.time() - t
#执行异步获取snmp
snmpEngine.transportDispatcher.runDispatcher()
#打印结果
while True:
try:
info = myq.get(block=False)
print info
except Queue.Empty:
print time1
print time.time() - t
break
pysnmp本身只支援最基礎的get和getnext指令，因此如果想要使用walk，就需要自己實作。
效能測試
在同一個環境下，對兩者進行了效能測試。兩者對198個host，10個oid進行採集。
| 測試群組 | 耗時(sec) |
|---|---|
| #netsnmp(20執行緒) | 6.252 |
| netsnmp(50執行緒) | 3.269 |
| netsnmp(200執行緒) | 3.265 |
| pysnmp | 4.812 |
可以看到netsnmp的擷取速度跟線程數有關。當執行緒數增大到一定程度，擷取時間不再縮短。因為開闢執行緒同樣會消耗時間。而已有的線程已經夠處理。
pysnmp效能較之略差一下。詳細分析pysnmp在新增任務(執行getCmd時)消耗了約1.2s，之後的採集約消耗3.3秒。
在增加了oid數，在進行實驗。 host仍然是198個，oid是42個。
| 測試群組 | 耗時(sec) |
|---|---|
| #netsnmp(20執行緒) | 30.935 |
| netsnmp(50執行緒) | 12.914 |
| netsnmp(200執行緒) | 4.044 |
| pysnmp | #11.043 |
可以看到差距被進一步拉大。在執行緒夠多的情況下，netsnmp的效率要明顯強於pysnmp。
因為二者都支援可以並行擷取多個host，從易用性來說，netsnmp更為簡單一些，且netsnmp支援walk功能。本文更加推薦netsnmp。
安裝netsnmp需要安裝net-snmp。如果centos，則使用yum會較為方便。
以上是詳解python並發取得snmp資訊及效能測試方法的詳細內容。更多資訊請關注PHP中文網其他相關文章！
Python vs. C：了解關鍵差異Apr 21, 2025 am 12:18 AMPython和C 各有優勢，選擇應基於項目需求。 1)Python適合快速開發和數據處理，因其簡潔語法和動態類型。 2)C 適用於高性能和系統編程，因其靜態類型和手動內存管理。
Python vs.C：您的項目選擇哪種語言？Apr 21, 2025 am 12:17 AM選擇Python還是C 取決於項目需求：1)如果需要快速開發、數據處理和原型設計，選擇Python；2)如果需要高性能、低延遲和接近硬件的控制，選擇C 。
達到python目標：每天2小時的力量Apr 20, 2025 am 12:21 AM通過每天投入2小時的Python學習，可以有效提升編程技能。 1.學習新知識：閱讀文檔或觀看教程。 2.實踐：編寫代碼和完成練習。 3.複習：鞏固所學內容。 4.項目實踐：應用所學於實際項目中。這樣的結構化學習計劃能幫助你係統掌握Python並實現職業目標。
最大化2小時：有效的Python學習策略Apr 20, 2025 am 12:20 AM在兩小時內高效學習Python的方法包括：1.回顧基礎知識，確保熟悉Python的安裝和基本語法；2.理解Python的核心概念，如變量、列表、函數等；3.通過使用示例掌握基本和高級用法；4.學習常見錯誤與調試技巧；5.應用性能優化與最佳實踐，如使用列表推導式和遵循PEP8風格指南。
在Python和C之間進行選擇：適合您的語言Apr 20, 2025 am 12:20 AMPython適合初學者和數據科學，C 適用於系統編程和遊戲開發。 1.Python簡潔易用，適用於數據科學和Web開發。 2.C 提供高性能和控制力，適用於遊戲開發和系統編程。選擇應基於項目需求和個人興趣。
Python與C：編程語言的比較分析Apr 20, 2025 am 12:14 AMPython更適合數據科學和快速開發，C 更適合高性能和系統編程。 1.Python語法簡潔，易於學習，適用於數據處理和科學計算。 2.C 語法複雜，但性能優越，常用於遊戲開發和系統編程。
每天2小時：Python學習的潛力Apr 20, 2025 am 12:14 AM每天投入兩小時學習Python是可行的。 1.學習新知識：用一小時學習新概念，如列表和字典。 2.實踐和練習：用一小時進行編程練習，如編寫小程序。通過合理規劃和堅持不懈，你可以在短時間內掌握Python的核心概念。
Python與C：學習曲線和易用性Apr 19, 2025 am 12:20 AMPython更易學且易用，C 則更強大但複雜。 1.Python語法簡潔，適合初學者，動態類型和自動內存管理使其易用，但可能導致運行時錯誤。 2.C 提供低級控制和高級特性，適合高性能應用，但學習門檻高，需手動管理內存和類型安全。
熱AI工具
Undresser.AI Undress
人工智慧驅動的應用程序，用於創建逼真的裸體照片
AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。
Undress AI Tool
免費脫衣圖片
Clothoff.io
AI脫衣器
Video Face Swap
使用我們完全免費的人工智慧換臉工具，輕鬆在任何影片中換臉！
熱門文章
熱工具
SublimeText3 Linux新版
SublimeText3 Linux最新版
VSCode Windows 64位元 下載
微軟推出的免費、功能強大的一款IDE編輯器
MinGW - Minimalist GNU for Windows
這個專案正在遷移到osdn.net/projects/mingw的過程中，你可以繼續在那裡關注我們。 MinGW：GNU編譯器集合（GCC）的本機Windows移植版本，可自由分發的導入函式庫和用於建置本機Windows應用程式的頭檔；包括對MSVC執行時間的擴展，以支援C99功能。 MinGW的所有軟體都可以在64位元Windows平台上運作。
Dreamweaver Mac版
視覺化網頁開發工具
DVWA
Damn Vulnerable Web App (DVWA) 是一個PHP/MySQL的Web應用程序，非常容易受到攻擊。它的主要目標是成為安全專業人員在合法環境中測試自己的技能和工具的輔助工具，幫助Web開發人員更好地理解保護網路應用程式的過程，並幫助教師/學生在課堂環境中教授/學習Web應用程式安全性。 DVWA的目標是透過簡單直接的介面練習一些最常見的Web漏洞，難度各不相同。請注意，該軟體中
