집 > 기사 > 백엔드 개발 > Python3으로 작성된 간단한 로컬 파일 업로드 서버 예제

Python3으로 작성된 간단한 로컬 파일 업로드 서버 예제

不言원래의: 2018-06-04 11:55:241532검색

이 글은 python3으로 작성된 간단한 로컬 파일 업로드 서버 예제를 주로 소개합니다. 참고할만한 가치가 있어서 공유합니다. 도움이 필요한 친구들이 참고할 수 있습니다.

파이썬이 정말 재미있나요? 뭐, 그냥 아무렇지도 않게 말한 거지만, 아무튼 여러 가지 이유로 (사실 뭔지는 모르겠지만) 파이썬을 잠깐 배운 뒤, 서버에 파일을 업로드하는 작은 장난감을 만들어서 연습했습니다.

대략적인 기능은 다음과 같습니다.

1. 로컬 파일 목록(폴더 포함)을 가져옵니다.

2. 서버에 없으면 직접 업로드합니다. 파일 크기가 일치하지 않으면 덮어쓰게 됩니다. 마지막으로 서버에 로컬에서 사용할 수 없는 파일이 있는지 확인하세요.

3 .나중에 파일 형식을 무시하기 위해 무시 목록이 추가되었습니다

4. 그런 다음 재시작 tomcat이 추가되었지만 이 기능은 테스트되지 않았습니다

이런가요, 코드를 잃어버리세요

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
import os 
import os.path 
import paramiko
import datetime
import re

# 配置属性
config = {
	#本地项目路径
	&#39;local_path&#39; : &#39;&#39;,
	# 服务器项目路径
	&#39;ssh_path&#39; : &#39;&#39;,
	# 项目名
	&#39;project_name&#39; : &#39;&#39;,
	# 忽视列表
	&#39;ignore_list&#39; : [],
	# ssh地址、端口、用户名、密码
	&#39;hostname&#39; : &#39;&#39;,
	&#39;port&#39; : 22,
	&#39;username&#39; : &#39;&#39;,
	&#39;password&#39; : &#39;&#39;,
	# 是否强制更新
	&#39;mandatory_update&#39; : False,
	# 更新完成后是否重启tomcat
	&#39;restart_tomcat&#39; : False,
	# tomcat bin地址
	&#39;tomcat_path&#39; : &#39;&#39;,
	# 被忽略的文件类型
	&#39;ignore_file_type_list&#39; : []
}

# 检查文件夹是否存在，不存在则创建
def check_folder(path):
	stdin, stdout, stderr = ssh.exec_command(&#39;find &#39; + path)
	result = stdout.read().decode(&#39;utf-8&#39;)
	if len(result) == 0 :
		print(&#39;目录 %s 不存在，创建目录&#39; % path)
		ssh.exec_command(&#39;mkdir &#39; + path)
		print(&#39;%s 创建成功&#39; % path)
		return 1
	else:
		print(&#39;目录 %s 已存在&#39; % path)
		return 0

# 检查文件是否存在，不存在直接上传，存在检查大小是否一样，不一样则上传
def check_file(local_path, ssh_path):
	# 检查文件是否存在，不存在直接上传
	stdin, stdout, stderr = ssh.exec_command(&#39;find &#39; + ssh_path)
	result = stdout.read().decode(&#39;utf-8&#39;)
	if len(result) == 0 :
		sftp.put(local_path,ssh_path)
		print(&#39;%s 上传成功&#39; % (ssh_path))
		return 1
	else:
		# 存在则比较文件大小
		# 本地文件大小
		lf_size = os.path.getsize(local_path)
		# 目标文件大小
		stdin, stdout, stderr = ssh.exec_command(&#39;du -b &#39; + ssh_path)
		result = stdout.read().decode(&#39;utf-8&#39;)
		tf_size = int(result.split(&#39;\t&#39;)[0])
		print(&#39;本地文件大小为：%s，远程文件大小为：%s&#39; % (lf_size, tf_size))
		if lf_size == tf_size:
			print(&#39;%s 大小与本地文件相同，不更新&#39; % (ssh_path))
			return 0
		else:
			sftp.put(local_path,ssh_path)
			print(&#39;%s 更新成功&#39; % (ssh_path))
			return 1

# 上传流程开始
print(&#39;上传开始&#39;)
begin = datetime.datetime.now()

# 文件夹列表
folder_list = []
# 文件列表
file_list = []
# ssh上文件列表
ssh_file_list = []

for parent,dirnames,filenames in os.walk(config[&#39;local_path&#39;]+config[&#39;project_name&#39;]): 
 #初始化文件夹列表
 for dirname in dirnames:
 	p = os.path.join(parent,dirname)
 	folder_list.append(p[p.find(config[&#39;project_name&#39;]):])
 #初始化文件列表
 for filename in filenames:
 	if config[&#39;ignore_list&#39;].count(filename) == 0:
 		p = os.path.join(parent,filename)
 		file_list.append(p[p.find(config[&#39;project_name&#39;]):])

print(&#39;共有文件夹%s个，文件%s个&#39; % (len(folder_list),len(file_list)))

# ssh控制台
ssh = paramiko.SSHClient()
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
ssh.connect(hostname=config[&#39;hostname&#39;], port=config[&#39;port&#39;], username=config[&#39;username&#39;], password=config[&#39;password&#39;])
# ssh传输
transport = paramiko.Transport((config[&#39;hostname&#39;],config[&#39;port&#39;]))
transport.connect(username=config[&#39;username&#39;],password=config[&#39;password&#39;])
sftp = paramiko.SFTPClient.from_transport(transport)

# 检查根目录是否存在
root_path = config[&#39;ssh_path&#39;] + config[&#39;project_name&#39;]
stdin, stdout, stderr = ssh.exec_command(&#39;find &#39; + root_path)
result = stdout.read().decode(&#39;utf-8&#39;)
if len(result) == 0 :
	print(&#39;目录 %s 不存在，创建目录&#39; % root_path)
	ssh.exec_command(&#39;mkdir &#39; + root_path)
	print(&#39;%s 创建成功&#39; % root_path)
else:
	print(&#39;目录 %s 已存在，获取所有文件&#39; % root_path)
	ssh_file_list = re.split(&#39;\n&#39;,result)

# 检查文件夹
create_folder_num = 0
for item in folder_list:
	target_folder_path = config[&#39;ssh_path&#39;] + item
	create_folder_num = create_folder_num + check_folder(target_folder_path)

# 检查文件
update_file_num = 0
for item in file_list:
	if config[&#39;ignore_file_type_list&#39;].count(os.path.splitext(item)[1]) == 0:
		local_file_path = config[&#39;local_path&#39;] + item
		target_file_path = config[&#39;ssh_path&#39;] + item
		if config[&#39;mandatory_update&#39;]:
			sftp.put(local_file_path,target_file_path)
			print(&#39;%s 强制更新成功&#39; % (target_file_path))
			update_file_num = update_file_num + 1
		else:
			update_file_num = update_file_num + check_file(local_file_path, target_file_path)
	else:
		print(&#39;%s 在被忽略文件类型中，所以被忽略&#39; % item)

# 检查ssh是否有需要删除的文件
delete_file_num = 0
for item in ssh_file_list:
	temp = item[item.find(config[&#39;project_name&#39;]):]
	if folder_list.count(temp) == 0 and file_list.count(temp) == 0 and temp != config[&#39;project_name&#39;] and temp != &#39;&#39;:
		print(&#39;%s 在本地不存在，删除&#39; % item)
		ssh.exec_command(&#39;rm -rf &#39; + item)
		delete_file_num = delete_file_num + 1

end = datetime.datetime.now()
print(&#39;本次上传结束：创建文件夹%s个，更新文件%s个，删除文件%s个，耗时：%s&#39; % (create_folder_num, update_file_num, delete_file_num, end-begin))

if config[&#39;restart_tomcat&#39;]:
	print(&#39;关闭tomcat&#39;)
	ssh.exec_command(&#39;sh &#39; + config[&#39;tomcat_path&#39;] + &#39;shutdown.sh&#39;)
	print(&#39;启动tomcat&#39;)
	ssh.exec_command(&#39;sh &#39; + config[&#39;tomcat_path&#39;] + &#39;startup.sh&#39;)

# 关闭连接
sftp.close()
ssh.close()

드디어 강제 업데이트가 추가되는데, 즉 무시 목록에 없는 한 바로 업로드해서 결국 크기를 비교해서 덮어쓰게 되는 경우가 있습니다. 예를 들어 1을 2로 변경하면 파일 크기로 비교할 수 없습니다. 나중에 시간이 있으면 git 업데이트 레코드를 끌어내리거나 다른 해결 방법을 고려해 보겠습니다.

Python3으로 작성된 간단한 로컬 파일 업로드 서버 예제

관련 기사