FastAPI(또는 Flask) 앱이 로드가 높을 때 제대로 작동하지 않는 이유

우선, 제목 미끼에 대해 사과드립니다. 하지만 어젯밤에 이 문제를 알아냈고 여전히 도파민 러쉬의 영향을 받고 있습니다. 이건 꼭 공유해야겠어요.

이 텍스트는 초보 개발자 또는 데이터 과학자(고급 Python 소프트웨어 엔지니어 아님)를 대상으로 작성되었으며 "기술 문서" 대신 내러티브, 즉 발생한 사건의 연대순 순서로 작성하겠습니다. (문제, 해결, 토론으로 구성됨) 저는 이 접근 방식이 실제 생활에서 어떻게 일어나는지 보여주기 때문에 좋아합니다.

초기 고려 사항

이 테스트는 단일 프로세서와 512M RAM 머신을 사용하는 GCP Cloud Run에서 수행되었으며, 우리는 놀라운 도구(Python, LoL용)인 Locust를 사용했습니다.

또한 Postman의 단일 요청에 대해 이미 성능 문제가 있는 경우 Kisspeter의 FastAPI 성능 향상 전용 저장소와 LoadForge의 저장소를 살펴보는 것이 좋습니다.

첫 번째 테스트 라운드

Postman에서 단일 요청을 사용하면 Cloud Run이 시작된 후 약 400ms의 응답 시간을 얻었습니다. 최고는 아니지만 완전히 수용 가능한 범위 내에 있습니다.

부하 테스트는 매우 간단합니다. 하나의 테이블에서 읽고, 쓰고, 삭제합니다(또는 API 엔드포인트에 대한 GET, POST, DELETE). 읽기 75%, 쓰기 20%, 삭제 5%입니다. 10분 동안 100명의 동시 사용자로 실행합니다.

마지막에 평균 응답 시간은 2초를 얻었지만 가장 불안한 부분은 테스트가 종료된 후에도 평균 시간이 계속 증가하고 있다는 것이므로 안정화되기 전에(그리고 만약에) 숫자가 계속 더 증가할 가능성이 매우 높습니다. .

내 컴퓨터에서 로컬로 실행하려고 했지만 놀랍게도 Postman의 응답 시간은 14ms에 불과했습니다. 그런데 동시접속자 500명을 대상으로 부하테스트를 해보니 또 문제가 발생하더군요. ...

테스트가 끝날 때까지 응답 시간은 약 1.6초였으며 여전히 증가하고 있지만 약간의 결함이 발생하고 95번째 백분위수가 급상승했습니다(그래프가 망가졌습니다 =( ). 통계는 다음과 같습니다.

이제 동시 사용자가 500명밖에 안 되는데 왜 14ms로 응답하던 서버가 갑자기 1.6초로 늘어나는 걸까요?

내 컴퓨터는 코어 i7, 6코어, 2.6GHz, 16GB RAM, SSD입니다. 그런 일이 있어서는 안 됩니다.

저에게 좋은 힌트를 준 것은 프로세서와 메모리 로그였습니다... 매우 낮았습니다!

아마도 내 서버가 내 컴퓨터의 모든 리소스를 사용하고 있지 않다는 의미일 수 있습니다. 그리고 무엇을 추측합니까? 그렇지 않았습니다. FastAPI 또는 Flask 애플리케이션을 프로덕션에 배포할 때 대부분의 개발자가 잊어버리는 개념인 프로세스 작업자를 소개하겠습니다.

getorchestra.io 기준:

서버 작업자 이해

서버 워커는 기본적으로 애플리케이션 코드를 실행하는 프로세스입니다. 각 작업자는 한 번에 하나의 요청을 처리할 수 있습니다. 작업자가 여러 명인 경우 여러 요청을 동시에 처리하여 애플리케이션 처리량을 높일 수 있습니다.

서버 워커가 중요한 이유

• 동시성: 요청을 동시에 처리할 수 있으므로 서버 리소스 활용도가 향상되고 응답 시간이 빨라집니다.
• 격리: 각 작업자는 독립적인 프로세스입니다. 한 작업자가 실패하더라도 다른 작업자에게 영향을 주지 않아 안정성이 향상됩니다.
• 확장성: 작업자 수를 조정하면 다양한 로드를 처리하기 위해 애플리케이션을 쉽게 확장할 수 있습니다.

실제로는 선택적인 --workers 매개변수를 서버 초기화 라인에 추가하기만 하면 됩니다. 필요한 작업자 수 계산은 애플리케이션을 실행하는 서버와 애플리케이션의 동작, 특히 메모리 소비에 관한 경우에 따라 크게 달라집니다.

이 작업을 수행한 후 16명의 작업자에 대해 로컬에서 훨씬 더 나은 결과를 얻었으며 10분 후에 90ms(동시 사용자 500명)로 수렴되었습니다.

최종 테스트 라운드

적절한 수의 작업자로 마이크로서비스를 구성한 후(단일 프로세서 Cloud Run 인스턴스에 4개 사용) GCP에서 결과가 엄청나게 향상되었습니다.

GCP 서버에서 테스트가 끝나면 최종 값은 300ms로 수렴되는데, 이는 최소한 허용 가능한 수준입니다. ?

위 내용은 FastAPI(또는 Flask) 앱이 로드가 높을 때 제대로 작동하지 않는 이유의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!