PHP가 대규모 작업을 수행할 때 효율성을 높이는 방법은 무엇입니까?

하루에 한 번 실행되도록 작업을 예약하는 PHP 프로그램이 있습니다.
1. 데이터베이스에 연결하고 데이터베이스에서 배열로 관련 데이터를 읽도록 선택합니다.
2. 얻은 데이터 수에 따라 루프, 루프 중간에 3개의 mysql 작업이 포함됩니다(선택, 삽입, 업데이트 각 1개)
3. 루프가 완료된 후 데이터베이스 연결을 닫습니다

루프 실행 횟수는 1단계의 mysql_num_rows에 따라 달라지며 기본적으로 수천 또는 수만입니다.
그러면 루프 프로세스 중에 수천 개의 X3 데이터베이스 작업이 짧은 시간 내에 지속적으로 수행되므로 매우 비효율적입니다. 그리고 여러 작업을 수행하면 사이클 수로 인해 완료하는 데 오랜 시간이 걸리기 때문에 nginx에서는 504 오류가 발생합니다.
게다가 빈번한 데이터베이스 작업과 긴 연결은 너무 많은 리소스를 차지하므로 전체 환경의 비효율성을 초래합니다.

어떻게 최적화하나요?
조언 부탁드립니다. 미리 감사드립니다

답글 내용:

하루에 한 번 실행되도록 작업을 예약하는 PHP 프로그램이 있습니다.
1. 데이터베이스에 연결하고 데이터베이스에서 배열로 관련 데이터를 읽도록 선택합니다.
2. 얻은 데이터 수에 따라 루프, 루프 중간에 3개의 mysql 작업이 포함됩니다(선택, 삽입, 업데이트 각 1개)
3. 루프가 완료된 후 데이터베이스 연결을 닫습니다

루프 실행 횟수는 1단계의 mysql_num_rows에 따라 달라지며 기본적으로 수천 또는 수만입니다.
그러면 루프 프로세스 중에 수천 개의 X3 데이터베이스 작업이 짧은 시간 내에 지속적으로 수행되므로 매우 비효율적입니다. 그리고 여러 작업을 수행하면 사이클 수로 인해 완료하는 데 오랜 시간이 걸리기 때문에 nginx에서는 504 오류가 발생합니다.
게다가 빈번한 데이터베이스 작업과 긴 연결은 너무 많은 리소스를 차지하므로 전체 환경의 비효율성을 초래합니다.

어떻게 최적화하나요?
조언 부탁드립니다. 미리 감사드립니다

당신이 언급한 상황은 문제를 해결하기 위해 요청을 사용하지 않는 것이 좋습니다. crontab을 사용하여 백그라운드에서 PHP 스크립트를 실행하는 작업을 추가하는 등 일괄 처리하십시오. 총 100,000개의 항목, 한 번에 1,000개의 항목을 하나씩 처리해야 하는 경우 속도가 그리 빠르지 않습니다. 먼저 배열에 넣은 다음 반복하는 것을 피하기 위해 fetch_row 동안 처리하는 것이 좋습니다. 구현에 따라 set_time_limit 및 데이터베이스 연결 시간 제한을 기억하세요.

약간 많은 양의 데이터를 사용하는 이런 종류의 장기 작업에 대한 몇 가지 생각:
1. 웹 환경은 장기 작업에 적합하지 않습니다: nginx+php-fpm의 아키텍처는 적합하지 않습니다. 예, 중간에 있는 다양한 시간 초과는 사람들을 고문할 수 있습니다. 최소한 시간 초과를 제어하는 ​​데는 Apache+PHP가 더 좋습니다.
2. 작업 스케줄링은 웹을 통해 구현됩니다. 대부분의 PHP 프레임워크는 좋은 명령줄 지원을 제공하지 않거나 구현 시 명령줄 지원을 고려하지 않으므로 웹 기반 작업 분배 메커니즘을 구현하는 것이 더 쉽습니다. 이는 기존 프레임워크에 덜 방해가 되며, 안정적인 프로젝트를 위해서는 통일된 진입을 보장하는 것이 매우 중요합니다. 명령줄에서 작업을 실행하는 경우 고려해야 할 문제가 많이 있습니다. 가장 두드러진 문제는 파일 권한입니다. 일반적으로 웹 프로젝트는 Apache와 같은 사용자가 실행하며 생성된 파일의 소유자도 Apache입니다. , 그리고 apache는 일반적으로 로그인을 허용하지만 apache 사용자로 명령을 실행할 수는 있지만 더 복잡합니다.
3. 분할 및 정복: 장기 작업을 처리하는 한 가지 솔루션은 대규모 작업을 작은 작업으로 분할하고, 장기 작업을 여러 개의 단기 소규모 작업으로 전환하고, 리소스가 차지하는 시간을 줄이는 것입니다. 데이터베이스 연결 시간 초과, PHP 메모리 누수 등 장시간 실행으로 인해 발생하는 다양한 문제를 해결합니다.

첨부된 예시는 제가 작성한 예시입니다. 조언 부탁드립니다
https://github.com/zkc226/cur...

많은 양의 데이터가 필요한 경우 작업 시스템에 넘겨 실행됩니다. 먼저 요청이 시작되고 메시지 생성자가 처리를 위해 요청을 소비자에게 전달하고 시간 초과를 기다리지 않도록 반환합니다. 소비자는 다중 스레드 처리를 수행합니다. 사용하기 매우 편리하고 PHP 인터페이스를 지원하는 Gearman을 사용하는 것이 좋습니다. Workman, Swoole 등과 같은 다른 기능도 구현할 수 있습니다.

모든 작업은 동일한 서버에서 동일한 시점에 실행되므로 시간이 많이 걸리고 리소스 집약적입니다.
@黄红이 말했듯이 일괄 처리
또는 서버를 추가합니다. 이러한 작업을 다른 서버에 분산하여 실행하는 것을 분산 처리라고 하지만 데이터 일관성이 보장되어야 하므로 작업의 복잡성이 증가합니다

1. 데이터를 파일로 내보내고 파일을 읽고 반복합니다. (예: mysqldump)
2. 먼저 문장을 철자해서 일괄적으로 실행할 수 있는지 고려해보세요. 모든 루프를 실행하는 대신.
3. 저장 프로시저를 사용할 수 있는지 고려하세요

그리고 주기 수로 인해 여러 작업을 완료하는 데 시간이 오래 걸리고 이로 인해 nginx에서 504 오류가 발생합니다.

실시간 계산인가요? 계산량이 많은 작업의 경우 백그라운드에서 작업을 실행하여 쓰기 캐시를 계산하고 실시간으로 읽기 전용 캐시를 요청하는 것을 고려해야 할까요?

이 질문은 효율성 향상을 위한 병렬 실행에 관해 제가 이전에 답변했던 질문과 약간 비슷합니다

핵심은 이 빅 데이터 읽기를 오프로드하고 ID를 기반으로 모듈로 병렬 실행을 수행하는 것입니다. 예를 들어 서버와 데이터베이스는 20개의 동시 실행을 견딜 수 있습니다

병렬화하는 가장 간단한 방법은 20개의 스크립트 프로세스를 열어
0.php -> select * from test where id%20=0;
1.php -> id%20=1;
2.php -> id%20=2;
....

테스트에서 *를 선택합니다.

끌어당기는 방법입니다.

또 다른 방법은 대기열에 푸시한 다음 대기열에서 waker 프로세스를 호출하여 실행하는 것입니다. 이는 보다 표준화되고 관리하기 쉽습니다. 예를 들어 제가 SMS 작업을 할 때 언급한 기어맨이 있습니다. 플랫폼에서는 매일 예정된 작업도 있었습니다.

아마도 gearman 클라이언트를 호출하여 쿼리된 모든 데이터를 gearman 스케줄러로 보내기 위해 예약된 작업 스크립트를 연 다음 20개의 작업자를 여는 논리일 것입니다(동일한 서버에 있거나 LAN 내에 있을 수 있음). 다른 서버), 스케줄러는 이 20개의 기어맨 작업자 스크립트를 실행하도록 할당합니다. 각 작업자 스크립트의 코드는 동일하며 하나의 데이터 조각과 하나의 작업을 실행합니다

클리 모드에서 PHP 스크립트를 사용하세요. WEB 방식을 사용하지 마세요. 타임아웃이 쉽습니다