메모리 부족 없이 3천만 개의 문자열을 조작하는 방법은 무엇입니까?

3천만 문자 문자열 조작: 메모리 할당 오류 방지

curl을 사용하여 공급업체로부터 CSV 데이터 피드를 검색하는 것이 어려운 경우 이렇게 큰 파일 크기를 조작합니다. 구분 기호(예: r 및 n)로 내용을 확장하는 일반적인 접근 방식은 엄청난 크기(약 3,050만 자)로 인해 "메모리 부족" 오류를 발생시킵니다. 이 기사에서는 이 문제를 극복하기 위한 대체 솔루션을 살펴봅니다.

전체 파일을 메모리에 저장하는 것은 불가능하지만 한 가지 옵션은 CURLOPT_FILE을 사용하여 내용을 디스크의 파일로 리디렉션하는 것입니다. 그러나 이 접근 방식은 실제 파일 생성을 포함하므로 원하는 작업 흐름과 일치하지 않을 수 있습니다.

대체 솔루션은 사용자 정의 스트림 래퍼를 정의하고 등록한 후 CURLOPT_FILE을 사용하여 실제 파일 대신 활용하는 것입니다. . 이 스트림 래퍼는 데이터가 도착하면 청크로 처리하여 메모리 할당 문제를 효율적으로 방지하도록 설계할 수 있습니다.

이 접근 방식을 설명하기 위해 streamWrapper 클래스를 확장하는 MyStream 클래스를 만들어 보겠습니다. stream_write 메소드에서는 분해 기능을 활용하여 들어오는 데이터 청크에서 라인을 추출할 수 있습니다. 데이터는 일반적으로 더 작은 청크(예: 8192바이트)로 수신되므로 전체 파일을 한 번에 조작하려고 시도하는 대신 이러한 작은 부분에서 작업을 수행할 수 있습니다.

이 사용자 정의 스트림 래퍼를 고유한 프로토콜( 예를 들어 "test")를 CURLOPT_FILE과 함께 컬 구성에서 사용하면 stream_write 메서드를 활용하여 데이터가 수신될 때 점진적으로 작업할 수 있습니다. 이 기술을 사용하면 메모리 할당 오류를 유발하지 않고 큰 문자열을 효율적으로 조작할 수 있습니다.

위 내용은 메모리 부족 없이 3천만 개의 문자열을 조작하는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!