PHP는 웹 사이트의 빅 데이터, 대규모 트래픽 및 높은 동시성을 어떻게 해결합니까?
- 无忌哥哥원래의
- 2018-06-27 14:44:161847검색
1: 하드웨어 측면에서
일반 p4 서버는 하루 최대 약 100,000개의 IP를 지원할 수 있습니다. 방문 횟수가 10W를 초과하는 경우 하드웨어가 아무리 강력하지 않으면 이를 해결하기 위한 전용 서버가 필요합니다. 소프트웨어를 최적화해도 도움이 되지 않습니다. 서버 속도에 영향을 미치는 주요 요소는 네트워크 - 하드 디스크 읽기 및 쓰기 속도 - 메모리 크기 - CPU 처리 속도입니다.
2 조건이 허락한다면 일반적으로 Linux 운영 체제에 MySQL 서버를 설치하는 것이 가장 좋습니다. Apache 및 nginx의 경우 동시성이 높은 상황에서는 nginx를 사용하는 것이 좋습니다. Ginx는 Apache 서버의 좋은 대안입니다. nginx는 더 적은 메모리를 소비합니다. 공식 테스트에서는 50,000개의 동시 연결을 지원할 수 있으며 실제 프로덕션 환경에서는 동시 연결 수가 20,000~30,000에 달할 수 있습니다. PHP에서 불필요한 모듈을 최대한 닫고 memcached를 사용하십시오. Memcached는 데이터베이스를 사용하지 않고 메모리에서 직접 데이터를 전송하는 고성능 분산 메모리 개체 캐싱 시스템입니다. 이를 통해 iS 또는 Apache에서 속도가 크게 향상됩니다. 웹사이트를 최적화하고 웹사이트 콘텐츠를 압축하여 웹사이트 트래픽을 크게 절약하세요. 둘째, 외부 핫링크를 금지합니다. 외부 웹사이트의 사진이나 파일을 핫링크하면 부하가 많이 걸리는 경우가 많습니다. 따라서 자신의 사진이나 파일을 외부로 핫링크하는 것은 엄격히 제한되어야 합니다. 다행히 현재는 Apache 참조를 통해 간단히 자동으로 제어할 수 있습니다. 구성을 통해 핫링크를 비활성화할 수 있습니다. IIS에는 동일한 기능을 수행할 수 있는 일부 타사 ISAPI도 있습니다. 물론 가짜 추천을 사용하여 코드를 통해 핫링크를 달성할 수도 있지만 현재는 의도적으로 핫링크에 대한 추천을 가짜로 만드는 사람은 많지 않습니다. 지금은 이를 무시하거나 워터마크 추가와 같은 비기술적인 수단을 사용하여 문제를 해결할 수 있습니다. 사진에. 셋째, 대용량 파일의 다운로드를 제어합니다. 대용량 파일을 다운로드하면 트래픽이 많이 소모되고, SCSI가 아닌 하드 드라이브의 경우 대량의 파일을 다운로드하면CPU가 소모되어 웹사이트의 응답성이 저하됩니다. 따라서 2M를 초과하는 대용량 파일의 다운로드는 제공하지 않도록 하세요. 제공이 필요한 경우에는 대용량 파일을 다른 서버에 보관하는 것이 좋습니다.
넷째, 다른 호스트를 사용하여 주요 트래픽을 전환하세요.
파일을 다른 호스트에 배치하고 사용자가 다운로드할 수 있는 다른 이미지를 제공하세요. 예를 들어 RSS 파일이 많은 트래픽을 차지한다고 생각되면 FeedBurner 또는 FeedSky와 같은 서비스를 사용하여 RSS 출력을 다른 호스트에 배치하면 다른 사람의 액세스에 대한 대부분의 트래픽 압력이 집중됩니다. FeedBurner의 호스트와 RSS는 너무 많은 리소스를 차지하지 않습니다.
다섯째, 다른 호스트를 사용하여 주요 트래픽을 전환하세요.
파일을 다른 호스트에 배치하고 사용자가 다운로드할 수 있는 다른 이미지를 제공합니다. 예를 들어 RSS 파일이 많은 트래픽을 차지한다고 생각되면 FeedBurner 또는 FeedSky와 같은 서비스를 사용하여 RSS 출력을 다른 호스트에 배치하면 다른 사람의 액세스에 대한 대부분의 트래픽 압력이 집중됩니다. FeedBurner의 호스트와 RSS는 너무 많은 리소스를 차지하지 않습니다.
여섯째, 트래픽 분석 및 통계 소프트웨어를 사용해 보세요.
웹사이트에 트래픽 분석 및 통계 소프트웨어를 설치하면 어디에서 트래픽이 많이 소비되는지, 어떤 페이지를 최적화해야 하는지 즉시 알 수 있으므로 트래픽 문제를 해결하려면 정확한 통계 분석이 필요합니다. 예: Google Analytics.
높은 동시성 및 높은 로드에 대한 제약 조건: 하드웨어, 배포, 운영 체제, 웹 서버, PHP, MySQL, 테스트
배포: 서버 분리, 데이터베이스 클러스터 및 라이브러리 테이블 해싱, 미러링, 로드 밸런싱
로드 밸런싱 분류: 1 ), DNS 라운드 로빈 2) 프록시 서버 로드 밸런싱 3) 주소 변환 게이트웨이 로드 밸런싱 4) NAT 로드 밸런싱 5) 역방향 프록시 로드 밸런싱 6) 하이브리드 로드 밸런싱
배포 계획 1:
적용 범위: 정적 콘텐츠 기반 높은 시스템 보안 요구 사항을 갖춘 웹사이트 및 애플리케이션 시스템.
메인 서버: 메인 서버
는 프로그램의 주요 운영 압력을 전달하고 웹사이트 또는 애플리케이션 시스템의 동적 요청을 처리합니다.
첨부 파일을 파일 서버에 푸시합니다.
각 웹 서버는 DEC를 통해 모든 데이터베이스에 연결하고 동시에 마스터와 슬레이브로 나눌 수 있습니다.
데이터베이스 서버 그룹:
상대적으로 균형 잡힌 데이터베이스 읽기 및 쓰기 부담을 감당합니다.
데이터베이스 실제 파일 매핑을 통해 여러 데이터베이스의 데이터 동기화를 달성합니다.
공유 디스크/디스크 어레이
는 데이터 물리 파일의 통합 읽기 및 쓰기에 사용됩니다.
대형 첨부 파일의 저장 창고로 사용됩니다.
시스템의 균형과 이중화를 통해 전체 시스템의 IO 효율성 및 데이터 보안을 보장합니다.
솔루션의 특징:
프런트 엔드 로드 밸런싱을 통해 웹 압력을 합리적으로 분산합니다.
파일/비디오 서버와 일반 웹 서버를 분리하여 가볍고 무거운 데이터 흐름을 합리적으로 분산합니다. 데이터베이스 서버 그룹을 통해 데이터베이스 IO 압력을 분산합니다.
각 웹 서버는 일반적으로 하나의 데이터베이스 서버에만 연결됩니다. DEC의 하트비트 감지를 통해 매우 짧은 시간에 자동으로 중복 데이터베이스 서버로 전환할 수 있습니다. 시스템 IO 효율성이 크게 향상될 뿐 아니라 시스템 IO 효율성도 크게 향상됩니다.
웹 서버:
웹 서버의 리소스 사용량 중 상당 부분은 웹 요청을 처리하는 데서 발생합니다. 이는 Apache에 의해 발생되는 부담입니다. 동시 연결이 많은 경우 Nginx가 좋은 대안이 됩니다. 아파치 서버. Nginx("engine x")는 러시아에서 작성된 고성능 HTTP 및 역방향 프록시 서버입니다. 중국에서는 Sina, Sohu Pass, NetEase News, NetEase Blog, Kingsoft Xiaoyao.com, Kingsoft iPowerWord, Xiaonei.com, YUPOO Photo Album, Douban, Xunlei Kankan 등과 같은 많은 웹사이트와 채널이 Nginx 서버를 사용합니다.
Nginx의 장점:
높은 동시 연결 수: 공식 테스트에서는 50,000개의 동시 연결을 지원할 수 있으며 실제 프로덕션 환경에서는 동시 연결 수가 20,000~30,000에 이릅니다.
낮은 메모리 소비: 동시 연결 30,000개 미만에서 시작된 10개의 Nginx 프로세스는 150M(15M*10=150M)의 메모리만 소비합니다.
내장 상태 확인 기능: Nginx 프록시 백엔드의 웹 서버가 다운되더라도 프런트엔드 액세스는 영향을 받지 않습니다.
전략: 기존 Apache와 비교하여 리소스 사용량이 적고 로드 용량이 높은 웹 서버인 Lighttpd 및 Nginx를 선택합니다.
Mysql:
MySQL 자체는 강력한 로드 용량을 가지고 있습니다. MySQL 최적화는 궁극적으로 시스템 최적화에 대한 올바른 이해가 필요하기 때문에 매우 복잡한 작업입니다. 데이터베이스 작업에는 많은 수의 단기 쿼리, 읽기 및 쓰기가 포함되며, 프로그램 개발 중에 주의해야 할 인덱싱 및 쿼리 효율성 향상과 같은 소프트웨어 개발 기술 외에도 MySQL 실행 효율성에 가장 큰 영향을 미칩니다. 하드웨어 시설의 관점에서는 검색, 디스크 IO 수준, CPU 주기, 메모리 대역폭에서 비롯됩니다.
서버의 하드웨어 및 소프트웨어 조건을 기반으로 MySQl 최적화를 수행합니다. MySQL 최적화의 핵심은 시스템 리소스 할당에 있습니다. 이는 MySQL에 제한 없이 더 많은 리소스를 할당한다는 의미는 아닙니다. MySQL 구성 파일에는 가장 주목할만한 매개변수 중 일부가 소개되어 있습니다.
인덱스 버퍼 길이 변경(key_buffer)
테이블 길이 변경(read_buffer_size)
열린 테이블의 최대 수 설정(table_cache)
오른쪽 느림 긴 쿼리는 시간 제한(long_query_time)을 설정합니다.
조건이 허락한다면 일반적으로 FreeBSD보다는 Linux 운영 체제에 MySQL 서버를 설치하는 것이 가장 좋습니다.
전략: MySQL 최적화를 위해서는 비즈니스 시스템의 데이터베이스 읽기 및 쓰기 특성과 서버 하드웨어 구성을 기반으로 다양한 최적화 계획을 수립해야 하며, 필요에 따라 MySQL의 마스터-슬레이브 구조를 배포할 수 있습니다. PHP:
1. 가능한 한 적은 수의 모듈을 로드합니다.
2. Windows 플랫폼에 있는 경우 일반적으로 사용하는 Apache를 대체하기 위해 IIS 또는 Nginx를 사용해 보세요. PHP 코드의 사전 컴파일된 결과 및 데이터베이스 결과를 캐싱하여 PHP 코드의 실행 속도 향상)
eAccelerator, eAccelerator는 동적 콘텐츠를 최적화 및 캐시하고, PHP 스크립트의 성능을 향상시키며, PHP 스크립트를 더 빠르게 컴파일할 수 있게 해주는 무료 오픈 소스 PHP 가속기입니다. 이 상태에서는 서버의 오버헤드가 거의 완전히 제거됩니다. Apc: APC(대체 PHP 캐시)는 PHP용 무료 공개 최적화 코드 캐시입니다. 이는 PHP 중간 코드를 캐싱하고 최적화하기 위한 무료 개방형의 강력한 프레임워크를 제공하는 데 사용됩니다. memcache: memcache는 Danga Interactive에서 개발한 고성능 분산 메모리 객체 캐싱 시스템으로, 동적 애플리케이션에서 데이터베이스 부하를 줄이고 액세스 속도를 향상시키는 데 사용됩니다. 주요 메커니즘은 메모리에 통합된 거대한 해시 테이블을 유지하는 것입니다. Memcache는 이미지, 비디오, 파일 및 데이터베이스 검색 결과 등을 포함한 다양한 형식의 데이터를 저장하는 데 사용할 수 있습니다.
Xcache: 중국인이 개발한 캐시,
전략: PHP용 가속기를 설치하세요.
프록시 서버(캐시 서버):
Squid 캐시(줄여서 Squid)는 널리 사용되는 무료 소프트웨어(GNU General Public License) 프록시 서버이자 웹 캐싱 서버입니다. Squid는 웹 서버의 프런트엔드 캐시 서버 역할을 하여 관련 요청을 캐싱하여 웹 서버의 속도를 높이는 것부터 World Wide Web, 도메인 이름 시스템 및 그룹을 위한 기타 웹 검색을 캐싱하는 것까지 광범위한 용도로 사용됩니다. 네트워크 리소스를 공유하고, 트래픽을 필터링하여 네트워크를 지원하고, 프록시 네트워크를 통해 LAN에 연결합니다. Squid는 주로 Unix 계열 시스템에서 실행되도록 설계되었습니다.
전략: Squid 역방향 프록시 서버를 설치하면 서버 효율성이 크게 향상될 수 있습니다.
스트레스 테스트: 스트레스 테스트는 모든 중요한 소프트웨어 테스트 노력의 일부인 기본적인 품질 보증 동작입니다. 스트레스 테스트의 기본 개념은 간단합니다. 일반적인 조건에서 수동 또는 자동 테스트를 실행하는 대신 컴퓨터 수가 적거나 시스템 리소스가 부족한 조건에서 테스트를 실행하는 것입니다. 일반적으로 스트레스 테스트를 받는 리소스에는 내부 메모리, CPU 가용성, 디스크 공간 및 네트워크 대역폭이 포함됩니다. 동시성은 일반적으로 스트레스 테스트에 사용됩니다.
스트레스 테스트 도구: webbench, ApacheBench 등
취약성 테스트: 우리 시스템의 취약점에는 주로 SQL 주입 취약점, xss 크로스 사이트 스크립팅 공격 등이 포함됩니다. 보안에는 운영 체제 취약점, mysql, apache 등의 취약점과 같은 시스템 소프트웨어도 포함되며 일반적으로 업그레이드를 통해 해결할 수 있습니다.
취약성 테스트 도구: Acunetix 웹 취약점 스캐너