오픈 소스 대형 모델 AI 에이전트 운영 체제: Windos와 마찬가지로 AI 에이전트 제어

이 글은 AIGC 오픈 커뮤니티의 허가를 받아 재인쇄되었습니다. 재인쇄하려면 출처에 문의하세요.

AIGC에 대해 더 알고 싶다면 51CTO AI를 방문하세요. 강력한 자동화 기능을 갖추고 있으며 새로운 AI 에이전트 트랙을 만듭니다. 하지만 하위 작업 스케줄링, 자원 할당, AI 간 협업 등에서는 아직 해결해야 할 문제가 많다.

그래서 Rutgers University의 연구원들은 대형 모델을 핵심으로 하는 AI 에이전트 운영 체제인 AIOS를 개발했습니다. AI 에이전트 수가 증가함에 따라 리소스 호출 속도가 낮아지는 문제를 효과적으로 해결할 수 있으며 에이전트 간 컨텍스트 전환을 촉진하고 동시 에이전트를 구현하며 에이전트 액세스 제어를 유지할 수 있습니다.

오픈 소스 주소: https://github.com/agiresearch/AIOS

논문 주소: https://arxiv.org/abs/2403.16971

AIOS의 아키텍처와 우리가 사용하는 것 PC 운영 체제는 유사하며 주로 응용 프로그램 계층, 커널 계층 및 하드웨어 계층의 세 가지 주요 블록으로 나뉩니다. 유일한 차이점은 AIOS가 대형 모델과 관련된 작업을 특별히 관리하는 커널 관리자를 커널 계층에 구축한다는 것입니다.

애플리케이션 계층

,

은 주로 에이전트 애플리케이션(예: 여행사, 수학 에이전트, 코드 에이전트 등)으로 구성됩니다. 커널 계층은 기존 OS 시스템을 결합하여 개발됩니다. 및 대형 모델, OS 시스템은 주로 파일 관리에 사용되며 대형 모델은 AI 에이전트의 스케줄링 및 관리에 사용됩니다.

하드웨어 계층은 CPU, GPU, 메모리 및 주변 장치와 같은 하드웨어 장치로 구성됩니다. 그러나 대규모 모델의 핵심은 하드웨어와 직접 상호 작용할 수 없습니다. 대신 시스템 무결성과 효율성을 보장하기 위해 커널 계층에서 제공하는 호출을 통해 하드웨어 리소스를 간접적으로 관리합니다. AI 에이전트 스케줄러

AI 에이전트 스케줄러는 대형 모델의 컴퓨팅 리소스를 최대한 활용할 수 있도록 대형 모델의 에이전트 요청을 합리적으로 예약하고 최적화하는 역할을 주로 담당합니다. 여러 에이전트가 동시에 대형 모델에 대한 요청을 시작하는 경우 스케줄러는 단일 에이전트가 대형 모델을 오랫동안 점유하여 다른 에이전트가 오랫동안 기다리게 하는 것을 방지하기 위해 특정 스케줄링 알고리즘에 따라 요청을 정렬해야 합니다. .

또한 AIOS의 설계는 보다 최적화된 리소스 할당을 달성하기 위해 프록시 요청 간의 종속성을 고려하는 등 보다 복잡한 스케줄링 전략도 지원합니다.

스케줄링 명령이 없는 경우 에이전트는 작업을 하나씩 순서대로 실행해야 하며 후속 에이전트는 오랜 시간 동안 기다려야 합니다. 스케줄링 알고리즘을 사용한 후 각 에이전트의 요청을 인터리브하고 병렬로 실행되어 전체 대기 시간과 응답 지연

이 크게 줄어듭니다.

Context Manager

대형 모델 생성 프로세스는 일반적으로 Beam Search와 같은 휴리스틱 검색을 사용하므로 검색 트리가 점진적으로 구축되고 다양한 경로가 평가되어 최종 결과가 제공됩니다.

그러나 생성 프로세스 중에 대규모 모델이 스케줄러에 의해 중단되는 경우 모든 중간 상태 손실 및 이전 계산 낭비를 방지하기 위해 컨텍스트 관리자는 현재 빔 검색 트리 상태의 스냅샷을 찍습니다( 각 경로의 확률 등).

대규모 모델이 실행 리소스를 다시 확보하면 컨텍스트 관리자는 중단 시점부터 이전 Beam Search 상태를 정확하게 복원하고 나머지 부분을 계속 생성하여 최종 결과의 무결성과 정확성을 보장할 수 있습니다.

또한 대부분의 대형 모델에는 컨텍스트 길이 제한이 있으며 실제 시나리오의 입력 컨텍스트는 이 제한을 초과하는 경우가 많습니다. 이 문제를 해결하기 위해 컨텍스트 관리자는 긴 컨텍스트를 압축하거나 차단할 수 있는 텍스트 요약과 같은 기능을 통합하여 대형 모델이 긴 컨텍스트 정보를 효율적으로 이해하고 처리할 수 있도록 합니다.

메모리 관리자

메모리 관리자는 주로 단기 메모리 자원을 관리하고 각 AI 에이전트의 상호 작용 로그 및 중간 데이터에 대한 효율적인 임시 저장소를 제공하는 역할을 담당합니다.

AI 에이전트가 실행을 기다리거나 실행 중일 때 필요한 데이터는 메모리 관리자가 할당한 메모리 블록에 저장됩니다. 에이전트 작업이 끝나면 해당 메모리 블록도 시스템에서 재활용되어 메모리 리소스의 효율적인 활용을 보장합니다.

AIOS는 각 AI 에이전트에 독립적인 메모리를 할당하고 액세스 관리자를 통해 서로 다른 에이전트 간의 메모리 격리를 달성합니다. 앞으로 AIOS는 AI 에이전트의 전반적인 성능을 더욱 최적화하기 위해 더욱 복잡한 메모리 공유 메커니즘과 계층적 캐싱 전략을 도입할 예정입니다.

AIGC에 대해 더 알고 싶다면 다음을 방문하세요: 51CTO AI.x 커뮤니티

https://www.51cto.com/aigc/

위 내용은 오픈 소스 대형 모델 AI 에이전트 운영 체제: Windos와 마찬가지로 AI 에이전트 제어의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!