앉은자리에서 '해리포터' 시청 : AI 대형 모델 '양자 속도 읽기', 1분은 인간의 5시간에 해당

최근 OpenAI는 GPT 시리즈 모델과 ChatGPT로 가장 주목받는 연구 기관이었습니다. 그런데 지난 2년 사이에 AI 스타트업 회사가 모두의 눈에 들어오고 있습니다. 이 회사는 Anthropic이라고 합니다. 2021년에 설립된 회사입니다. 일반 AI 시스템과 언어 모델 개발에 중점을 두고 있으며 책임 있는 AI라는 개념을 고수하고 있습니다. 사용.

2020년 말 OpenAI 핵심 직원들의 집단 사퇴 사건을 아직도 기억하고 계시는지 궁금합니다. 당시 이 사건은 AI계에 적잖은 파문을 일으켰습니다. Anthropic은 OpenAI의 전 연구 부사장인 Dario Amodei, GPT-3 논문의 첫 번째 저자인 Tom Brown 등을 포함하여 떠난 이들 직원에 의해 만들어졌습니다.

올해 1월 Anthropic은 7억 달러 이상의 자금을 조달했으며, 최근 라운드에서 50억 달러의 가치를 평가했습니다. 동시에 ChatGPT가 출시된 지 두 달 만에 회사는 구 클럽인 ChatGPT를 벤치마킹한 인공 지능 시스템인 Claude를 빠르게 개발했습니다.

Claude 애플리케이션 액세스 주소: https://www.anthropic.com/earlyaccess

Claude는 Anthropic에서 개발한 "헌법 AI"라는 메커니즘을 사용합니다. AI 시스템을 인간의 의도에 맞추는 '기반' 접근 방식입니다.

Claude는 요약 요약, 검색, 작성 지원, Q&A, 코딩 등의 작업을 완료할 수 있습니다. 사용자 피드백을 바탕으로 Claude는 유해한 출력을 생성할 가능성이 낮고, 대화를 더 쉽게 진행하고, 제어하기가 더 쉽습니다. 이 외에도 Claude는 지시에 따라 자신의 성격, 말투, 행동을 설정할 수 있습니다.

Anthropic은 Claude에 대한 기술적 세부 사항을 많이 제공하지 않았지만 Claude의 기술은 "Constitutional AI: Harmlessness from AI Feedback"이라는 논문에 설명되어 있습니다.

논문 주소: https://arxiv.org/pdf/2212.08073.pdf

1월 초, 연구자들은 Claude가 한 번에 처리할 수 있는 최대 텍스트 양을 테스트했는데, 이는 Claude가 처리할 수 있는 최대 텍스트 양을 보여줍니다. 8k 토큰의 정보를 불러옵니다.

얼마 전인 이번 주 목요일에 Anthropic은 100K Context Windows를 출시했습니다. Claude의 컨텍스트 창을 9k 토큰에서 75,000 단어에 해당하는 100k로 확장합니다. 이는 기업이 Claude가 소화하고 해석할 수 있도록 수백 페이지에 달하는 자료를 제출할 수 있으며 그와의 대화는 몇 시간 또는 며칠 동안 지속될 수 있음을 의미합니다. 이제 Anthropic API를 통해 100,000개의 컨텍스트 창에 액세스할 수 있습니다.

대형 모델이 발전할수록 동시에 처리할 수 있는 텍스트가 길어진다는 것을 알고 있습니다. 75,000 단어의 개념은 무엇인가요? 아마도 '해리포터'의 첫 부분을 한 번의 클릭으로 요약하는 것과 같을 것입니다.

대부분의 에세이, 뉴스 보도, 단편 소설이 문제가 되지 않는 것 같습니다.

Claude Evolution: 진정한 "AI 양자 속도 읽기"

과학 연구에 따르면 일반 사람들은 약 5시간 안에 100,000개의 토큰을 읽을 수 있으며, 이러한 정보를 소화하고 기억하고 분석하는 데 더 오랜 시간이 걸릴 수 있습니다. 이제 Claude는 이 작업을 1분 이내에 완료할 수 있습니다.

컨텍스트 창에 대한 일반 계산입니다.

Anthropic은 먼저 "The Great Gatsby"의 전체 텍스트를 Claude-Instant에 로드했습니다(72K 토큰, Claude에는 Claude와 Claude Instant의 두 가지 버전이 있으며 Claude는 가장 진보된 고성능 모델인 반면 Claude Instant는 더 가볍고 저렴합니다. ) 그리고 "Mr. Carraway는 Anthropic에서 기계 학습을 담당하는 소프트웨어 엔지니어입니다."라는 줄을 수정했습니다. Anthropic이 모델에게 원문과의 차이점을 찾아보라고 요청하자 22초 만에 정답을 내놓았습니다.

긴 텍스트를 읽는 것 외에도 Claude는 문서에서 정보를 검색하는 데 도움을 주어 비즈니스 운영에 도움이 됩니다 . 사용자는 여러 문서나 책을 프롬프트에 놓은 다음 Claude에게 질문을 할 수 있습니다(텍스트의 여러 부분에 대한 포괄적인 지식 분석 필요). 복잡한 문제의 경우 이는 벡터 검색 기반 방법보다 훨씬 더 효율적일 수 있습니다. Claude는 인간 비서처럼 사용자의 지시를 따르고 그들이 검색하는 정보를 반환할 수 있습니다.

Anthropic은 그런 다음 대규모 언어 통합 도구인 LangChain API 개발자 문서(240페이지)를 모델에 넣은 다음 질문에 대한 응답으로 Anthropic 언어 모델을 사용하여 LangChain 데모를 제공했습니다.

한편, 100,000개 토큰은 약 6시간 분량의 오디오로 변환할 수 있습니다. AssemblyAI는 긴 팟캐스트를 약 58,000개의 단어로 변환한 다음 Claude를 사용하여 요약 요약 및 Q&A를 수행함으로써 이를 훌륭하게 시연했습니다.

이미지 출처: AssemblyAI

요약하자면, 100k 컨텍스트 창을 사용하여 사용자는 다음을 수행할 수 있습니다. 연구 논문

• 회사 연례 보고서를 기반으로 전략적 위험과 기회를 분석합니다.
• 특정 법률의 장단점을 평가합니다.
• 법률 문서에서 위험, 주제 및 다양한 주장을 식별합니다.
• 기술적인 질문에 대한 답변이 포함된 수백 페이지의 개발자 문서
• 전체 코드베이스를 컨텍스트에 배치하고 지능적으로 구축하거나 수정하여 빠르게 프로토타입을 제작하세요.
• 일부 네티즌들은 Context Windows와 Claude 100k 및 GPT-4 32K의 관계를 생생하게 묘사하기 위해 다음 밈을 사용했습니다.

출처: Twitter @nathanwchan

가격에 관해서는 Anthropic 기술자 Ben Mann이 100K Context Windows의 백만 토큰 가격이 이전 모델과 동일하다고 말했습니다.

위 내용은 앉은자리에서 '해리포터' 시청 : AI 대형 모델 '양자 속도 읽기', 1분은 인간의 5시간에 해당의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!