찾다
기술 주변기기일체 포함OpenAI는 오픈 소스입니다. Transformer 자동 디버그 도구는 GitHub에서 온라인으로 제공됩니다.

최근 오픈소스가 부족하다는 비판을 자주 받았던 OpenAI가 갑자기 오픈했습니다.

오늘 아침 OpenAI 머신러닝 연구원인 Jan Leike는 OpenAI가 Transformer의 내부 구조를 분석하는 데 사용되는 자체 내부 도구를 공개했다고 발표했습니다.

OpenAI는 오픈 소스입니다. Transformer 자동 디버그 도구는 GitHub에서 온라인으로 제공됩니다.

GitHub 링크: https://github.com/openai/transformer-debugger

프로젝트가 공개된 지 몇 시간밖에 되지 않았지만, 별 수는 많습니다. 상당히 빠르게 증가했습니다.

OpenAI는 오픈 소스입니다. Transformer 자동 디버그 도구는 GitHub에서 온라인으로 제공됩니다.

Transformer Debugger 소개

Transformer Debugger(TDB)는 사용자가 작은 언어 모델의 특정 동작을 확인할 수 있도록 OpenAI 정렬 팀(Superalignment)에서 개발한 도구입니다. 이 도구는 자동 해석 기술과 희소 자동 인코더의 특성을 결합한 것으로 이해됩니다.

특히 TDB는 코드를 작성하기 전에 신속한 탐색을 가능하게 하며 정방향 전달에 개입하여 모델의 특정 동작에 어떤 영향을 미치는지 확인하는 데 도움을 줄 수 있습니다. TDB를 사용하여 "이 프롬프트(프롬프트)에서 모델이 토큰 B 대신 토큰 A를 출력하는 이유는 무엇입니까?" 또는 "이 프롬프트에서 주의 헤드 H가 토큰 T에 초점을 맞추는 이유는 무엇입니까?"

IT 방법에는 행동에 기여하는 특정 구성 요소(예: 뉴런, 주의 헤드, 자동 인코더 잠재 변수)를 식별하고, 자동으로 생성된 설명을 제시하여 이러한 구성 요소를 가장 강력하게 활성화하는 원인을 분석하고, 구성 요소 간의 연결을 추적하여 사람들이 연결을 발견하고 지원하도록 돕습니다. Transformer 디버깅 중.

OpenAI는 "Interpretability in the Wild: a Circuit for Indirect Object Identification in GPT-2 small" 논문에서 TDB의 기능을 설명하고 TDB를 사용하여 작업을 수행하는 방법을 보여주는 여러 비디오를 공개했습니다.

This 현재 OpenAI의 오픈 소스 콘텐츠에는 다음이 포함됩니다.

  • Neuron 뷰어: TDB를 호스팅하고 다양한 모델 구성 요소(MLP 뉴런, 주의 헤드 및 둘 다에 대한 자동 인코더 잠복)에 대한 정보를 포함하는 React 애플리케이션 정보 페이지입니다.
  • 활성화 서버: 토픽 모델에 대한 추론을 수행하고 TDB에 데이터를 제공하는 백엔드 서버입니다. 또한 공용 Azure Storage 버킷에서 데이터를 읽고 제공합니다.
  • 모델: 활성화를 캡처하는 후크가 포함된 GPT-2 모델 및 해당 자동 인코더를 위한 간단한 추론 라이브러리입니다.
  • 정리된 활성화 데이터 세트: MLP 뉴런, 주의 헤드 및 자동 인코더 잠재성을 포함하는 상위 활성화 데이터 세트의 예입니다.

설치 설정

저장소를 설치하려면 아래 단계를 따르세요. 그 전에는 python/pip와 node/npm이 필요하다는 점에 유의하세요.

필요하지는 않지만 OpenAI는 작업에 가상 환경을 사용할 것을 권장합니다.

# If you're already in a venv, deactivate it.deactivate# Create a new venv.python -m venv ~/.virtualenvs/transformer-debugger# Activate the new venv.source ~/.virtualenvs/transformer-debugger/bin/activate

환경을 설정한 후 다음 단계를 따르세요.

git clone git@github.com:openai/transformer-debugger.gitcd transformer-debugger# Install neuron_explainerpip install -e .# Set up the pre-commit hooks.pre-commit install# Install neuron_viewer.cd neuron_viewernpm installcd ..

TDB 애플리케이션을 실행하려면 팔로우가 필요합니다. 활성화 서버 백엔드 및 뉴런 뷰어 프런트엔드를 설정하는 지침입니다.

변경 사항을 확인하려면:

  • run pytest;
  • run mypy --cnotallow=mypy.ini
  • 활성화 서버와 뉴런 뷰어를 실행하고 TDB 및 뉴런 기본을 확인하세요. 메타 뷰어 페이지와 같은 기능은 계속 사용할 수 있습니다.

Jan Leike는 TDB가 아직 초기 단계의 연구 도구라고 말했습니다. OpenAI는 오픈 소스를 통해 더 많은 사람들에게 혜택을 주기를 희망하며 이를 기반으로 커뮤니티가 지속적으로 개선되기를 기대합니다.

위 내용은 OpenAI는 오픈 소스입니다. Transformer 자동 디버그 도구는 GitHub에서 온라인으로 제공됩니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명
이 기사는 51CTO.COM에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제
요리 혁신 요리 : 인공 지능이 식품 서비스를 변화시키는 방법요리 혁신 요리 : 인공 지능이 식품 서비스를 변화시키는 방법Apr 12, 2025 pm 12:09 PM

AI 식품 준비 여전히 초기 사용 중이지만 AI 시스템은 음식 준비에 점점 더 많이 사용되고 있습니다. AI 구동 로봇은 부엌에서 햄버거를 뒤집기, 피자 만들기 또는 SA 조립과 같은 음식 준비 작업을 자동화하는 데 사용됩니다

파이썬 네임 스페이스 및 가변 범위에 대한 포괄적 인 안내서파이썬 네임 스페이스 및 가변 범위에 대한 포괄적 인 안내서Apr 12, 2025 pm 12:00 PM

소개 파이썬 기능에서 변수의 네임 스페이스, 범위 및 동작을 이해하는 것은 효율적으로 작성하고 런타임 오류 또는 예외를 피하는 데 중요합니다. 이 기사에서는 다양한 ASP를 탐구 할 것입니다

비전 언어 모델 (VLMS)에 대한 포괄적 인 안내서비전 언어 모델 (VLMS)에 대한 포괄적 인 안내서Apr 12, 2025 am 11:58 AM

소개 생생한 그림과 조각으로 둘러싸인 아트 갤러리를 걷는 것을 상상해보십시오. 이제 각 작품에 질문을하고 의미있는 대답을 얻을 수 있다면 어떨까요? “어떤 이야기를하고 있습니까?

Mediatek은 Kompanio Ultra 및 Dimensity 9400으로 프리미엄 라인업을 향상시킵니다.Mediatek은 Kompanio Ultra 및 Dimensity 9400으로 프리미엄 라인업을 향상시킵니다.Apr 12, 2025 am 11:52 AM

제품 케이던스를 계속하면서 이번 달 Mediatek은 새로운 Kompanio Ultra and Dimensity 9400을 포함한 일련의 발표를했습니다. 이 제품은 스마트 폰 용 칩을 포함하여 Mediatek 비즈니스의 전통적인 부분을 채우고 있습니다.

이번 주 AI : Walmart는 패션 트렌드를 설정하기 전에 패션 트렌드를 설정합니다.이번 주 AI : Walmart는 패션 트렌드를 설정하기 전에 패션 트렌드를 설정합니다.Apr 12, 2025 am 11:51 AM

#1 Google은 Agent2agent를 시작했습니다 이야기 : 월요일 아침입니다. AI 기반 채용 담당자로서 당신은 더 똑똑하지 않고 더 똑똑하지 않습니다. 휴대 전화에서 회사의 대시 보드에 로그인합니다. 세 가지 중요한 역할이 공급되고, 검증되며, 예정된 FO가 있음을 알려줍니다.

생성 AI는 사이코브블을 만난다생성 AI는 사이코브블을 만난다Apr 12, 2025 am 11:50 AM

나는 당신이되어야한다고 생각합니다. 우리 모두는 Psychobabble이 다양한 심리적 용어를 혼합하고 종종 이해할 수 없거나 완전히 무의미한 모듬 채터로 구성되어 있다는 것을 알고 있습니다. 당신이 fo를 뿌리기 위해해야 ​​할 일

프로토 타입 : 과학자들은 종이를 플라스틱으로 바꿉니다프로토 타입 : 과학자들은 종이를 플라스틱으로 바꿉니다Apr 12, 2025 am 11:49 AM

이번 주 발표 된 새로운 연구에 따르면 2022 년에 제조 된 플라스틱의 9.5%만이 재활용 재료로 만들어졌습니다. 한편, 플라스틱은 계속해서 매립지와 생태계에 전 세계에 쌓이고 있습니다. 그러나 도움이 진행 중입니다. 엥인 팀

AI 분석가의 부상 : AI 혁명에서 이것이 가장 중요한 일이 될 수있는 이유AI 분석가의 부상 : AI 혁명에서 이것이 가장 중요한 일이 될 수있는 이유Apr 12, 2025 am 11:41 AM

최근 Enterprise Analytics 플랫폼 Alteryx의 CEO 인 Andy MacMillan과의 대화는 AI 혁명 에서이 비판적이면서도 저평가 된 역할을 강조했습니다. MacMillan에서 설명했듯이 원시 비즈니스 데이터와 AI-Ready Informat의 격차

See all articles

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

인기 기사

R.E.P.O. 에너지 결정과 그들이하는 일 (노란색 크리스탈)
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 최고의 그래픽 설정
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 아무도들을 수없는 경우 오디오를 수정하는 방법
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25 : Myrise에서 모든 것을 잠금 해제하는 방법
4 몇 주 전By尊渡假赌尊渡假赌尊渡假赌

뜨거운 도구

MinGW - Windows용 미니멀리스트 GNU

MinGW - Windows용 미니멀리스트 GNU

이 프로젝트는 osdn.net/projects/mingw로 마이그레이션되는 중입니다. 계속해서 그곳에서 우리를 팔로우할 수 있습니다. MinGW: GCC(GNU Compiler Collection)의 기본 Windows 포트로, 기본 Windows 애플리케이션을 구축하기 위한 무료 배포 가능 가져오기 라이브러리 및 헤더 파일로 C99 기능을 지원하는 MSVC 런타임에 대한 확장이 포함되어 있습니다. 모든 MinGW 소프트웨어는 64비트 Windows 플랫폼에서 실행될 수 있습니다.

WebStorm Mac 버전

WebStorm Mac 버전

유용한 JavaScript 개발 도구

SecList

SecList

SecLists는 최고의 보안 테스터의 동반자입니다. 보안 평가 시 자주 사용되는 다양한 유형의 목록을 한 곳에 모아 놓은 것입니다. SecLists는 보안 테스터에게 필요할 수 있는 모든 목록을 편리하게 제공하여 보안 테스트를 더욱 효율적이고 생산적으로 만드는 데 도움이 됩니다. 목록 유형에는 사용자 이름, 비밀번호, URL, 퍼징 페이로드, 민감한 데이터 패턴, 웹 셸 등이 포함됩니다. 테스터는 이 저장소를 새로운 테스트 시스템으로 간단히 가져올 수 있으며 필요한 모든 유형의 목록에 액세스할 수 있습니다.

Dreamweaver Mac版

Dreamweaver Mac版

시각적 웹 개발 도구

안전한 시험 브라우저

안전한 시험 브라우저

안전한 시험 브라우저는 온라인 시험을 안전하게 치르기 위한 보안 브라우저 환경입니다. 이 소프트웨어는 모든 컴퓨터를 안전한 워크스테이션으로 바꿔줍니다. 이는 모든 유틸리티에 대한 액세스를 제어하고 학생들이 승인되지 않은 리소스를 사용하는 것을 방지합니다.