찾다
기술 주변기기일체 포함RNN 효율성은 Transformer와 비슷합니다. Google의 새로운 아키텍처는 두 번 연속 출시되었습니다. 동일한 규모에서 Mamba보다 강력합니다.

지난해 12월, 새로운 아키텍처인 Mamba 가 AI 서클을 폭파하고 부동의 트랜스포머에 대한 도전을 시작했습니다. 오늘날 Google DeepMind “Hawk” 및 “Griffin”의 출시는 AI 서클에 새로운 옵션을 제공합니다.


이번에 구글 딥마인드는 기본 모델에서 새로운 행보를 보였습니다.

우리는 순환 신경망(RNN)이 딥 러닝 및 자연어 처리 연구 초기에 중심 역할을 했으며 Google 최초의 엔드투엔드 기계 번역 시스템을 비롯한 많은 애플리케이션에서 실질적인 결과를 달성했다는 것을 알고 있습니다. . 그러나 최근에는 MLP(Multi-Layer Perceptron)와 MHA(Multi-Head Attention)를 결합한 Transformer 아키텍처가 딥러닝과 NLP를 주도하고 있습니다.

Transformer는 실제로 RNN보다 더 나은 성능을 달성했으며 최신 하드웨어를 활용하는 데에도 매우 효율적입니다. Transformer 기반 대규모 언어 모델은 웹에서 수집된 대규모 데이터 세트를 통해 놀라운 성공을 거두었습니다.

큰 성공을 거두었음에도 불구하고 Transformer 아키텍처에는 여전히 단점이 있습니다. 예를 들어, 전 세계적으로 주목받는 2차 복잡성으로 인해 Transformer는 긴 시퀀스로 효과적으로 확장하기가 어렵습니다. 또한 KV(키-값) 캐시는 시퀀스 길이에 따라 선형적으로 증가하므로 추론 중에 Transformer의 속도가 느려집니다. 이 시점에서 순환 언어 모델은 대안이 되며 전체 시퀀스를 고정된 크기의 숨겨진 상태로 압축하고 반복적으로 업데이트할 수 있습니다. 그러나 Transformer를 대체하려면 새로운 RNN 모델이 확장성 측면에서 비슷한 성능을 보여줄 뿐만 아니라 비슷한 하드웨어 효율성도 달성해야 합니다.

Google DeepMind의 최근 논문에서 연구원들은 새로운 게이트 선형 루프 계층인 RG-LRU 계층을 제안하고 MQA(Multi-Query Attention)를 대체하기 위해 그 주위에 새로운 루프 블록을 설계했습니다.

이 루프 블록을 사용하여 두 가지 새로운 모델을 만들었습니다. 하나는 MLP와 루프 블록을 혼합한 모델 Hawk이고, 다른 하나는 MLP와 루프 블록 및 로컬 관심을 혼합한 모델 Griffin입니다.

RNN 효율성은 Transformer와 비슷합니다. Google의 새로운 아키텍처는 두 번 연속 출시되었습니다. 동일한 규모에서 Mamba보다 강력합니다.

  • 논문 제목: Griffin: Mixing Gated Linear Recurrences with Local Attention for Efficient Language Models
  • 논문 링크: https://arxiv.org/pdf/2402.19427.pdf

연구원들은 Hawk와 Griffin이 이전에 Transformers에서 관찰된 것처럼 유지 손실과 훈련 FLOP 사이의 최대 7B 매개변수 사이의 거듭제곱 법칙을 보여준다고 말합니다. 그중 Griffin은 모든 모델 크기에서 강력한 Transformer 기준선보다 약간 더 낮은 유지 손실을 달성합니다.

RNN 효율성은 Transformer와 비슷합니다. Google의 새로운 아키텍처는 두 번 연속 출시되었습니다. 동일한 규모에서 Mamba보다 강력합니다.

연구원들은 다양한 모델 크기에 대해 300B 토큰에 대해 Hawk와 Griffin을 과도하게 훈련시켰습니다. 결과는 훈련된 토큰의 수가 절반에 불과했지만 다운스트림 작업 성능에서 Hawk-3B가 Mamba-3B를 능가한 것으로 나타났습니다. 후자. Griffin-7B와 Griffin-14B는 토큰 수의 1/7만 사용하여 훈련했음에도 불구하고 Llama-2와 비슷한 성능을 발휘합니다.

또한 Hawk와 Griffin은 TPU-v3에서 Transformers와 비슷한 훈련 효율성을 달성했습니다. 대각선 RNN 레이어는 메모리가 제한되어 있으므로 연구원들은 이를 달성하기 위해 RG-LRU 레이어의 커널을 사용했습니다.

또한 추론 중에 Hawk와 Griffin은 모두 MQA Transformer보다 더 높은 처리량을 달성하고 긴 시퀀스를 샘플링할 때 더 낮은 대기 시간을 달성합니다. Griffin은 평가되는 시퀀스가 ​​훈련에서 관찰된 것보다 길 때 Transformers보다 더 나은 성능을 발휘하며 훈련 데이터에서 복사 및 검색 작업을 효과적으로 학습할 수 있습니다. 그러나 사전 훈련된 모델을 미세 조정 없이 복사 및 정확한 검색 작업에서 평가했을 때 Hawk와 Griffin은 Transformers보다 성능이 나빴습니다.

공저자이자 DeepMind 연구 과학자인 Aleksandar Botev는 Gated Linear Loop와 Local Attention을 혼합한 모델인 Griffin이 RNN의 고효율 장점과 Transformer의 표현 능력을 모두 유지하며 확장이 가능하다고 말했습니다. 14B 매개변수 규모.

RNN 효율성은 Transformer와 비슷합니다. Google의 새로운 아키텍처는 두 번 연속 출시되었습니다. 동일한 규모에서 Mamba보다 강력합니다.                                                                  출처: https://twitter.com/botev_mg/status/1763489 634082795780

Seni Bina Model Griffin

Griffin Semua model mengandungi komponen berikut: (i) blok baki, (ii) blok MLP, (iii) blok campuran temporal. (i) dan (ii) adalah sama untuk semua model, tetapi terdapat tiga blok pencampuran temporal: perhatian berbilang pertanyaan global (MQA), tempatan (tetingkap gelongsor) MQA dan blok berulang yang dicadangkan dalam kertas ini. Sebagai sebahagian daripada blok berulang, penyelidik menggunakan Unit Berulang Linear Really Gated (RG-LRU), lapisan berulang baharu yang diilhamkan oleh unit berulang linear.

Seperti yang ditunjukkan dalam Rajah 2(a), blok sisa mentakrifkan struktur global model Griffin, yang diilhamkan oleh pra-normTransformer. Selepas membenamkan jujukan input, kami meneruskannya melalui blok seperti ? (? mewakili kedalaman model) dan kemudian menggunakan RMSNorm untuk menjana pengaktifan akhir. Untuk mengira kebarangkalian token, lapisan linear akhir digunakan, diikuti dengan softmax. Berat lapisan ini dikongsi dengan lapisan pembenaman input.

RNN 효율성은 Transformer와 비슷합니다. Google의 새로운 아키텍처는 두 번 연속 출시되었습니다. 동일한 규모에서 Mamba보다 강력합니다.

Model berulang, kecekapan penskalaan setanding dengan Transformer

Penyelidikan penskalaan memberikan pandangan penting tentang cara melaraskan hiperparameter model dan kelakuannya semasa menskala.

Para penyelidik mentakrifkan model yang dinilai dalam kajian ini, menyediakan lengkung penskalaan sehingga dan melebihi parameter 7B, dan menilai prestasi model pada tugas hiliran.

Mereka menganggap 3 keluarga model: (1) Garis dasar MQA-Transformer; (2) Hawk: model RNN tulen; (3) Griffin: model hibrid yang mencampurkan blok berulang dengan perhatian tempatan. Hiperparameter model utama untuk model pelbagai saiz ditakrifkan dalam Lampiran C.

Seni bina Hawk menggunakan corak sisa dan blok MLP yang sama seperti garis dasar Transformer, tetapi penyelidik menggunakan blok berulang dengan lapisan RG-LRU sebagai blok campuran temporal dan bukannya MQA. Mereka mengembangkan lebar blok gelung dengan faktor kira-kira 4/3 (iaitu, ?_??? ≈4?/3) untuk memadankan secara kasar bilangan parameter blok MHA apabila kedua-duanya menggunakan dimensi model yang sama ?.

Griffin. Kelebihan utama blok berulang berbanding perhatian global ialah ia menggunakan saiz keadaan tetap untuk meringkaskan jujukan, manakala saiz cache KV MQA berkembang secara berkadar dengan panjang jujukan. Perhatian tempatan mempunyai sifat yang sama, dan mencampurkan blok berulang dengan perhatian tempatan mengekalkan kelebihan ini. Para penyelidik mendapati gabungan ini sangat cekap kerana perhatian tempatan boleh memodelkan masa lalu dengan tepat, manakala lapisan berulang boleh menyampaikan maklumat dalam urutan yang panjang.

Griffin menggunakan corak sisa dan blok MLP yang sama seperti garis dasar Transformer. Tetapi tidak seperti garis dasar Transformer MQA dan model Hawk, Griffin menggunakan gabungan blok gelung dan blok MQA. Khususnya, kami menggunakan struktur hierarki yang menggantikan dua blok baki dengan blok berulang dan kemudian blok perhatian setempat (MQA). Melainkan dinyatakan sebaliknya, saiz tetingkap perhatian tempatan ditetapkan pada 1024 token.

Hasil penskalaan utama ditunjukkan dalam Rajah 1(a). Ketiga-tiga keluarga model telah dilatih pada saiz model antara 100 juta hingga 7 bilion parameter, walaupun Griffin mempunyai versi 14 bilion parameter. Keputusan penilaian

pada tugasan hiliran ditunjukkan dalam Jadual 1:

RNN 효율성은 Transformer와 비슷합니다. Google의 새로운 아키텍처는 두 번 연속 출시되었습니다. 동일한 규모에서 Mamba보다 강력합니다.

Hawk dan Griffin kedua-duanya bermain dengan sangat baik. Jadual di atas melaporkan ketepatan dinormalisasi ciri untuk MMLU, HellaSwag, PIQA, ARC-E dan ARC-C, sambil melaporkan ketepatan mutlak dan skor separa untuk WinoGrande. Apabila saiz model bertambah, prestasi Hawk juga meningkat dengan ketara, dan Hawk-3B berprestasi lebih baik daripada Mamba-3B dalam tugas hiliran, walaupun bilangan token yang dilatihnya hanya separuh daripada Mamba-3B. Prestasi Griffin-3B jauh lebih baik daripada Mamba-3B, dan Griffin-7B dan Griffin-14B berprestasi setanding dengan Llama-2, walaupun mereka dilatih menggunakan token hampir 7x lebih sedikit. Hawk adalah setanding dengan garis dasar Transformer MQA, manakala Griffin mengatasinya.

Melatih model gelung pada sisi peranti dengan cekap

Apabila membangunkan dan memanjangkan model, penyelidik menghadapi dua cabaran kejuruteraan utama. Pertama, cara mengecilkan model pemprosesan serpihan merentas berbilang peranti. Kedua, bagaimana untuk melaksanakan gelung linear dengan berkesan untuk memaksimumkan kecekapan latihan TPU. Artikel ini membincangkan kedua-dua cabaran ini dan kemudian memberikan perbandingan empirikal kelajuan latihan garis dasar Griffin dan MQA.

Para penyelidik membandingkan kelajuan latihan saiz model yang berbeza dan panjang jujukan untuk mengkaji kelebihan pengiraan model dalam artikel ini semasa proses latihan. Jumlah bilangan token setiap kelompok dikekalkan tetap untuk setiap saiz model, yang bermaksud bahawa apabila panjang jujukan bertambah, bilangan jujukan berkurangan secara berkadar.

Rajah 3 memplot masa berjalan relatif model Griffin berbanding model garis dasar MQA pada panjang jujukan 2048.

RNN 효율성은 Transformer와 비슷합니다. Google의 새로운 아키텍처는 두 번 연속 출시되었습니다. 동일한 규모에서 Mamba보다 강력합니다.

Kelajuan inferens

Inferens LLM terdiri daripada dua peringkat. Fasa "praisi" adalah untuk menerima dan memproses gesaan. Langkah ini sebenarnya melakukan hantaran ke hadapan pada model. Memandangkan gesaan boleh diproses secara selari sepanjang jujukan, kebanyakan operasi model pada peringkat ini terikat secara pengiraan Oleh itu, kami menjangkakan kelajuan relatif Transformer dan model gelung dalam peringkat pra-populasi adalah sama seperti yang dibincangkan sebelum ini semasa latihan adalah serupa.

Selepas pra-populasi ialah peringkat penyahkodan, di mana penyelidik secara autoregresif mengekstrak token daripada model. Seperti yang ditunjukkan di bawah, terutamanya untuk panjang jujukan yang lebih panjang, di mana cache nilai kunci (KV) yang digunakan dalam perhatian menjadi besar, model berulang mempunyai kependaman yang lebih rendah dan daya pemprosesan yang lebih tinggi dalam peringkat penyahkodan.

Terdapat dua metrik utama untuk dipertimbangkan semasa menilai kelajuan inferens. Yang pertama ialah kependaman, yang mengukur masa yang diperlukan untuk menjana bilangan token tertentu pada saiz kelompok tertentu. Yang kedua ialah throughput, yang mengukur bilangan maksimum token yang boleh dijana sesaat apabila mensampel bilangan token yang ditentukan pada satu peranti. Oleh kerana daya pemprosesan dikira sebagai bilangan token yang disampel didarab dengan saiz kelompok dibahagikan dengan kependaman, anda boleh meningkatkan daya pemprosesan dengan mengurangkan kependaman atau mengurangkan penggunaan memori untuk menggunakan saiz kelompok yang lebih besar pada peranti. Mengambil kira kependaman berguna untuk aplikasi masa nyata yang memerlukan masa tindak balas yang cepat. Throughput juga patut dipertimbangkan kerana ia memberitahu kami bilangan maksimum token yang boleh diambil sampel daripada model tertentu dalam masa tertentu. Sifat ini menarik apabila mempertimbangkan aplikasi bahasa lain, seperti pembelajaran pengukuhan berdasarkan maklum balas manusia (RLHF) atau output model bahasa pemarkahan (seperti yang dilakukan dalam AlphaCode), kerana dapat mengeluarkan sejumlah besar token dalam masa tertentu adalah Satu yang menarik. ciri.

Di sini, penyelidik mengkaji keputusan inferens model dengan parameter 1B. Dari segi garis dasar, ia dibandingkan dengan Transformer MQA, yang jauh lebih pantas semasa inferens daripada Transformer MHA standard yang biasa digunakan dalam literatur. Model yang dibandingkan oleh penyelidik ialah: i) penukar MQA, ii) Hawk dan iii) Griffin. Untuk membandingkan model yang berbeza, kami melaporkan kependaman dan daya pemprosesan.

Seperti yang ditunjukkan dalam Rajah 4, penyelidik membandingkan kependaman model dengan saiz kelompok 16, pra-isi kosong dan pra-isi 4096 token.

RNN 효율성은 Transformer와 비슷합니다. Google의 새로운 아키텍처는 두 번 연속 출시되었습니다. 동일한 규모에서 Mamba보다 강력합니다.

Rajah 1(b) membandingkan daya pemprosesan maksimum (token/saat) bagi model yang sama apabila masing-masing mengambil sampel 512, 1024, 2048 dan 4196 token selepas pembayang kosong. . Prestasi Griffin pada tugas yang memerlukan kebolehan menyalin dan mendapatkan semula juga diterokai, kedua-duanya dalam model yang dilatih untuk tugasan tersebut dan apabila kebolehan ini diuji menggunakan model bahasa yang telah dilatih.

Daripada graf di sebelah kiri Rajah 5, boleh diperhatikan bahawa dalam julat panjang maksimum tertentu, kedua-dua Hawk dan Griffin boleh meningkatkan keupayaan ramalan token seterusnya dalam konteks yang lebih panjang, dan mereka secara keseluruhannya Mampu untuk membuat kesimpulan urutan yang lebih panjang (sekurang-kurangnya 4 kali) daripada semasa dilatih. Griffin, khususnya, menunjukkan prestasi yang sangat baik dalam penaakulan walaupun semasa menggunakan RoPE dalam lapisan perhatian setempat.

Seperti yang ditunjukkan dalam Rajah 6, dalam tugasan penyalinan terpilih, kesemua 3 model dapat menyelesaikan tugasan dengan sempurna. Apabila membandingkan kelajuan pembelajaran pada tugasan ini, Hawk adalah lebih perlahan daripada Transformer, yang serupa dengan pemerhatian Jelassi et al (2024) yang mendapati bahawa Mamba belajar dengan ketara lebih perlahan pada tugasan yang serupa. Menariknya, walaupun Griffin hanya menggunakan lapisan perhatian tempatan, kelajuan pembelajarannya hampir tidak diperlahankan dan setanding dengan kelajuan pembelajaran Transformer.

Untuk butiran lanjut, sila baca kertas asal.

위 내용은 RNN 효율성은 Transformer와 비슷합니다. Google의 새로운 아키텍처는 두 번 연속 출시되었습니다. 동일한 규모에서 Mamba보다 강력합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.
DSA如何弯道超车NVIDIA GPU?DSA如何弯道超车NVIDIA GPU?Sep 20, 2023 pm 06:09 PM

你可能听过以下犀利的观点:1.跟着NVIDIA的技术路线,可能永远也追不上NVIDIA的脚步。2.DSA或许有机会追赶上NVIDIA,但目前的状况是DSA濒临消亡,看不到任何希望另一方面,我们都知道现在大模型正处于风口位置,业界很多人想做大模型芯片,也有很多人想投大模型芯片。但是,大模型芯片的设计关键在哪,大带宽大内存的重要性好像大家都知道,但做出来的芯片跟NVIDIA相比,又有何不同?带着问题,本文尝试给大家一点启发。纯粹以观点为主的文章往往显得形式主义,我们可以通过一个架构的例子来说明Sam

阿里云通义千问14B模型开源!性能超越Llama2等同等尺寸模型阿里云通义千问14B模型开源!性能超越Llama2等同等尺寸模型Sep 25, 2023 pm 10:25 PM

2021年9月25日,阿里云发布了开源项目通义千问140亿参数模型Qwen-14B以及其对话模型Qwen-14B-Chat,并且可以免费商用。Qwen-14B在多个权威评测中表现出色,超过了同等规模的模型,甚至有些指标接近Llama2-70B。此前,阿里云还开源了70亿参数模型Qwen-7B,仅一个多月的时间下载量就突破了100万,成为开源社区的热门项目Qwen-14B是一款支持多种语言的高性能开源模型,相比同类模型使用了更多的高质量数据,整体训练数据超过3万亿Token,使得模型具备更强大的推

ICCV 2023揭晓:ControlNet、SAM等热门论文斩获奖项ICCV 2023揭晓:ControlNet、SAM等热门论文斩获奖项Oct 04, 2023 pm 09:37 PM

在法国巴黎举行了国际计算机视觉大会ICCV(InternationalConferenceonComputerVision)本周开幕作为全球计算机视觉领域顶级的学术会议,ICCV每两年召开一次。ICCV的热度一直以来都与CVPR不相上下,屡创新高在今天的开幕式上,ICCV官方公布了今年的论文数据:本届ICCV共有8068篇投稿,其中有2160篇被接收,录用率为26.8%,略高于上一届ICCV2021的录用率25.9%在论文主题方面,官方也公布了相关数据:多视角和传感器的3D技术热度最高在今天的开

复旦大学团队发布中文智慧法律系统DISC-LawLLM,构建司法评测基准,开源30万微调数据复旦大学团队发布中文智慧法律系统DISC-LawLLM,构建司法评测基准,开源30万微调数据Sep 29, 2023 pm 01:17 PM

随着智慧司法的兴起,智能化方法驱动的智能法律系统有望惠及不同群体。例如,为法律专业人员减轻文书工作,为普通民众提供法律咨询服务,为法学学生提供学习和考试辅导。由于法律知识的独特性和司法任务的多样性,此前的智慧司法研究方面主要着眼于为特定任务设计自动化算法,难以满足对司法领域提供支撑性服务的需求,离应用落地有不小的距离。而大型语言模型(LLMs)在不同的传统任务上展示出强大的能力,为智能法律系统的进一步发展带来希望。近日,复旦大学数据智能与社会计算实验室(FudanDISC)发布大语言模型驱动的中

百度文心一言全面向全社会开放,率先迈出重要一步百度文心一言全面向全社会开放,率先迈出重要一步Aug 31, 2023 pm 01:33 PM

8月31日,文心一言首次向全社会全面开放。用户可以在应用商店下载“文心一言APP”或登录“文心一言官网”(https://yiyan.baidu.com)进行体验据报道,百度计划推出一系列经过全新重构的AI原生应用,以便让用户充分体验生成式AI的理解、生成、逻辑和记忆等四大核心能力今年3月16日,文心一言开启邀测。作为全球大厂中首个发布的生成式AI产品,文心一言的基础模型文心大模型早在2019年就在国内率先发布,近期升级的文心大模型3.5也持续在十余个国内外权威测评中位居第一。李彦宏表示,当文心

AI技术在蚂蚁集团保险业务中的应用:革新保险服务,带来全新体验AI技术在蚂蚁集团保险业务中的应用:革新保险服务,带来全新体验Sep 20, 2023 pm 10:45 PM

保险行业对于社会民生和国民经济的重要性不言而喻。作为风险管理工具,保险为人民群众提供保障和福利,推动经济的稳定和可持续发展。在新的时代背景下,保险行业面临着新的机遇和挑战,需要不断创新和转型,以适应社会需求的变化和经济结构的调整近年来,中国的保险科技蓬勃发展。通过创新的商业模式和先进的技术手段,积极推动保险行业实现数字化和智能化转型。保险科技的目标是提升保险服务的便利性、个性化和智能化水平,以前所未有的速度改变传统保险业的面貌。这一发展趋势为保险行业注入了新的活力,使保险产品更贴近人民群众的实际

致敬TempleOS,有开发者创建了启动Llama 2的操作系统,网友:8G内存老电脑就能跑致敬TempleOS,有开发者创建了启动Llama 2的操作系统,网友:8G内存老电脑就能跑Oct 07, 2023 pm 10:09 PM

不得不说,Llama2的「二创」项目越来越硬核、有趣了。自Meta发布开源大模型Llama2以来,围绕着该模型的「二创」项目便多了起来。此前7月,特斯拉前AI总监、重回OpenAI的AndrejKarpathy利用周末时间,做了一个关于Llama2的有趣项目llama2.c,让用户在PyTorch中训练一个babyLlama2模型,然后使用近500行纯C、无任何依赖性的文件进行推理。今天,在Karpathyllama2.c项目的基础上,又有开发者创建了一个启动Llama2的演示操作系统,以及一个

快手黑科技“子弹时间”赋能亚运转播,打造智慧观赛新体验快手黑科技“子弹时间”赋能亚运转播,打造智慧观赛新体验Oct 11, 2023 am 11:21 AM

杭州第19届亚运会不仅是国际顶级体育盛会,更是一场精彩绝伦的中国科技盛宴。本届亚运会中,快手StreamLake与杭州电信深度合作,联合打造智慧观赛新体验,在击剑赛事的转播中,全面应用了快手StreamLake六自由度技术,其中“子弹时间”也是首次应用于击剑项目国际顶级赛事。中国电信杭州分公司智能亚运专班组长芮杰表示,依托快手StreamLake自研的4K3D虚拟运镜视频技术和中国电信5G/全光网,通过赛场内部署的4K专业摄像机阵列实时采集的高清竞赛视频,

See all articles

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

뜨거운 도구

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

맨티스BT

맨티스BT

Mantis는 제품 결함 추적을 돕기 위해 설계된 배포하기 쉬운 웹 기반 결함 추적 도구입니다. PHP, MySQL 및 웹 서버가 필요합니다. 데모 및 호스팅 서비스를 확인해 보세요.

ZendStudio 13.5.1 맥

ZendStudio 13.5.1 맥

강력한 PHP 통합 개발 환경

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

DVWA

DVWA

DVWA(Damn Vulnerable Web App)는 매우 취약한 PHP/MySQL 웹 애플리케이션입니다. 주요 목표는 보안 전문가가 법적 환경에서 자신의 기술과 도구를 테스트하고, 웹 개발자가 웹 응용 프로그램 보안 프로세스를 더 잘 이해할 수 있도록 돕고, 교사/학생이 교실 환경 웹 응용 프로그램에서 가르치고 배울 수 있도록 돕는 것입니다. 보안. DVWA의 목표는 다양한 난이도의 간단하고 간단한 인터페이스를 통해 가장 일반적인 웹 취약점 중 일부를 연습하는 것입니다. 이 소프트웨어는