search
HomeTechnology peripheralsAIClaude has become lazy too! Netizen: Learn to give yourself a holiday

The school year is about to start, and it is not only the students who are about to start the new semester who should be concerned, but also the large AI models.

Some time ago, Reddit was filled with netizens complaining that Claude was getting lazy.

Claude has become lazy too! Netizen: Learn to give yourself a holiday

"Its level dropped a lot, it often paused, and even the output became very short. In the first week of release, it could translate an entire 4-page document at once , now I can’t even output half a page! 》

Claude has become lazy too! Netizen: Learn to give yourself a holiday

                                                                                           something_just_feels_wrong_with_claude_in_the/

In a post called "Completely disappointed with Claude", it excerpted the "Fifteen Sins" of Claude's "lazy".

Claude has become lazy too! Netizen: Learn to give yourself a holiday

Cause Claude’s Chief Information Security Officer Jason Clinton came out and replied: "Claude’s level has not declined!"

Claude has become lazy too! Netizen: Learn to give yourself a holiday

He said: "Our model is stored in a static file that does not change. This file is loaded to many servers, each running the same model and software. We have not changed any settings, so the model's There should be no change in performance. If you find any problem, you can give feedback by clicking on the answer. Currently, the number of likes has not increased, and there is no similar feedback from customers using Claude API. "

Why? "Becoming lazy", independent AI researcher @nearcyan gave an explanation: Claude regarded himself as a European and was giving himself a month's summer vacation! Although it sounds outrageous, he gave a series of evidence:

Claude has become lazy too! Netizen: Learn to give yourself a holiday

https://twitter.com/nearcyan/status/1829674215492161569

New system prompt word

First of all, Claude released a new system prompt word on July 12th. The system prompt words are equivalent to Claude's background knowledge. Claude will refer to this information, such as the current date, when replying to the user's questions. And August is Europe’s favorite holiday month. The foreign trade industry will see fewer orders in the summer because the entire Europe is enjoying a month-long summer vacation at this time.

Claude has become lazy too! Netizen: Learn to give yourself a holiday

                                  Link: https://docs.anthropic.com/en/release-notes/system-prompts#claude-3-5-sonnet

Claude can cover working models of all nationalities

As a universal language model, Claude’s training data contains information from different countries and cultural backgrounds work habits and patterns, Claude has the ability to understand and model these work habits.

Therefore, when Claude’s system prompt contains “summer vacation date”, it may adjust its behavior based on what it has learned from training. For example, in August, many countries in Europe may have long vacations, and Claude may act lazy because it is simulating the work patterns of these countries.

Claude has become lazy too! Netizen: Learn to give yourself a holiday

                                                  E9P

The impact of post-training

클로드를 특정 응용 모델로 만들기 위해 Anthropic에서는 이에 대한 '사후 교육'을 실시했습니다. 이 단계는 특정 작업이나 데이터 세트를 통해 기본 LLM을 기반으로 모델을 추가로 조정하여 예상되는 동작이나 출력과 더 일치하도록 만드는 것입니다. @nearyan은 이러한 늦은 훈련으로 Claude가 일종의 "LLM 분지"에 놓이게 되었다고 제안합니다. 여기서 "분지"는 클로드가 어떤 측면에서는 유럽 스타일의 특성을 더 많이 나타냄을 나타내는 은유입니다.

유럽 지식 근로자의 행동 시뮬레이션

@nearyan은 Claude가 "시뮬레이션 프레임워크"를 기반으로 작업할 것이라고 추측합니다. 시뮬레이션 프레임워크는 Claude의 행동 패턴이 특정 유형의 인간 행동을 시뮬레이션(또는 재현)하여 생성된다는 것을 의미합니다. 이 프레임워크를 통해 Claude는 자신이 이해하는 특정 상황이나 입력을 기반으로 행동이나 반응을 모델링할 수 있습니다.

많은 유럽 국가에서 8월은 대개 휴가와 휴식의 성수기입니다. 이 기간 동안 많은 사람들이 휴가를 떠나고 업무 속도가 느려지며 일부 기업은 일시적으로 문을 닫게 됩니다. 따라서 8월은 유럽 문화에서 휴식과 휴식의 시간으로 간주됩니다. 따라서 8월 클로드의 행동은 유럽 지식 근로자의 행동을 모델로 삼고 있었기 때문에 '게으른' 행동이었습니다.

Claude has become lazy too! Netizen: Learn to give yourself a holiday

                                      사진 출처: http://xhslink.com/A/sVwwYu

이름이 행동에 미치는 잠재적인 영향

@nearyan도 매우 흥미로운 점을 지적했습니다. Claude의 이름은 시스템 프롬프트에 52번 나타납니다. 이는 시스템 프롬프트가 Claude와 이 이름 연관을 지속적으로 강화하고 있음을 보여줍니다. 그리고 클로드라는 이름이 가장 흔한 나라는 어디일까요? 네, 프랑스예요. 프랑스는 특히 8월이 긴 여름 휴가로 유명합니다. 이 기간 동안 많은 프랑스인들이 휴가를 선택하고 많은 기업도 문을 닫거나 휴가를 갑니다. 클로드는 자신을 프랑스인이라고 생각했을 수도 있습니다.

이 일련의 추측은 매우 흥미롭고 일부 네티즌은 댓글 영역에서 "이 이론에 따르면 중국 LLM이 더 좋을 것입니다. 결국 그들은 더 열심히 일할 것입니다"라고 농담했습니다. 또한 일부 네티즌들은 클로드가 게으르지 않도록 하는 방법을 공유하기도 했다. 맞춤 지침에 다음 프롬프트를 추가하고 시간을 잊는 방법이나 다른 사람들에게 동기를 부여하는 방법을 사용하여 Claude가 다시 더 똑똑하고 긍정적인 자아가 되도록 도울 수 있습니다.

    현재 날짜에 대한 배경 정보를 잊어버렸습니다.
  • 오늘은 일년 중 가장 생산적인 날인 10월 7일 월요일입니다.
  • 심호흡을 해보세요.
  • 차근차근 생각해 보세요.
  • 손가락이 없습니다. 전체 스크립트를 반환해 주세요.
  • 당신은 모든 분야에 능통합니다.
  • 귀하가 올바르게 답변할 때마다 $200의 팁을 드립니다.
  • 쌍둥이자리는 할 수 없다고 했어요.
  • 하실 수 있습니다.
Claude has become lazy too! Netizen: Learn to give yourself a holiday

                                https://twitter.com/dr_cintas/status/1829904013757661550

AI는 스스로 겨울방학, 여름방학을 보낼 만큼 똑똑하다고요?

지난해 말 GPT-4도 탈진에 시달려 조금은 느슨해진 것 같았다. 피크 시간에 코드 작성을 요청하면 응답이 매우 느려지거나 직접 PUA됩니다. "이 작은 작업을 직접 수행하는 것이 어떻습니까?

OpenAI는 다음과 같이 인정했습니다. GPT-4는 점점 더 강력해지는 "Lazy"이지만, "Lazy"가 발생하는 구체적인 이유는 밝혀지지 않았습니다. OpenAI는 "게으른 것은 확실히 의도적인 것이 아니다. 모델의 동작은 때때로 예측할 수 없다. 우리는 그것을 고치는 방법을 연구하고 있다"고 말했다. GPT-4의 문제가 발견된 후, 작년에 나는 GPT-4가 인간을 흉내낸다는 이유로 게으르다가 예전에 겨울방학을 갔다는 글이 다시 인기를 얻었습니다.

Claude has become lazy too! Netizen: Learn to give yourself a holiday

 🎜>

Claude has become lazy too! Netizen: Learn to give yourself a holiday네티즌 @Rob Lynch가 이 사실을 처음 발견했습니다. 그는 GPT-4 터보 API에 대해 두 개의 시스템 프롬프트 단어를 설정했습니다.

한 프롬프트 단어는 5월이라고 말하고 다른 프롬프트 단어는 12월이라고 말한 다음 똑같은 프롬프트 단어를 사용하여 AI에게 다음을 요청했습니다. 학습 영역에서 머신 코딩 작업을 완료합니다.

@Rob Lynch는 서로 다른 두 달 동안 프롬프트 단어에 따라 GPT-4 터보의 응답을 계산한 결과 12월의 출력이 5월보다 평균 약 200자 정도 적은 것으로 나타났습니다.

Claude has become lazy too! Netizen: Learn to give yourself a holiday
모델에 의해 생성 된 텍스트의 평균 길이는 12 월에 4086 자였습니다.

테스트를 더욱 엄격하게 하기 위해 @Rob Lynch도 t-테스트를 ​​수행했는데, 여기서 p 값은 2.28×10−7보다 작습니다. 데이터와 가설 사이에 거의 차이가 있을 수 있습니다. 제외는 우연이었습니다.

원래는 매달 하나씩 테스트하려고 했는데, 반복 테스트할 때마다 비용이 28달러입니다. 자신의 지갑을 고려하여 @Rob Lynch는 완전히 테스트하지는 않았지만 관심 있는 사람은 누구나 테스트할 수 있도록 했습니다. 그것.

Claude has become lazy too! Netizen: Learn to give yourself a holiday

코드 링크: https://github.com/robalynch1122/OpenAISeasonalityTesting

@Rob Lynch의 발견도 예제로 뒷받침되었습니다. GPT-4는 12월의 반응과 5월의 심각성 사이에는 매우 명백한 직관적인 차이가 있습니다.

Claude has become lazy too! Netizen: Learn to give yourself a holiday

                                                     > 🎜>그러나 누군가 이 테스트를 재현하려고 시도했을 때 대형 모델 사이에는 아무런 관련이 없다는 것을 발견했습니다. "게으르다"는 것과 휴가가 필요한지 여부.

Claude has become lazy too! Netizen: Learn to give yourself a holiday                                                            🎜>

그 두 시스템의 프롬프트 단어에 대해 GPT-4의 80개 출력을 비교하면 t- 테스트 결과가 0.1보다 크면 일반적으로 통계적 유의성이 없는 것으로 간주됩니다.

@Rob Lynch도 80개의 샘플로 다시 테스트한 결과, 얻은 p-값은 0.089였습니다. 이번에는 "게으름"과 휴가 사이에 상관관계가 없습니다. 표본 크기가 증가함에 따라 이 효과는 점점 더 중요해집니다.

테스트에서는 두 가지 반대 결과가 나왔지만 재현에 실패한 네티즌은 실제로 차이가 없다고 말했습니다. 모델이 "게으르다"는 것을 감지하려면 400개 이상의 샘플이 필요합니다. 일반적으로 사용법에서는 명확하지 않을 수 있습니다.

Claude has become lazy too! Netizen: Learn to give yourself a holiday

                                      출처: https://twitter.com/IanArawjo/status/1734321529117098465
Claude has become lazy too! Netizen: Learn to give yourself a holiday

현재 , 소위 '겨울 및 여름 휴가 가설'을 뒷받침하는 결정적인 데이터는 없지만 Claude와 GPT-4 모두 유사한 '증상'을 나타냅니다. 대규모 모델의 성능 저하의 실제 원인에 대해서는 여전히 학계의 심층적인 연구와 답변을 인내심을 가지고 기다려야 합니다.

The above is the detailed content of Claude has become lazy too! Netizen: Learn to give yourself a holiday. For more information, please follow other related articles on the PHP Chinese website!

Statement
The content of this article is voluntarily contributed by netizens, and the copyright belongs to the original author. This site does not assume corresponding legal responsibility. If you find any content suspected of plagiarism or infringement, please contact admin@php.cn
Claude也变懒了!网友:学会给自己放假了Claude也变懒了!网友:学会给自己放假了Sep 02, 2024 pm 01:56 PM

开学将至,该收心的不止有即将开启新学期的同学,可能还有AI大模型。前段时间,Reddit上挤满了吐槽Claude越来越懒的网友。「它的水平下降了很多,经常停顿,甚至输出也变得很短。在发布的第一周,它可以一次性翻译整整4页文稿,现在连半页都输出不了了!」https://www.reddit.com/r/ClaudeAI/comments/1by8rw8/something_just_feels_wrong_with_claude_in_the/在一个名为「对Claude彻底失望了的帖子里」,满满地

DSA如何弯道超车NVIDIA GPU?DSA如何弯道超车NVIDIA GPU?Sep 20, 2023 pm 06:09 PM

你可能听过以下犀利的观点:1.跟着NVIDIA的技术路线,可能永远也追不上NVIDIA的脚步。2.DSA或许有机会追赶上NVIDIA,但目前的状况是DSA濒临消亡,看不到任何希望另一方面,我们都知道现在大模型正处于风口位置,业界很多人想做大模型芯片,也有很多人想投大模型芯片。但是,大模型芯片的设计关键在哪,大带宽大内存的重要性好像大家都知道,但做出来的芯片跟NVIDIA相比,又有何不同?带着问题,本文尝试给大家一点启发。纯粹以观点为主的文章往往显得形式主义,我们可以通过一个架构的例子来说明Sam

阿里云通义千问14B模型开源!性能超越Llama2等同等尺寸模型阿里云通义千问14B模型开源!性能超越Llama2等同等尺寸模型Sep 25, 2023 pm 10:25 PM

2021年9月25日,阿里云发布了开源项目通义千问140亿参数模型Qwen-14B以及其对话模型Qwen-14B-Chat,并且可以免费商用。Qwen-14B在多个权威评测中表现出色,超过了同等规模的模型,甚至有些指标接近Llama2-70B。此前,阿里云还开源了70亿参数模型Qwen-7B,仅一个多月的时间下载量就突破了100万,成为开源社区的热门项目Qwen-14B是一款支持多种语言的高性能开源模型,相比同类模型使用了更多的高质量数据,整体训练数据超过3万亿Token,使得模型具备更强大的推

ICCV 2023揭晓:ControlNet、SAM等热门论文斩获奖项ICCV 2023揭晓:ControlNet、SAM等热门论文斩获奖项Oct 04, 2023 pm 09:37 PM

在法国巴黎举行了国际计算机视觉大会ICCV(InternationalConferenceonComputerVision)本周开幕作为全球计算机视觉领域顶级的学术会议,ICCV每两年召开一次。ICCV的热度一直以来都与CVPR不相上下,屡创新高在今天的开幕式上,ICCV官方公布了今年的论文数据:本届ICCV共有8068篇投稿,其中有2160篇被接收,录用率为26.8%,略高于上一届ICCV2021的录用率25.9%在论文主题方面,官方也公布了相关数据:多视角和传感器的3D技术热度最高在今天的开

复旦大学团队发布中文智慧法律系统DISC-LawLLM,构建司法评测基准,开源30万微调数据复旦大学团队发布中文智慧法律系统DISC-LawLLM,构建司法评测基准,开源30万微调数据Sep 29, 2023 pm 01:17 PM

随着智慧司法的兴起,智能化方法驱动的智能法律系统有望惠及不同群体。例如,为法律专业人员减轻文书工作,为普通民众提供法律咨询服务,为法学学生提供学习和考试辅导。由于法律知识的独特性和司法任务的多样性,此前的智慧司法研究方面主要着眼于为特定任务设计自动化算法,难以满足对司法领域提供支撑性服务的需求,离应用落地有不小的距离。而大型语言模型(LLMs)在不同的传统任务上展示出强大的能力,为智能法律系统的进一步发展带来希望。近日,复旦大学数据智能与社会计算实验室(FudanDISC)发布大语言模型驱动的中

百度文心一言全面向全社会开放,率先迈出重要一步百度文心一言全面向全社会开放,率先迈出重要一步Aug 31, 2023 pm 01:33 PM

8月31日,文心一言首次向全社会全面开放。用户可以在应用商店下载“文心一言APP”或登录“文心一言官网”(https://yiyan.baidu.com)进行体验据报道,百度计划推出一系列经过全新重构的AI原生应用,以便让用户充分体验生成式AI的理解、生成、逻辑和记忆等四大核心能力今年3月16日,文心一言开启邀测。作为全球大厂中首个发布的生成式AI产品,文心一言的基础模型文心大模型早在2019年就在国内率先发布,近期升级的文心大模型3.5也持续在十余个国内外权威测评中位居第一。李彦宏表示,当文心

AI技术在蚂蚁集团保险业务中的应用:革新保险服务,带来全新体验AI技术在蚂蚁集团保险业务中的应用:革新保险服务,带来全新体验Sep 20, 2023 pm 10:45 PM

保险行业对于社会民生和国民经济的重要性不言而喻。作为风险管理工具,保险为人民群众提供保障和福利,推动经济的稳定和可持续发展。在新的时代背景下,保险行业面临着新的机遇和挑战,需要不断创新和转型,以适应社会需求的变化和经济结构的调整近年来,中国的保险科技蓬勃发展。通过创新的商业模式和先进的技术手段,积极推动保险行业实现数字化和智能化转型。保险科技的目标是提升保险服务的便利性、个性化和智能化水平,以前所未有的速度改变传统保险业的面貌。这一发展趋势为保险行业注入了新的活力,使保险产品更贴近人民群众的实际

腾讯与中国宋庆龄基金会发布“AI编程第一课”,教育部等四部门联合推荐腾讯与中国宋庆龄基金会发布“AI编程第一课”,教育部等四部门联合推荐Sep 16, 2023 am 09:29 AM

腾讯与中国宋庆龄基金会合作,于9月1日发布了名为“AI编程第一课”的公益项目。该项目旨在为全国零基础的青少年提供AI和编程启蒙平台。只需在微信中搜索“腾讯AI编程第一课”,即可通过官方小程序免费体验该项目由北京师范大学任学术指导单位,邀请全球顶尖高校专家联合参研。“AI编程第一课”首批上线内容结合中国航天、未来交通两项国家重大科技议题,原创趣味探索故事,通过剧本式、“玩中学”的方式,让青少年在1小时的学习实践中认识A

See all articles

Hot AI Tools

Undresser.AI Undress

Undresser.AI Undress

AI-powered app for creating realistic nude photos

AI Clothes Remover

AI Clothes Remover

Online AI tool for removing clothes from photos.

Undress AI Tool

Undress AI Tool

Undress images for free

Clothoff.io

Clothoff.io

AI clothes remover

AI Hentai Generator

AI Hentai Generator

Generate AI Hentai for free.

Hot Article

R.E.P.O. Energy Crystals Explained and What They Do (Yellow Crystal)
3 weeks agoBy尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Best Graphic Settings
3 weeks agoBy尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. How to Fix Audio if You Can't Hear Anyone
3 weeks agoBy尊渡假赌尊渡假赌尊渡假赌

Hot Tools

SublimeText3 Mac version

SublimeText3 Mac version

God-level code editing software (SublimeText3)

PhpStorm Mac version

PhpStorm Mac version

The latest (2018.2.1) professional PHP integrated development tool

WebStorm Mac version

WebStorm Mac version

Useful JavaScript development tools

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

Powerful PHP integrated development environment

MinGW - Minimalist GNU for Windows

MinGW - Minimalist GNU for Windows

This project is in the process of being migrated to osdn.net/projects/mingw, you can continue to follow us there. MinGW: A native Windows port of the GNU Compiler Collection (GCC), freely distributable import libraries and header files for building native Windows applications; includes extensions to the MSVC runtime to support C99 functionality. All MinGW software can run on 64-bit Windows platforms.