인간은 인공 지능 분야에서 폭발적인 업데이트를 맞이하고 있습니다. 기술이 미지의 세계로 확장되는 모든 단계는 거의 놀라운 관심을 끌고 있습니다.
인공지능의 경계가 확장되는 과정에는 중요한 선로에 기술노선의 혁신과 차이가 공존합니다. 기술 개척자의 판단과 선택은 많은 추종자들의 발자취에 영향을 미칩니다.
지난 한 해 동안 이 웹사이트는 Dark Side of the Moon, Shengshu Technology, Aishi Technology, Wuwen Core Dome 등 우수한 기업을 모든 사람에게 소개하는 데 앞장서서 첫 번째 "만 단어"를 남겼습니다. "인터넷 세상에서. 인터뷰 내용." 기술 경로가 아직 수렴되지 않은 단계에서 진정으로 믿음과 용기, 체계적인 인식을 갖춘 AI 기업가의 리더십을 봅니다.
이에 AGI시대 인공지능의 다양한 분야에서 리더십을 갖춘 창업가를 계속 발굴하고 기록하기를 바라며, AI 분야에서 가장 우수하고 잠재력이 높은 스타트업을 소개하고자 'AI 개척자' 칼럼을 시작합니다. 추적, 공유 AI 분야에서 가장 최첨단이고 차별화된 지식을 보유하고 있습니다. 
작성자: Jiang Jingling
Kuaishou를 떠나 사업을 시작한 후 "Li Yan"은 Kuaishou 공동 창업자인 Su Hua, Redpoint Ventures 및 Matrix Partners로부터 조용히 미화 3,200만 달러의 초기 자금 조달을 받았습니다. Kuaishou의 초기 AI 시스템의 핵심 인물인 Li Yan은 한때 Kuaishou 내에 최초의 딥 러닝 부서를 구축했으며 나중에 Kuaishou가 멀티미디어 이해 기술 시스템을 구축하는 데 도움을 주었습니다. 그의 투자자 중 한 명은 교수와 학자, 모바일 인터넷 사용자, 학문적 천재로 구성된 세 가지 AGI 기업 초상화 중에서 Yuanshi Technology가 "다중 모드, 검색, 추천" 팀을 통합할 수 있는 유일한 회사라고 결론지었습니다. 세 가지 핵심 기술 스택 중 하나입니다. 그러나 리얀은 2023년 초에 사업을 시작했다고 공식적으로 확인한 이후 1년 넘게 거의 자취를 감추었습니다. 지난 1년 동안 우리는 Li Yan의 팀에 그의 창업 아이디어에 대해 이야기를 나누고자 많은 인터뷰 초대장을 보냈지만 “제품이 아직 준비되지 않았습니다(공개)”라고 모두 거절했습니다. 얼마 전 Yuanshi Technology의 제품 "Ask Xiaobai"가 공식 출시되었고 콜드 스타트 내부 테스트가 시작되었습니다. Li Yan 팀이 기업가적 진행 상황을 공개한 것도 이번이 처음입니다. 그래서 우리는 그의 기업가적 계획에 관해 그와 이야기를 나누고자 Li Yan을 다시 찾았습니다. 이번 독점 인터뷰에서 리옌의 선택은 의외로 순수 모델 회사도 아니었고, 복합적인 측면에서 시작하지도 않았습니다. "샤오바이에게 물어보세요" 제품에서는 사용자가 화면을 열자마자 "피드"에서 사용자의 관심도를 바탕으로 AI가 개인화한 AIGC 콘텐츠를 볼 수 있으며 언제든지 "채팅" 기능을 사용할 수 있습니다. AI 기반 콘텐츠와 상호 작용하는 것이 더 상호 작용적입니다. 이것은 자체 개발한 LLM 모델을 기반으로 한 생성적 콘텐츠 커뮤니티 제품이라고 이해할 수 있습니다. 이전 콘텐츠 커뮤니티 제품과 비교할 때 Li Yan의 행동은 "생성적 추천"에 있습니다. 이 분야는 최첨단 기술 연구 분야로 현재까지는 Meta와 CMU만이 일부 구현 성과를 가지고 있습니다. 그는 이전 추천 알고리즘과 비교하여 생성적 추천 알고리즘은 더 이상 협업 필터링 추천 시스템을 기반으로 하지 않을 것이며 추천은 현재의 '10개의 얼굴을 가진 수천 명의 사람'에서 '수천 명의 얼굴을 가진 사람'이라는 진정한 의미로 더욱 지능화될 것이라고 말했습니다. 열 개의 얼굴을 가진 사람 ". 사람은 수천 개의 얼굴을 가지고 있습니다." 사용자의 더 깊은 요구를 탐구함으로써 추천 효율성이 더욱 향상되고, 사용자는 자신에게 더 적합한 정보를 얻을 수 있습니다. 더욱이 대규모 모델에 고품질 코퍼스를 대량으로 주입하면 생성 추천 알고리즘에 '값'이 부여됩니다. 더 이상 사용자를 "기쁘게" 할 수는 없지만 사용자가 실제로 주의가 필요한 고품질 정보에 주의를 기울이도록 안내할 수 있습니다. 현재 중국에서 Li Yan의 팀은 LLM 기반 생성 추천 알고리즘을 제품 및 개발 방향의 핵심으로 사용하는 최초의 스타트업 회사입니다. Yuanshi의 한 투자자는 이 새로운 기술 엔진이 콘텐츠 산업에 가져온 비용 및 효율성의 최적화가 기본적으로 Toutiao의 성공 경로와 일치한다고 믿습니다. 생성적 추천 알고리즘 제품을 만드는 과정에서 "멀티모달, 검색, 추천이라는 세 가지 배경을 가진 유일한 팀은 Li Yan인 것으로 보입니다." ㅋㅋㅋ . Li Yan: 우리는 기술 혁신과 정보 수집을 통해 사용자가 몰입 상태에 진입하고 정신적 피로에 맞서 싸울 수 있도록 돕고 싶습니다. (Mihaly Csikszentmihalyi의 "흐름" 이론에서) 이 사이트: 조금 추상적입니다. 더 자세히 설명해 주실 수 있나요? Li Yan:
우리는 현 시대가 정보 폭발의 시대라고 생각합니다. 정보를 얻을 수 있는 채널은 많지만 우리가 관심 있는 정보를 진정으로 얻을 수 있는 채널은 없습니다.
예를 들어 최근 WAIC에서는 압도적인 보고서를 볼 수 있지만 각 보고서에는 몇 단어만 포함되어 있지만 실제로 관심 있는 정보를 얻을 수는 없습니다. 불안. 우리는 이것이 일종의 "정신적 엔트로피"라는 것을 알고 있습니다.
이 개념은 심리학자 Mihaly Csikszentmihalyi가 제안한 것으로, 우리가 원하는 것과 매우 정확하게 일치합니다. 우리가 하고 싶은 것은 모든 사람이 정보를 보고 행복감과 이득감을 느낄 수 있도록 돕는 것입니다.이 상태는 일부 정보 제품을 과도하게 사용한 후에 느끼는 "더 불안하고, 더 피곤하고, 더 행복하다"는 것과는 다를 것입니다. 이 사이트 : 어떤 정보가 사람들을 불안하고 피곤하게 만드는 것보다 더 행복하고 보람있게 만들까요? Li Yan: 여기에는 "흐름"이라는 개념이 있습니다. 사람들이 정말로 보고 싶은 정보를 볼 때만 흐름 상태에 들어간다는 뜻입니다. 자신과 관계없는 일, 관심 없는 일을 많이 보는 것보다. 이 역시 심리학 연구의 결과입니다. 예를 들어 부모가 자녀에게 숙제를 하라고 요구하지만, 아이는 수동적이고 매우 고통스럽습니다. 그는 무엇인가를 하고 싶을 때 행복을 느낄 것입니다. 그래서 우리는 사용자가 몰입 상태에 들어가 정신적 엔트로피에 맞서 싸울 수 있도록 돕고 싶습니다. 
이 사이트: 사실 대부분의 소셜 커뮤니티의 기본 추천 시스템은 이제 본질적으로 이 목표를 달성하기를 희망합니다(사용자가 정말로 보고 싶은 것을 추천)? Li Yan: 차이가 있습니다. 10년 후인 2034년, 오늘날의 추천 시스템과 그 이면에 깔려 있는 기술을 살펴보면, 실제로는 매우 낙후되어 있습니다. 현재 제품이 하는 일은 사실 완벽한 상태는 아닙니다. 이 사이트: 현재 수준과 "더 나은" 수준을 이해하는 방법은 무엇입니까? Li Yan: 유추할 수 있습니다. 현재의 정보 유통은 정신이 너무 풍부하지 않은 단계의 원시 인간의 본능적 반응에 가깝습니다. '먹고 싶다', '울고 싶다', '웃고 싶다' 등은 매우 직설적이다. 추천 시스템의 반영은 예를 들어 당신이 잘생긴 남자를 좋아한다면 그들은 항상 당신에게 잘생긴 남자를 추천할 것이라는 것일 수 있습니다. 추천 시스템은 그다지 깊이 있는 생각을 갖고 있지 않습니다. 우리 제품이 바라는 것은 사용자의 본능적인 반응을 기쁘게 하는 것이 아니라, 더 높은 지혜와 배려, 사랑으로 추천하는 것입니다. 이 사이트는 더 높은 미학적 차원처럼 들리며 "사용자 교육"과 비슷합니다. 리옌: 정확히 말하면 교육이 아닙니다. 상대적으로 짧은 시간 안에 보면 많은 것들이 명확하게 보이지 않습니다. 하지만 예를 들어 인류 발전의 전체 역사를 살펴보면, 인류 문명의 모든 발전에는 비판과 반성이 따르며, 심지어는 전복과 재건도 수반된다는 사실을 발견할 수 있습니다. 제한이 있습니다. 온라인 세계에서도 마찬가지입니다. 우리는 인류가 축적한 보다 문명화된 요소와 진보된 아이디어를 콘텐츠 유통에 도입하기를 희망합니다. 
技術的な実装パス: モデルが値を持つように、モデルをトレーニングするために高品質のデータを選択します
このサイト: 役立つコンテンツを作成したいと言いました。ユーザーがより良いフローを実現できるようにするには、なぜより良い LLM を作ることから始めるのでしょうか? Li Yan:私たちは、LLM が AGI につながる非常に重要なノードであると信じています。大規模な言語モデルは、ユーザーとコンテンツをよりよく理解でき、ユーザーが何に関心を持っているか、何が好きか、何が嫌いかを知ることができます。ユーザーの個人的な興味や趣味はすべてトークン化でき、大規模なモデルはそれらをよく理解できます。 以前のレコメンデーション システムでは、このレベルの理解は達成できませんでした。ユーザーに多数の個別のラベルを付けて、これを使用してユーザーを特徴付け、理解しようとすることしかできませんでした。現在、大規模なモデルは、ユーザーの既存の興味をよりよく理解できるだけでなく、ユーザーの興味のマイニングを強化し、ユーザーの暗黙の興味や趣味を推測することもできます。 大規模なモデルを使用すると、インターネット全体で最高品質のコーパスを圧縮し、テキストに含まれる人類の文明を圧縮し、これらの文明を使用し、さらにこれらの機能を生成的な推奨事項に適用することができ、その値が得られます。と世界観を融合させ、より高次元の推奨価値観を持ちます。 大きなモデルは実際に橋渡しの役割を果たし、これらの最先端の認知と情報消費を結び付け、コンテンツ消費レベルをさらに向上させます。 このサイト: これらの「高度な」コンテンツは論文を指しますか?社会科学と自然科学の両方が含まれますか、それともどちらか一方に重点が置かれていますか? リー・ヤン: 大型モデルは、インターネット全体で人類が蓄積したあらゆる高度な文明と情報を読み取り、あらゆる面で進歩させることができます。 このサイト: 大きなモデルは「高度な文明」をどのように決定するか? リー・ヤン: 実際、私たち人間は、たとえば権威ある論文や雑誌、有名な学者によって書かれた本などではなく、すでにこの問題について判断を下しています。大きなモデル定義ではなく、人間自身が長い時間をかけて確立した質の高い情報です。 このサイト: では、高品質データのこの部分とは一体何でしょうか?ソース？ Li Yan: 私たちは、データ駆動型モデル機能の構築を重視しています。私たちのモデルでは、利用可能な高品質データの量を 1 桁以上増やすためにアルゴリズムを使用しています。さらに、データの選択に関しては、より古典的な書籍、理論、論文を使用して大規模なモデルをトレーニングし、モデルがユーザーをより深く理解できるようにしています。具体的には、コンテンツの推奨に関しては、ユーザーを盲目的に短期的な快楽に留まらせることはしません。その代わりに、質の高い情報を蓄積することで長期的な幸福が得られます。 このサイト: 生成型レコメンデーションアルゴリズムがユーザーの理解を向上させることができると先ほど述べましたが、異なるレコメンデーションアルゴリズムによるユーザーの理解を比較するための定量的な基準はありますか? Li Yan:企業が異なると追求する目標も異なるため、最適化の目標も異なります。一般的に言えば、期間、クリックスルー率、維持率などが考えられます。当社の技術原則とビジネスの方向性は新しい分野であるため、現在、この問題を評価するための非常に複雑な内部データ システムがあります。 このサイト: LLM において、Yuanshi の現在の技術的利点は何ですか? Li Yan:会社設立の初日、つまり 2023 年 4 月頃から、大規模モデルの最初のバージョンは MoE アーキテクチャに基づいていました。市場における全体的な技術的なルートの選択は非常に前向きです。 2023 年 4 月から現在まで 1 年以上にわたり、私たちのモデルは 4 つのバージョンを繰り返してきました。多くの公開テスト セットで、当社の結果は他の多くのモデルよりも優れています。 さらに、高品質のコーパスにより回答の質が非常に高く、モデルは深く考える能力を備えています。第三に、大規模モデルの速度も非常に競争力があり、遅延が非常に低いです。モデルのトレーニングと推論で極端な最適化を行った結果、大規模なモデルのトレーニングにかかるコストが大幅に削減され、ピーク時の使用料を支払う必要がなくなりました。当サイト：なぜMoEが優れたルートだと思いますか？ Li Yan: 私たちは、独自の製品を作るには、モデルの基礎となるリンクを統合する能力が必要であると信じています。大規模なモデルの時代には、モデルの効果がより優れていることがよくあります。パラメータの数が多いことを意味します。しかし、a to c プロダクトとして、モデル推論のコストが高ければ商業的に成り立ちません。したがって、商業的実現可能性の前提条件として、多数のパラメータと低い推論コストの両方が必要となり、最終的には MoE を選択するしかありません。私たちは初日からこの問題について明確に検討し、最初に書いたコードが MoE でした。 このサイト: Yuanshi はアプリケーション会社として位置付けられているため、研究開発プロセス中に、より経済的である可能性のあるいくつかのオープンソース モデルの使用を検討しましたか? Li Yan: 私たちの目標は、モデルレベルの会社になることではありませんが、それでも大規模なモデルを自社で開発することを選択する理由は、他人のモデルは私たちの目標を達成できないと考えているからです。はい、当社は独自の大型モデルを推進する製品会社です。 モデルレベルでのビジネスモデルの試みは行っておりません。これは私の個人的な知識に関係します。大型模型は水と電気だと思っている人もいますが、つまり、一度私が良い大型模型を作ってしまえば、あなたはそれを作る必要はなく、私の能力を皆さんに使ってもらえるということです。しかし、大規模モデルのより重要な点は、ユーザーに最大限のサービスを提供できることと、固定されたシナリオでユーザーに優れたサービスを提供し、これまでまったく利用できなかったエクスペリエンスを提供できることにあると考えています。 また、変更を微調整する能力には限界があることがわかりました。私たちはこれを非常に革新的に行っているため、基礎となるモデル アーキテクチャに大きな変更を加える必要があります。また、社内で自社開発したモデルを使用して、オープンソース モデルと比較します。事実は、社内で自社開発したモデルの結果がオープンソース モデルの結果よりもはるかに優れていることを証明しています。このモデルは完全に私のシナリオに合わせて構築されているため、トレーニング データの構築からアルゴリズムの設計まで多くの作業が行われました。 このサイト: あなたも中国におけるマルチモダリティの初期の探求者の一人です。マルチモダリティのスケジュールはありますか? Li Yan: 現時点では、テキストラージモデルはまだコア中のコアです。それは知性の基礎です。 
製品価値: ユーザーの個別ニーズにもっと注意を払うことができます
このサイト: Yuanshi Technologyの製品形態は、実際にはほとんどすべての大型モデルCエンドとは異なりますなぜそのような製品を定義したいのですか? Li Yan: 私たちは特定のグループの人々をターゲットにした製品ではなく、幅広い人々をターゲットにしており、垂直的なコンテンツコミュニティではありません。 AI の生成および配信能力の向上により、AI 時代の将来のコンテンツ カテゴリの境界はますます曖昧になると私たちは考えています。 製品レベルでは、当社の製品には現在 2 つの機能があり、1 つはフィード、もう 1 つはチャットです。私たちはこれを「Ask Xiaobai」と呼んでいます。その 1 つは、ユーザーが生活上のあらゆる質問を彼にできることです。一方、Xiaobi はユーザーが AI に尋ねる質問に基づいて、率先してユーザーのことを気にかけ、積極的にユーザーに質問します。 Xiaobaiという名前は、ユーザーが安心感と親近感を持ち、冷たいAIや暴力的なAIを放棄し、ユーザーと密接に接触できるようになることを願っています。 当サイト：では、AI機能を備えたコンテンツ商品として理解できるでしょうか？ Li Yan: はい、また、ユーザーとして、あなたの好みを理解してくれるリアルタイムのオンライン友達でもあります。何かしたいことがあれば、それを手配することもできます。そして、あなたを観察して、あなたに役立つことがないかどうかを判断します。 このサイト: フィード ストリームのコンテンツはすべて AIGC からのものですか?このコンテンツの品質を確保するにはどうすればよいですか? Li Yan: 大規模なモデルを使用してコンテンツを作成する場合は、まずユーザーがどのような種類のコンテンツを好むかを把握し、次にこれらのトピックに基づいて高品質の記事コンテンツを生成して整理する必要があります。これら 2 つのレベルは、一方では理解能力、もう一方では生成能力です。今考えると、これら 2 つの側面における能力の大きなモデルにはまだ改善の余地がたくさんあります。私たちがこの点を大きく改善できる可能性があると信じて事業を始めた理由でもあります。 
このサイト: この製品は Zhihu、Xiaohongshu、Toutiao の AI バージョンに少し似ています。これらと比較すると、違いと利点は何ですか? Li Yan: まず第一に、私たちはユーザーのパーソナライズされたニーズにもっと注意を払っています。先ほどお話しした前世代のすべての製品では、レコメンデーション システムの最も基本的な原則は協調フィルタリングです。つまり、あるユーザーが A と B を好み、別のユーザーが A と C を好む場合は、B と C が好きになります。も同様です。それではBとCをそれぞれご提案させていただきます。この協調フィルタリング方法には非常に明白な問題があります。つまり、常にいくつかの脊椎カテゴリを推奨するということです。 なぜですか？それは、何らかのトピックが好きであれば、そのトピックを好む他の人々と同様に、あなたも美しい女性やハンサムな男性を好む可能性が高く、彼らは皆エンターテイメントを好む傾向があるからです。そのため、システムは最終的に、あなたが実際にエンターテイメントが好きで、ハンサムな男性と美しい女性が好きであると判断します。 この方法には利点があり、ユーザーの時間を急速に短縮して成長を続けることができます。しかし問題は、ユーザーの個人的な興味やニッチな興味が埋もれてしまい、ユーザーを詳細に理解することが困難になってしまうことです。 そして、私たちは大規模なモデルに基づいてこれを行います。まず第一に、私たちは、イケメン、美女、エンターテイメント コンテンツをあなたに推薦するのではなく、あなたの個人的な興味を大切にしたいと考えています。この場合、この推薦システムは真に個別化された推薦システムではありません。 したがって、十分に賢いレコメンデーション システムは、理論的にはユーザーの関心をすべて考慮できるはずです。それがあなたの一般的な興味であっても、ニッチな個人的な興味であっても。これまでのところ十分な取り組みは行われていない。 このサイト: 起業する際に、現在一般的なチャットボットや心の伴侶の製品形式ではなく、この方向性を選択したのはなぜですか? Li Yan:私たちは、LLM とレコメンデーションの統合により、新しいタイプのインタラクション、つまり「アクティブな」インタラクションを必要としないスムーズなエクスペリエンスを定義する機会があると信じています。現時点では、純粋なチャット タイプのインタラクションにはユーザーにとって依然として一定の使用しきい値があり、ユーザーは積極的に質問を開始する必要があります。また、より広範囲のユーザーの浸透と使用もある程度制限されます。現在使用しているすべての推奨製品と同様に、ユーザーは頻繁に使用していますが、依然として繰り返しアンインストールしているユーザーがいます。ふりを繰り返すということは、それなしでは生きていけないことを意味しますが、延期を繰り返すということは、彼が100％満足していないことを意味します。この点は、おすすめ商品には実はまだまだチャンスがあると思わせる点です。 これに基づいて、私個人とチームは検索、AI 研究、大規模な製品実装において深い経験を持っており、私たちのチームの背景はこれを行うのに非常に適していると考えています。 
このサイト: しかし、現在、コンテンツベースの製品は一般に、商品化の道筋が不明確であり、あまり成功していないというジレンマに直面しています。これについてどう思いますか? Li Yan: 私たちはまだユーザーの価値をより完全に実証する段階にあります。大きなユーザー価値に基づいて商業的価値について語ることだけが意味を持ちます。 Kuaishou などの大容量コンテンツ製品の強力な収益化能力を示す非常に成功した例が、多くの製品で提供されています。 このサイト: 製品の話に戻りますが、応答能力が向上した製品の価値は何ですか? リー・ヤン: 2つあると思います。 1 つ目は、回答が優れているほどユーザーの粘着性が高くなり、より多くのユーザーのシグナルを知ることができ、ユーザーをより深く理解できるようになります。最終的に、システムはこれらを使用して、ユーザーが好み、本当に必要とするユーザー向けのコンテンツを作成できます。ポジティブなエクスペリエンスとデータサイクルを継続的に形成します。 このサイト: 楽観的に考えて、生成推奨アルゴリズムの徐々に成熟することは、コンテンツ業界にどのような影響を与える可能性がありますか?あなたの想像の中で、成熟した「初心者に質問する」とはどのようなものになるでしょうか? Li Yan: 生成的なレコメンデーションは、コンテンツ トラックに新しい活力を注入し、精緻な改善ではなく、この分野で大きな変化を起こすことを可能にします。 現在、大型モデルやその他の関連テクノロジーは飛躍的に進歩していますが、人間と AI のコミュニケーションには明らかなボトルネックがあります。私たちは AI テクノロジーの包括性を大幅に促進し、AI を必要とする一般のユーザーに AI の力をもっと感じてもらいたいと考えています。 以上がLi Yan との独占対談: Suhua、Jingwei、Redpoint が資金提供する初の「生成レコメンデーション」AI Pioneers |の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。
