{"componentChunkName":"component---src-templates-post-template-js","path":"/posts/voyager","result":{"data":{"markdownRemark":{"id":"b99898eb-f533-5b04-9e6c-bea4b165a14e","html":"

「Voyager: An Open-Ended Embodied Agent with Large Language Models」を読んだメモです。

\n

Abstract

\n
\n

1) an automatic curriculum that maximizes exploration, 2) an ever-growing skill library of executable code for storing and retrieving complex behaviors, and 3) a new iterative prompting mechanism that incorporates environment feedback, execution errors, and self-verification for program improvement.

\n
\n

とくに 2) の動作をスキルライブラリとして保存することや、3) の検証まわりが気になった。

\n

2 Method

\n

2.2 Skill Library

\n
\n

Adding a new skill. Each time GPT-4 generates and verifies a new skill, we add it to the skill library, represented by a vector database.

\n
\n

スキルを生成して検証したら、ベクトルデータベースに保存するとのこと。

\n

2.3 Iterative Prompting Mechanism

\n

3 種類のフィードバックをするとのこと。

\n
    \n
  1. 環境（マインクラフト）からのフィードバック
    2. \n
  2. 実行エラー
    3. \n
  3. タスクの成功の検証
    4. \n
\n
\n

Instead of manually coding success checkers for each new task proposed by the automatic curriculum, we instantiate another GPT-4 agent for self-verification.

\n
\n

別の GPT-4 インスタンスに検証させるとのこと。

\n

3 Experiments

\n

3.2 Baselines

\n

ベースラインとして ReAct、Reflexion、AutoGPT と比較するとのこと。

\n
\n

therefore we have to re-interpret them to be executable in MineDojo and compatible with our experimental setting:

\n
\n

「MineDojo」でプレイ可能なように実装し直した？\nMineDojo は Minecraft の API のようなもの？

\n\n

Voyager は Mineflayer を使っているとのこと。\nMineflayer は、Minecraft の JS/Python API。

\n\n

3.5 Multimodal Feedback from Humans

\n

この時点では GPT-4 は Vision がなかったとのこと。

\n
\n

We demonstrate that given human feedback, Voyager is able to construct complex 3D structures in Minecraft, such as a Nether Portal and a house (Fig. 10). There are two ways to integrate human feedback:

\n
\n

人間からのフィードバックがあると、3D の建造物を建てたりできたとのこと。

\n

感想

\n

Minecraft に限った要素が多いのかと思ったら、むしろ汎用的な要素が多くて驚いた。

\n

とくにスキルを検証して保存しておくのは、元々そのようなエージェントを作りたいと思っていたので面白かった。

\n

GPT-4V がなかったころの論文なので、視覚情報が増えたらどうなるかも気になった。

","fields":{"slug":"/posts/voyager","tagSlugs":["/tag/llm/","/tag/agent/"],"autoRecommendPosts":["llm-based-agents-survey","llm-patterns","a-survey-of-agents","mrkl-systems"]},"frontmatter":{"date":"2024-01-29T12:34:25.821Z","description":"「Voyager: An Open-Ended Embodied Agent with Large Language Models」を読んだメモです。","tags":["llm","agent"],"title":"「Voyager: An Open-Ended Embodied Agent with Large Language Models」を読んだメモ","socialImage":null,"recommendPosts":null}}},"pageContext":{"slug":"/posts/voyager"}},"staticQueryHashes":["251939775","3942705351","401334301"]}