エージェントの反復開発プロセス

言語モデルは、より予測可能にするための多くの技術が開発されているにもかかわらず、本来予測不可能です。たとえば、OpenAI には、モデルのランダム性を制御するために使用できるシードパラメーターがあります。しかし、これはソフトウェアのリリース方法を劇的に変えました。以前は、コードを書いてコンパイルし、それをリリースしていました。現在ではソフトウェアエージェントを作成し、そのエージェントが期待通りに動作することを保証する唯一の方法は、そのエージェントを一連のテストデータセットで実行し、結果を評価して特定のしきい値を超えているかどうかを確認することです。

imprai では、エージェントを設計する最初のステップとしてテストデータセットを作成します。テストデータセットは、エージェントの最初のアクションであるINPUTアクションに紐づけされます。デザインモードでは、すべてのテストケースが並行して実行され、プロセス全体が高速化されます。また、アクションを「キャッシュ」モードに設定することで、さらにプロセスを高速化し、トークンの使用を節約できます。