経済的根拠に基づくLLMエージェントのベンチマーク

• LLMエージェントは業務タスクの支援が期待されているが、評価基準が不足している。
• 本論文では、経済的根拠に基づいた業務タスクのベンチマークを提案する。
• タスクの人間の労働時間とコストを比較する新しい評価手法が特徴である。

近年、LLMエージェントは業務タスクの支援が期待されていますが、適切な評価基準が不足しています。本論文では、経済的根拠に基づく長期的な業務タスクのベンチマーク「OmegaUse-OfficeVal」を提案します。このベンチマークは、タスクの人間の労働時間とコストを直接比較できる点が新しい特徴です。業務タスクの評価に関心のある研究者や実務者にとって、興味深い内容となっています。

業務タスクにおけるLLMの評価に興味がある研究者や実務者に向いています。