由伯克利大学主导团队 LMSYS Org 近日发布了一个针对大语言模型的基准平台 Chatbot Arena。该平台采用匿名、随机的方式让不同的大模型产品进行对抗评测，基于国际象棋等竞技游戏中广泛使用的 埃洛等级分系统，通过用户投票产生，系统每次会随机选择两个不同的大模型机器人和用户聊天，并让用户在匿名的情况下选择哪款大模型产品的表现更好一些。最后系统根据用户的选择判定大模型产品的积分，以排行榜的形式出现在首页中。在上线一周后， Chatbot Arena 便吸引了超过4700次匿名投票，并有越来越多人开始在该平台为不同的大模型产品投票。