明尼蘇達大學(University of Minnesota Law School)四位法學教授讓 ChatGPT 「參加」去年秋季的 4 科課程考試,然後與真正的學生的考試一起被「盲測」評分。
而 ChatGPT 的平均成績為 C+,低於其他學生的 B+平均成績。不過,如果應用於整個課程,那就足夠讓聊天機器人獲得法律學位。 儘管這家全美第 21 位的大學,很可能將這個等級評分的學生「留級」。
研究者稱:「單獨來看,ChatGPT 只是普通的法律學生。而在職場上 ChatGPT 可用作產生初稿,讓工作者將事件做得更有效率。」
現時,很多學校也禁止在課堂考試期間使用網絡,以消除使用 ChatGPT 作弊的可能性,但未來的考試可能會測試他們有效利用人工智能程式的能力。
明尼蘇達大學的法律教授將 ChatGPT 參加侵權、員工福利、稅收和憲法法律方面的考試。該考試共包括 95 個多選題和 12 個短答題。ChatGPT 的考試成績從憲法法律的高分 B 到侵權和稅收的低分 C-不等。
ChatGPT 通常在短答題方面比多項選擇題做得更好,不過其文章表現不一致。研究員稱:「在寫文章時,ChatGPT 表現出對基本法律規則的強大掌握,具有一貫優秀的組織和結構。然而,它在識別相關問題上遇到困難,並且與真正的法律學生相比,對事實只有表面性地應用規則。」