ポール・グレアム氏、トークン数はAI推論の測定に不十分と指摘

人工知能開発企業アンソロピックは18日、同社の最先端AIモデルの独立評価実施に向け、コンサルティング大手アクセンチュアと提携すると発表した。両社は今後5年間にそれぞれ少なくとも10億ドルを投じ、評価体制の構築に充てる。アクセンチュアの専門AI部門が提携を主導し、アンソロピックのモデルの評価やレッドチーミング、アライメント評価、モデルの安全対策の検証を行う。両社の投資は、独立した評価者がAI企業の内部で社員に近いアクセス権を持って作業する「組み込み型評価」と呼ぶ手法を後押しする。アンソロピックは、組み込み型の評価者は企業の運営方法を評価し、安全性に関する約束が守られているかを検証し、盲点を特定できると説明している。両社は他の評価機関やAI開発企業とも同様の形で連携していく方針。