AIモデルを「初見データ」で測る　NISTの新評価制度AITEが始動

米国国立標準技術研究所（NIST）は2026年7月27日、AIモデルを非公開のテストデータで評価する新制度「AI Technology Evaluation（AITE）」を発表しました。公開ベンチマークの問題や正解が学習データに混ざる「データ汚染」を避け、AIが初めて見るデータへの対応力を同じ条件で比べる仕組みです。

AITEはテストデータを隔離した環境で扱います。7月に制度が始動し、公式スケジュールでは2026年8月から評価期間に入る計画です。単なる順位表ではなく、特定の課題に対するモデルの得意・不得意を、より公平に確かめることが狙いです。

最初は画像を読むAIを3分野で評価

初期の対象は、画像と言葉を一緒に扱う大規模視覚言語モデル（VLM）です。量子科学、ゲノム、公共安全の3分野で、共通のデータ、指標、採点方法を使います。課題は今後追加される予定です。

データ提供者とモデル提供者が参加

参加方法は二つあります。データ提供者は外部に公開していないデータと実用的な課題を提出し、モデル提供者は自分のAIモデルを同じ課題でテストします。参加条件を満たせば申し込めますが、初期のフェーズ1で受け入れる追加のテストとモデルは、ごく少数に限られます。

一つの点数だけで万能とは言えない

NISTのFAQは、当初のデータセットと課題数がまだ少なく、AITEの成績が別のデータや用途でも同じになるとは限らないと説明しています。注目点は順位そのものより、学習に使われていないデータで測る仕組みが整うことです。

参考・出典

https://www.nist.gov/news-events/news/2026/07/announcing-nists-artificial-intelligence-technology-evaluation-aite

https://ai-challenges.nist.gov/aite

https://ai-challenges.nist.gov/aite_faq

画像：NIST AI Challenge Problems（NIST公開情報。表示範囲をトリミング）

https://www.nist.gov/copyrights-disclaimers