【カジノレオ】口コミは？良い評判&悪い評判を忖度なく全て ...

産総研について ニュース アクセス 調達情報 研究成果検索 採用情報 報道・マスコミの方へ メディアライブラリー お問い合わせ   ENGLISH EN 研究相談・研究データ・ 研究ユニット紹介研究者の方へ プロジェクト相談・ 研究依頼・各種協業相談ビジネスの方へ 産総研ってどんなとこ？ 科学の扉を開こう！一般の方へ 科学の楽しさ、産総研が 取り組んだ製品や事例のご紹介 ENG 研究者 ビジネス 一般 マガジン   研究者の方へ 研究相談・研究データ・ 研究ユニット紹介 ビジネスの方へ プロジェクト相談・ 研究依頼・各種協業相談 一般の方へ 産総研ってどんなとこ？ 科学の扉を開こう！ 科学の楽しさ、産総研が取り組んだ製品や事例のご紹介 産総研について ニュース アクセス 調達情報 研究成果検索 採用情報 報道・マスコミの方へ メディアライブラリー お問い合わせ サイトマップ ご利用条件 プライバシーポリシー 個人情報保護 ホーム > 研究成果検索 > 研究成果記事一覧 > 2020年 > 「機械学習システムの品質評価テストベッドα版（機能限定）」を公開 ツイート 発表・掲載日：2020/11/18 「機械学習システムの品質評価テストベッドα版（機能限定）」を公開 －品質の不透明性を除去し、AIシステムのビジネス活用加速に期待－ NEDOと産業技術総合研究所は、人と共に進化するAIシステムの実現に向けて基盤技術の開発に取り組んでおり、AIシステムに関する品質の指標および測定プロセスを提供する「機械学習システムの品質評価テストベッドα版（機能限定）」を開発し、企業・大学などの開発者向けにオープンソースソフトウエアとして本日、公開しました。 このテストベッドを利用することでAIシステムの品質について定量的に評価するとともに、開発プロセスや評価記録・検証など包括的な支援を行うことができ、品質に関する不透明性の解消やビジネス活用の加速が期待できます。 今後は、品質評価プロセスの共通基盤としての機能をさらに充実させて、AIシステム品質管理のエコシステム構築を目指します。 1．概要 実社会でAIシステムを広く活用するためには、安心して利用可能とする品質マネジメントが不可欠です。 国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）の「人と共に進化する次世代人工知能に関する技術開発事業※1」において、国立研究開発法人産業技術総合研究所（産総研）は2020年6月に「機械学習品質マネジメントガイドライン※2」（以下「ガイドライン」）を公開し、AIシステムのサービスに求められる品質マネジメントに関する取り組みや検査項目を網羅的にまとめました。 このガイドラインに示した品質マネジメントを実施していくためには個別の品質評価項目に対して具体的な品質指標の測定・検査・改善を支援するツール群と、その作業全体を統括管理できる作業環境が必要です。すでに、機械学習モデルの管理とともにAIシステムの品質要件定義から運用までのライフサイクルを支援するいくつかのツールが存在しますが、次々に開発される新しい機械学習モデルや品質測定技術などを柔軟に取り入れられる共通基盤はこれまで存在しませんでした。 このような状況を踏まえ、NEDOと産総研は同事業で「機械学習システムの品質評価テストベッドα版（機能限定）」（以下、「本テストベッド」）の開発を進め、11月18日からWeb上で公開しました。本開発の仕様検討においては、機械学習品質マネジメント検討委員会※3の協力を得ています。（機械学習システムの品質評価テストベッドα版（機能限定）https://github.com/aistairc/qunomon） 本テストベッドは、ガイドラインに沿った品質指標の測定・検査・改善を支援するツール群と、その作業全体を統括管理できる作業環境を提供するオープンソースソフトウエアで構成されています。さらに、新しく開発された機械学習モデルや品質測定技術などを柔軟に取り入れる仕組みを構築しました。これを用いることで、AIシステム開発者とAIシステム品質評価者に品質指標などの定量的評価を提供し、一元的な品質管理プロセス環境を構築することで開発プロセスや評価記録・検証などを包括的に支援します。本テストベッドを公開し、広く企業や大学などのAIシステム開発者・評価手法開発者などに利用されることで、品質に関する不透明性が解消されAIシステムのビジネス活用を加速させることが期待できます。   2．機械学習システムの品質評価テストベッドα版の内容 本テストベッドは、AIシステム開発者・AIシステム品質評価者・評価手法開発者が共同で参加し、AIシステム開発時に品質管理で用いる学習・検査などのツールを組み込み、開発プロセス支援と評価記録・検証とを両立させる作業環境を提供するソフトウエア群です。今回公開される本テストベッドは、以下の三つの要素から構成されます。 ○「AIシステム評価パッケージ（AIT）※4」作成ツール 評価手法開発者が、ガイドラインに基づく評価指標を用い評価測定方法を開発するためのツールです。新たなAIT開発を容易にするエディターと実行エンジンを提供します。 ○品質アセスメントWebサーバー 評価手法開発者が開発したAITを取り込んで品質評価を行うWebサーバーです。評価技術がAITとして当該サーバーに内包されており、評価結果を管理する共通基盤上でアプリケーションプログラミングインターフェース（API）※5経由でAITを利用することができます。 ○評価レポート作成アプリケーション 品質評価者とAIシステム開発者のコミュニケーションを向上させるためのアプリケーションです。このアプリケーションでは、AIシステム開発者が持つデータセットおよび機械学習モデルを総合的に管理する作業環境の下、品質評価に関するレポートをグラフィカルなユーザーインターフェースで簡単に作成できます。 図　機械学習システムの品質評価テストベッドα版   3．今後の予定 引き続きNEDOの「人と共に進化する次世代人工知能に関する技術開発事業」で、データの前処理・可視化・工程管理追跡など、テストベッドα版の機能強化を行います。また、さまざまなAITの収集・管理・共有が可能なオンラインストレージ※6を構築してテストベッドと一体化しβ版を公開します。さらに、公開したテストベッドβ版を実用化レベルのAIシステムの評価に適用し事例を蓄積することで、ガイドラインの使いやすさを向上させ、AIシステム品質管理のエコシステムの構築を目指します。 注釈 ※1　人と共に進化する次世代人工知能に関する技術開発事業 事業期間：2020年度～2024年度 [参照元へ戻る] ※2　機械学習品質マネジメントガイドライン 「人と共に進化する次世代人工知能に関する技術開発事業」で、産総研が企業・大学・国立研究機関などの有識者委員とともに構成した「機械学習品質マネジメント検討委員会」でとりまとめ、初版を2020年6月に公開しました。具体的には、AIシステムにおける品質について、AIシステム利用時に必要な「利用時品質」、AIシステム中で機械学習要素に要求される「外部品質」、機械学習要素が固有に持つ特性の「内部品質」を定義し、AIシステムのライフサイクル全体にわたる品質マネジメントの必要な取り組みや検査項目を網羅的に明示しています。 参考：NEDOニュースリリース　2020年6月30日「機械学習品質マネジメントガイドラインを公開」 https://www.nedo.go.jp/news/press/AA5_101325.html 産総研プレスリリース　2020年6月30日　「機械学習品質マネジメントガイドラインを公開」 https://www.aist.go.jp/aist_j/press_release/pr2020/pr20200630_2/pr20200630_2.html [参照元へ戻る] ※3　機械学習品質マネジメント検討委員会 機械学習品質マネジメントガイドラインおよび関連する文書・ソフトウエアシステム等の検討のための企業・大学・国立研究機関などの有識者で構成された委員会です。　https://www.cpsec.aist.go.jp/achievements/aiqm/members.html [参照元へ戻る] ※4　AIシステム評価パッケージ（AIT: AI system Test package） AIシステム開発に必要なデータセットや機械学習モデルなど、機械学習要素についての具体的な品質尺度を測定するソフトウエアプログラムです。[参照元へ戻る] ※5　アプリケーションプログラミングインターフェース（API: Application Programming Interface） あるソフトウエアの機能を別のソフトウエアやプログラミング言語などから利用するための仕組みです。[参照元へ戻る] ※6　オンラインストレージ インターネット上でデータが保管できるディスクスペースのことです。[参照元へ戻る] 関連記事機械学習品質マネジメントガイドラインを公開 お問い合わせお問い合わせフォーム 産総研について アクセス 調達情報 研究成果検索 採用情報 報道・マスコミの方へ メディアライブラリー お問い合わせ English ニュース お知らせ一覧 研究成果一覧 イベント一覧 受賞一覧 研究者の方へ はじめての方へ 研究成果検索 研究情報データベース お問い合わせ 採用情報 ビジネスの方へ はじめての方へ 研究成果検索 事例紹介 協業・提携のご案内 お問い合わせ AIST Solutions 一般の方へ はじめての方へ イベント情報 スペシャルコンテンツ 採用情報 お問い合わせ 記事検索 産総研マガジンとは 公式SNS @AIST_JP 産総研チャンネル 公式SNS @AIST_JP 産総研 チャンネル サイトマップ このサイトについて プライバシーポリシー 個人情報保護の推進 国立研究開発法人産業技術総合研究所 Copyright © National Institute of Advanced Industrial Science and Technology （AIST） （Japan Corporate Number 7010005005425）. All rights reserved.