グループbwbc

YCU Research Portal YCU Research Portal 企業・他機関 学内の研究者 お問合せ 横浜市立大学WEBサイトへ YCU Research Portal 研究者情報 研究者情報 研究者データベース researchmap 戦略的研究推進事業　研究者一覧 特許・知財 特許・知財 研究シーズ（開放特許） 特許登録一覧 特許出願の流れ(学内専用） 成果生体物（MTA） 成果有体物（MTA）の取り扱いについて（学内専用） 研究支援 研究支援 研究・産学連携推進センター 研究・産学連携推進センター（学内専用サイト） URA部門 次世代臨床研究センター 学長裁量事業 戦略的研究推進事業 学術的研究推進事業 かもめプロジェクト 動物実験委員会 学内研究支援制度 論文投稿支援 (学内専用） 論文投稿料の免除・割引情報（学術情報センター） 海外出張補助支援 (学内専用） 福浦キャンパス RI研究センター（学内専用） 医学部等遺伝子組み換え実験安全委員会(学内専用） 医学部等バイオセーフティ委員会（学内専用） 研究費 研究費 基礎研究費 交付決定一覧 研究成果報告書 (学内専用） 科研費 公募について 科研費（研究活動スタート支援）の公募について 国際共同研究加速基金（海外連携研究）の公募について 交付申請について 支払請求について（基金・継続） 繰越申請（補助金）について 科研費研究者名簿、eRadの登録・更新について 日本学術振興会　外国人研究者招へい事業 日本学術振興会　特別研究員、海外特別研究員の募集について 日本学術振興会　研究環境向上のための若手研究者雇用支援事業 研究費規程 研究計画書・報告書 共同研究 受託開発 奨学寄附金 基礎研究費 発議関係様式 研究費執行マニュアル・旅費の手引き・研究費説明会資料 発議書および様式等 契約約款 特任教員・博士研究員 労働条件・業務の制限・人件費（月給与額）について 採用の流れ 提出書類について・申請書（様式） 特任教員・博士研究員の出張手続き 自発的な研究活動の実施手続き 雇用期間中の各種手続き（様式ダウンロード） 研究費の状況 公募情報 研究拠点 研究拠点 先端医科学研究センター 新興感染症研究センターnew! ゲノム解析センター プロテオーム解析センター セローム解析センター 疾患モデル解析センター エピゲノム解析センター バイオインフォマティクス解析センター トランスレーショナルリサーチ推進室 共同利用・共同研究拠点 コミュニケーション・デザイン・センター 木原生物学研究所 生命医科学研究科 生命ナノシステム科学研究科 医学研究科 国際マネジメント研究科 都市社会文化研究科 データサイエンス研究科 産学連携 産学連携 共同研究制度 受託研究制度 大学発ベンチャー NMR装置群共用利用 利用課題一覧 秘密保持契約 (NDA、CDA) 　 産学連携相談窓口 （学内向け） 研究倫理 研究倫理 研究ポリシー 倫理委員会 委員会議事録 ヒトゲノム・遺伝子等研究等倫理委員会議事録 市民総合医療センター研究倫理委員会 議事録 人を対象とする生命科学・医学系研究倫理委員会（学内専用） 利益相反委員会 利益相反委員会（学内専用） 動物実験規程 医学部等バイオセーフティ委員会 (学内専用） 医学部等遺伝子組換え実験安全委員会 研究倫理eラーニング「eAPRIN」の受講申込 リスクマネジメント リスクマネジメント 研究不正防止への取組 安全保障輸出管理（学内限定） 留学生を受け入れるとき 貨物を輸出する（研究試料や機材を送付する・持ち出す）とき 海外出張に行くとき 規制技術、外国ユーザーリスト、みなし輸出の明確化について 様式一覧、規程等 秘密情報管理（学内限定） 奨学寄附金制度 奨学寄附金制度 奨学寄附金 研究助成金 応募したいとき 採択が決定したとき 産官学協力講座（寄附講座） 企業・他機関 学内の研究者 お問合せ 横浜市立大学WEBサイトへ HOME ニュース一覧 ChatGPTに医学に関する質問をする際の注意点を科学的に明らかに ChatGPTに医学に関する質問をする際の注意点を科学的に明らかに プレスリリース AI 研究 2023.11.15 横浜市立大学医学部 循環器・腎臓・高血圧内科学の土師達也助教（次世代臨床研究センター(Y-NEXT) 兼任）、平和伸仁准教授、田村功一主任教授らの研究グループは、OpenAI社のChatGPT に医学に関する質問をする際の注意点を科学的に検証しました。 ChatGPTに医学に関する質問を与え、その正答率を医学分野ごと（循環器学、小児科学など）に集計して解析を行ったところ、それぞれの医学分野においてこれまでに出版された文献数とChatGPTの正答率が有意な関連を示すことがわかりました。これはChatGPTの性能が、各分野における情報量の違いの影響を受けている可能性を示すものであり、たとえば新薬や新興感染症などの情報量が乏しい分野に関して質問をする際には、回答が正しいかどうか注意が必要であると考えられます。 このほか、正答率に影響を与える要因として質問の形式（多肢選択問題、計算問題など）が重要であるほか、全く同じ問題を連続して出題した際の回答の一貫性によって、ChatGPTの回答が正しいかどうかを予測できる可能性を示しました。 本研究成果は、査読付き英文雑誌「International Journal of Medical Informatics」に掲載されました。（2023年11月3日オンライン公開） 研究成果のポイント ●　医学に関する問題に対するChatGPTの性能について科学的に検証を行った。 ●　ChatGPTの正答率は、それぞれの医学分野においてこれまでに出版された文献数と有意な関連を示し、文献数が少ない領域では正答率が相対的に低かった。 ●　ChatGPTの正答率は、同じ問題を連続して出題した際の回答の一貫性と有意な関連を示し、回答内容に一貫性がない場合には不正答である可能性が高かった。 ●　複数の答えを同時に選ばせる問題 （多肢選択問題）や、計算を必要とする問題では、単純な単肢選択問題と比較して不正答となる可能性が高かった。 研究背景 ChatGPTを含む自然言語処理を可能とする生成系人工知能は、そのユーザビリティの高さから世界規模で急速に利用が拡大しています。利用者は会話をするようにChatGPTにあらゆる事項について質問をし、回答を得ることができます。ChatGPTはインターネット上に存在する膨大なありとあらゆるテキストデータを学習して構築されましたが、医学に関する質問に対して正しい答えを導出するように設計されたわけではありません。したがって、ChatGPTが医学に関する質問に対して正しい答えを導き出せるのか、どのような場合に誤答をする可能性があるのかについては科学的な検証がなされていません。一方で、すでに世界中にユーザが拡大しており、身の回りの医学・保健に関する質問をChatGPTに尋ねる事例も増えていると考えられます。ChatGPTの回答内容は必ずしも常に正しいとは限りませんが、自然な文章内容であることから、利用者は一見してその回答内容の正誤について判断ができないケースも多くあります。 今後、ChatGPTを含む人工知能を正しく利用していくにあたって、われわれはその性能と注意点を科学的に検証し、明らかにしていく必要に迫られています。 研究内容 研究グループは、日本の医師国家試験 3年分をChatGPTに出題し、その正答率と回答の一貫性を集計しました。この研究にはChatGPTの旧モデルであるGPT-3.5と、 最新モデルであるGPT-4の両方が使用されました。その結果、GPT-4はGPT-3.5に比較して著しい正答率の向上を認めました （56.4%から81.0%へ）。回答の一貫性に関しても大幅に向上していることがわかりました （56.5%から88.8%へ）。 さらに、研究グループは試験問題について、その出題形式（単肢選択問題／多肢選択問題／計算問題）や出題内容（循環器学・小児科学など分野ごと）に応じて分類し、正答率に関連する因子についてさらに検証を進めました。ChatGPTはインターネット上の膨大なテキストデータを学習して構築されましたが、その情報量には分野ごとに偏りがある可能性があり、それはChatGPTの性能にも影響を与えた可能性があります。そこで研究グループはインターネット上の情報量の一つの指標として、その分野においてそれまでに出版され、世界的な学術文献・引用情報データベースであるWeb of Science Core Collection (Clarivate社) に収蔵された全ての文献数を集計しました。このデータベースには世界中で刊行された主要な学術雑誌 （約21,000誌）の文献が収録されています。その結果、各分野における正答率は、その分野における総文献数と有意に関連することが多変量解析を含む科学的解析によって明らかになりました （図1）。このほかに出題形式や回答の一貫性 （同一問題を連続して出題した際の回答内容の一致率）が正答率に関連することがわかりました。 図1: 医学分野ごとに集計した正答率との関連性A 同一問題への回答内容の一貫率と正答率との関係／B 各医学分野における総文献数と正答率との関係 今後の展開 これまで医学に関する質問に対するChatGPTの性能や注意点について、科学的に検証を行った研究は乏しく、本研究は先駆的な位置付けとなります。今回の研究はその規模や手法に限定的な点があるため、今後、さらなる検証が必要と考えられますが、本研究の結果は、ChatGPTの性能がその分野における情報量の格差の影響を受けている可能性を示しており、たとえば新薬や新興感染症などの相対的に情報量が乏しい分野に関して質問をする際には、回答が正しいかどうか注意が必要であることを示唆しています。また、ChatGPTの回答内容は必ずしも常に正しいとは限りませんが、自然な文章内容であることから、利用者は一見してその回答内容の正誤について判断ができないケースも多くあります。 今回の研究結果は、利用者がChatGPTの回答内容の正誤を判断する上での一助となることが期待されます。医学に関する質問に対するChatGPTの性能と注意点の理解は、医学分野での実際の運用に加え、一般市民が日常の医学・保健衛生上の問題解決や知識獲得・教育を促進していく上でも非常に有用と考えられます。 論文情報 タイトル： Influence on the accuracy in ChatGPT: Differences in the amount of information per medical field 著者： Tatsuya Haze, Rina Kawano, Hajime Takase, Shota Suzuki, Nobuhito Hirawa, Kouichi Tamura 掲載雑誌： International Journal of Medical Informatics DOI： 10.1016/j.ijmedinf.2023.105283 問い合わせ先 横浜市立大学　広報課 mail: [email protected] 記者発表資料 掲載論文 医学部医学科 循環器・腎臓・高血圧内科学 Tweet PAGETOP 横浜市立大学 研究・産学連携推進センター 〒236-0027 横浜市金沢区瀬戸22-2 お問合せはこちら Copyright© Yokohama City University. All rights reserved.