当社は、2022年から東京大学大学院工学系研究科「中須賀・船瀬・五十里研究室」と「宇宙×IT」「衛星データ×AI」をテーマとした共同研究を進めています。
この取組みの一環として、2024年11月7日、兵庫県姫路市で開催された「第68回宇宙科学技術連合講演会」にて「生成AIを用いた衛星データ活用推進の試み」に関する論文を発表しました。
研究メンバー
・アドソル日進株式会社 浜谷 千波
・アドソル日進株式会社 林 正規
・OppofieldsLLC 向井田 明
・東京大学 中須賀 真一
本研究は、これから衛星データを活用しようとする利用者（初心者）が一歩踏み出すことをサポートするためのAIシステムの開発を目指して行われたものです。
※このウェブサイトでは、発表内容について、わかりやすさを重視し、文章でまとめ直しています。
地球観測衛星の時間・空間分解能が高まり、また気候変動や環境保護などSDGs 視点の高まりもあり、地球観測衛星データの活用への期待は増してきています。一方、そのデータの専門性・特殊性から、初めて活用しようとする際のハードルはけっして低くはありません。また、まだ可能性も不明瞭なうちから専門家への依頼することも通常は躊躇われます。広く利用が進んできたChatGPTなどのチャットAIは、情報収集において大変強力ですが、その分野の知識がない場合、活用が容易とは限りません。利用者を支援できるコンサル的、教育的側面からの回答は、対象が確立・成熟した領域であれば、チャット AI の頭脳である AI モデル（LLM:大規模言語モデル）がそういった側面も含めて学習済みであるため適切な回答生成も期待できます。しかし、衛星データ活用分野は、まだそのように成熟しているわけではありません。
本研究では、こうした状況を踏まえ、衛星データ活用の専門家知見に基づき、利用者が新たなステップを踏み出す支援ができるチャットAIの開発を目指します。
私達は、衛星データに興味を持った際、まずは用途や、使用可能な衛星のタイプといった「活用の方向性」を明確にし、さらに、その方向性に沿って詳細な知識を得て何らかの具体的アプローチをとっていくことになると想定し、それぞれのステップにアプローチすべく、次の二つの課題を定義しました。
（１）活用の方向性を明確にする「窓口」AIの提供:
（２）専門家のリアル知見を提供する「専門家」AIの提供:
本研究においては、これらの課題に対応する AI 試作を行い、狙うコンセプトの実現性を検証するとともに、今後解決が必要となる課題明確化を目指します。
「窓口 AI」「専門家 AI」を実現し、衛星データの理解促進につながる具体的なアドバイス を提供するためには、LLM（大規模言語モデル） の活用が重要なカギとなります。LLM は、文字列を入出力とする AI モデルですが、そのインプットの工夫によって様々に複雑な機能を実現します。今回重要な役目を果たすのが次の二つの技術です。
（１）システムプロンプト
システムプロンプトとは、LLM に対しての指示（スタイル、制約、ヒントなど）であり、ユーザから入力された質問（ユーザプロンプト）に、システム内で自動的に加えられることで、より目的に沿った回答生成が期待できます。
（２）RAG (Retrieval-Augmented Generation)
RAGとは「外部からの情報」を組み合わせた回答を可能にする仕組みです。利用者の質問に関連する情報を事前準備された外部文書（以降「RAG用文書」）から検索し、その検索結果を利用者からの質問とともにLLMに入力することで、例えば特定の専門家知見といったLLMが学習していない情報を使った回答を生成できます。
この二つの技術、「システムプロンプト」「RAG」を活用して、「窓口 AI」と、「専門家 AI」の２段階で構成される AI システムを構築していきます。
このシステムの付加価値は、RAG 用文書に記載される専門家知見と、システムプロンプトや RAG 実現 における詳細な工夫にあります。また RAG に関してはその性質上、試行錯誤を繰り返しながら、性能を向上させることが必須です。こうした特性をふまえ実装方針を以下と定めシステム設計をしました。
● RAG部分の試行・評価を簡単に実施できること
● ユーザインターフェースなどシステム開発面は出来るだけ省力化すること
● RAG用文書を資産として守ること、LLMの学習に使われないこと
（１）窓口AI:
主に前述の「システムプロンプト」の工夫によって、利用者が持つ曖昧なイメージから、具体的な使い道の発想を助けて用途を明確にしていく手助けをし、最終的にはそのニーズに最適な専門家AIを紹介することを目指します。
（２）専門家AI:
窓口AI のナビゲーションの結果、ある程度要件が明確になってきた後で使われることを前提に、実経験に富む専門家知見を活かして、「利用者が次に取るべきステップ」の提供を目指します。RAGの性能改善のための工夫が重要課題となってきます。
今回の試行においては、窓口AIは、システム開発を省力化すべくOpenAIが提供するチャットAIカスタイマイの仕組み（GPTs）を用いて実装し、専門家AIについてはRAG用文書の安全性確保や評価と調整のやりやすさから、Microsoft Azure上のAzure AI Studioを用いて開発しました。今後も検討を継続し、最終的には、安全性と利用者の利便性を踏まえた構成を目指していきます。
実装方針で述べた窓口AIのナビゲーションを実現するために、システムプロンプトに盛り込んだ重要なポイントは次の二つです。
（１）利用者の状況に応じた、自動的な回答方針の切り替え
具体的には、以下のステップを指示します。
① 利用者状況の判断
AIは質問の内容を分析し、利用者の用途が明確で、それに 合いそうな衛星データ種類を絞れるか（YES/NO）を判断します。
② 判断結果による回答方針の切り替え:
・YESの場合は方針1：「用途に合った専門家AIの提示」方針で回答
・NOの場合は方針２：「用途を明確にすることを促す会話をする」方針で回答。
（２）提示すべき専門家AI決定ルール
方針１の回答の場合に提示すべき情報の指定です。具体的には「光学衛星」が適切な用途の場合は「光学衛星専門家AI」（に該当するAIのURLなどのアクセスに必要な情報）などの定義となります。
実際に、以下に示す窓口AI部分の試行例のように、自動的に方針が切り替わることが確認できました。
窓口AIの試行例
「専門家AI」の実現においては、より実践的で具体的な情報を提供するために専門家のリアルな知見を盛り込んだ「RAG用文書」が要となります。
（１）RAG用文書の目的
以下の観点からの試行をすべくRAG用文書を準備します。
① 専門家の思考を提供:
一般的なチャット AI の提供する「一般的、網羅的」な情報では提供困難な、専門家の実経験に基づいた分析、見解によって構築された「次のステップに進むための」「より具体的で役立つ情報」を提供します。
② LLMの偏りなどへの対応:
LLM はその学習の性質から、公開情報の偏りが反映されがちです。衛星データについてならば、Sentinelなど無料で公開情報が多いものは言及されやすく、また、たとえば事例体系などボトムアップな整理をLLMは試みますが、これも公開情報の偏りが反映されることになります。こうした側面の補強も、RAG文書で試みます。
（２）RAG用文書内容
今回は、試行第一弾として、「光学衛星専門家AI」を題材に、 RAG用文書に次の内容を記載し、AI試作・改善・評価を実施しました。
① 光学衛星活用の7つのカテゴリと、其々で「まずは知っておいて欲しいこと」
② 民間衛星の代表例（能力面）
③ 光学衛星の課題と対策
④ 衛星データの参考サイト
RAG用文書として提供した専門家の意図が、より「正しく検索」され、「適切に回答に使われる」ために実施した工夫のポイントは以下の３つです。
（１）RAG用文書の前処理・構造化:
（２）RAGプログラム中の様々なパラメータの調整
（３）システムプロンプトの調整
（１）と（２）を通じて、元文書で意図する文書構造がAI処理中で「より維持され、使われるよう」に整え、（３）を通じて、LLMが回答を生成する際に、渡された文書データから、重視すべき点などを指示します。これら三つの視点からの調整と実験を繰り返すことで性能を改善していきます。
今回の試行においては、専門家AIの狙いを踏まえて、評価メトリクスの定義やテストケースを準備し、また、評価の自動化によって効率的に評価の繰り返し・性能改善を進めました。
（１）評価メトリクス
多様な入出力を特徴とするLLMの評価は難しく、とりわけRAGの場合は外部から提供される文書の存在もあいまって、標準化され広く認知されたメトリクスが定まっているわけではないのですが、本研究の趣旨や作業の効率化をふまえて、最終的には以下の三つを選択しました。
① Groundedness（根拠度）
AIの回答が、RAG用文書の内容に基づいているか、すなわち、提供された情報に適切に紐づけられているかの度合い
② Relevance（関連度）
AIの回答が、質問に対して「まっとうに」すわなち、質問と関連性が高い情報を提供しているかの度合
③ Similarity（類似性）
AIの回答が、専門家の意図に沿っているかの度合
RAG用文書の何れかに記載した語句を多用した回答であれば①の根拠度は高くなりますが、これは必ずしもRAG用文書を提供した専門家の意図どおりとは限りません。「そうではなく、この箇所から読み取って欲しい」という点から評価する必要があります。そのために、準備された「正解」との類似性である③が必要となりました。
（２）テストケースとメトリクス評価結果
光学衛星専門AIに対して想定される利用者質問を以下3つのタイプに分類しました。
Aタイプ:
RAG用文書中に存在する専門家の意図に類するもの。「これを読み取って答えて欲しい」意図に該当するものになります。
Bタイプ:
RAG用文書中にはないが、AIから回答を基に、ユーザの深堀り質問として想定できるもの。
Cタイプ:
A,B以外の光学衛星に関する一般的な質問
研究の趣旨から、Aタイプが今回の主な評価対象となりますが、参考情報としてBタイプとCタイプも若干含めることとしました。
RAG用文書を精査し専門家意図の反映具合をみるためのAタイプ7問を設定、さらにBタイプとCタイプを含めた合計11問のテストケースを準備し、そのテストケート一式の評価を10回実施し、質問ごとに三つのメトリクスの平均と標準偏差を計算し結果を確認しながら、前述したRAG性能の改善調整を重ねました。最終的な評価メトリクスを以下に示します。
ここでは、各メトリクスは５段階評価で、5 が満点。平均が 4 未満の低い性能箇所をグレイで示しています。
この最終調整版にて通常ChatGPTとの比較をした結果例を紹介します。
質問
光学衛星データを扱ったことがないのですが、農地の植生管理に興味があります。手始めに何から始めるのがよいでしょうか？
（A）ChatGPTの回答
衛星データを活用するにあたって必要となる知識や、開発の一般的なステップを漏れなく教示してくれますが、衛星データの取り扱いに不慣れだと、あまりに範囲が広すぎて「次にどうしたらいいか」に関して、戸惑いが生じることも予想されます。
（B）専門家AIの回答
RAG用文書で提供した専門家のお薦め、すわなち「これから衛星データを取り扱おうとする利用者に対して専門家が伝えたい事項、使い方やツール」に絞り込んだ回答になっています。また、参考サイトとして RAG 用文書に含めた参考サイト情報へのリンクも表示されており、「次にどうしたらいいか」を イメージしやすい内容になっているといえます。
（１）研究の成果
本研究で想定した二つの課題（衛星データの活用方向性を明確にしていく窓口 AI の提供と、衛星データ専門家のリアル知見を提供する専門家 AI の提供）に関して試作を行い、簡単な評価を実施しました。システムプロンプトや RAG 技術の適用工夫により、一定の性能を実現でき、想定したコンセプトの妥当性が検証できました。
（２）今後の課題
衛星データの利用をさらに拡大するためには、多くの人に興味を持っていただくとともに、アクションを検討いただくことがとても重要と私達は考えております。衛星データの活用をさらに促進し、社会全体に貢献できるよう、さまざまな方と連携し、ニーズの方向性を把握しながら、これらの課題に対して取り組みを継続してまいります。