Skip to contents

QCスキルガイド

Source: vignettes/qc-skills-jp.Rmd
qc-skills-jp.Rmd

airsetupには、AI支援型Rワークフローの各工程で、AIエージェントに品質管理（QC）を指示するための5種類のスキルがあります。QCスキルは、解析依頼、臨床試験文書、解析計画、Rの出力などを確認し、次の工程へ進むための情報がそろっているかをユーザーが判断するための資料を作ります。

QCは、AIに判断を任せる仕組みではありません。不明点、根拠、仮定のリスク、次に必要な対応を見える形にし、ユーザーまたは担当者による判断を支援する仕組みです。

English version

まず、どのスキルを使うか

現在の作業段階に最も近いスキルを1つ選びます。

現在の状況 使用するスキル 中心となる問い
解析依頼やデータ情報を準備した CONTEXT QC 解析を始めるための情報がそろっているか
一般的な解析計画を作成した PLAN QC この計画からRコードを書けるか
臨床試験のSAPを作成した SAP QC SAPの統計仕様と根拠が十分か
複数の臨床試験文書を整理したい M11 SEMANTIC QC 文書から何を根拠をもって抽出できるか
表、図、モデル出力が得られた RESULT QC この結果を安全に報告・解釈できるか

判断に迷う場合は、まずCONTEXT QCを使用します。複数の通常スキルが該当するときは、まだ解決していない最も早い工程を優先します。

コンテキスト
    ↓
解析計画またはSAP
    ↓
Rコードと解析実行
    ↓
結果

結果がすでにあっても、解析対象集団や変数の意味が不明であれば、RESULT QCだけでなくコンテキストの確認へ戻る必要があります。

スキルをプロジェクトへ追加する

airskill()は、AIエージェントが参照するMarkdown形式のスキルファイルをプロジェクトへ追加します。airskill()を実行しただけではQCは開始されません。ファイルを作成した後、使用するスキルをAIへの依頼で指定します。

すべてのスキルを追加する場合は、Rで次のように実行します。

airskill("プロジェクトのフォルダ")

必要なスキルだけを追加することもできます。

airskill(
  path = "プロジェクトのフォルダ",
  skills = c("context", "plan", "result")
)

臨床試験用のスキルを追加する例です。

airskill(
  path = "プロジェクトのフォルダ",
  skills = c("sap", "m11_semantic")
)

スキルファイルはai_project/agent_control/に作成されます。

skillsで指定する名前 作成されるファイル
context QC_SKILL_CONTEXT.md
plan QC_SKILL_PLAN.md
sap QC_SKILL_SAP.md
m11_semantic QC_SKILL_M11SEMANTIC.md
result QC_SKILL_RESULT.md

同じフォルダに作成されるAGENT_CONTROL_INDEX.mdには、各スキルの用途と選択方法がまとめられます。

PLAN QCとSAP QCの使い分け

PLAN QCとSAP QCは、通常、連続して両方を実施する工程ではありません。確認する文書によって使い分けます。

PLAN QCは、記述統計、クロス集計、疫学研究、レジストリ研究、探索的解析など、一般的な解析計画やコーディング仕様を対象にします。

SAP QCは、臨床試験の統計解析計画書を対象にします。一般的な実装可能性に加えて、プロトコールとの整合性、estimand、解析対象集団、中間解析、多重性、欠測データ、感度分析、安全性解析、版と改訂履歴などを確認します。

臨床試験SAPがある場合は、通常、PLAN QCではなくSAP QCを選びます。

M11 SEMANTIC QCを使う場合

M11 SEMANTIC QCは、すべての臨床試験で必ず実施する工程ではありません。次のような場合に使用します。

  • プロトコール、SAP、CRF、データ定義書に情報が分散している
  • estimandやintercurrent eventを整理する必要がある
  • 評価項目と元変数を対応させたい
  • 文書間の矛盾を確認したい
  • SAP作成前に試験の意味情報を整理したい
  • ICH M11を参照枠とした意味情報の整理を行いたい

単純なデータセット、変数一覧、Rコード作成依頼であれば、通常はCONTEXT QCで十分です。M11 SEMANTIC QCはICH M11への準拠性を認定するものではなく、M11の考え方を臨床試験の意味情報の整理に用いる参照枠として利用します。

標準的なワークフロー

一般的な解析 

解析依頼・データ情報
    ↓
CONTEXT QC
    ↓
一般的な解析計画
    ↓
PLAN QC
    ↓
Rコード作成・解析実行
    ↓
RESULT QC
    ↓
報告・解釈

臨床試験 

プロトコール・CRF・データ定義書など
    ↓
必要に応じて M11 SEMANTIC QC
    ↓
SAP
    ↓
SAP QC
    ↓
Rコード作成・解析実行
    ↓
RESULT QC
    ↓
報告・統計レビュー

QCに共通する原則

不足情報を推測で補わない

文書やデータから確認できない内容は、もっともらしい値で埋めず、Cannot assess、Unknown、未確認事項などとして記録します。

文書上の事実とAIの提案を分ける

文書に記載された事実、文書間の矛盾、AIによる提案を区別します。AIの提案は、承認済みの研究仕様として扱いません。

根拠を示す

可能な場合は、ファイル名、文書の節、表、変数名、コード、ログなど、判断の根拠を示します。

点数だけで評価しない

総合点ではなく、問題の内容、影響、根拠、推奨対応を記録します。点数が高くても、1件の重大な問題によって次工程へ進めない場合があるためです。

QC結果の読み方

各確認項目は、主に次の状態で記録されます。

状態 意味
OK 提供資料の範囲で問題が認められない
Needs clarification ユーザーまたは担当者による確認が必要
Problem 修正または対応が必要
Cannot assess 必要な資料がなく確認できない
Not applicable 今回の対象には該当しない

問題の重要度は次のように使います。

重要度 意味
Critical 解決するまで次工程へ進むべきでない
Major 結果や実装を使用する前に修正・確認が必要
Minor 修正が望ましいが、通常は主要な結論を変えない
Note 注意点、制約、参考情報

重要度と確認状態は別の情報です。たとえば、確認できない項目が解析対象集団の定義であれば、Cannot assessであっても次工程を止める重要な問題になり得ます。

AIへの依頼方法

スキルを指定する 

QC_SKILL_CONTEXT.mdを使用して、
現在の解析依頼についてCONTEXT QCを実施してください。

不足している情報を推測で補わず、
確認できない項目を明示してください。

AIにスキルを選ばせる 

現在の資料と作業段階を確認し、
最も適切なairsetupのQCスキルを選んで実施してください。

選んだスキルと、その理由を最初に示してください。

通常は複数のスキルを一度に実行させず、最も早い未解決工程から順に確認します。

QCレポートを受け取った後

QCレポートは、合否証明ではなく、次の判断に使う作業資料です。

  1. CriticalとMajorの問題を確認する
  2. Cannot assessのうち、次工程に影響する項目を確認する
  3. ユーザーへの質問と意思決定事項に回答する
  4. 文書、データ定義、計画、コードまたは出力を修正する
  5. 必要なら番号を増やして再レビューする
  6. 未解決事項をQC_STATUS.mdへ引き継ぐ

以前のQCレポートは原則として上書きせず、レビューの経過が追跡できるように残します。

詳細リファレンス

QCスキルが確認できる範囲は、提供された資料によって異なります。元データ、コード、統計手法、科学的結論などの完全な正確性を自動的に保証するものではありません。重要な判断には、研究責任者、統計担当者、データ担当者など、適切な人によるレビューが必要です。