Skip to contents

CONTEXT QC 技術リファレンス

Source: vignettes/qc-context-jp.Rmd
qc-context-jp.Rmd

CONTEXT QCは、解析計画やRコードを作成する前に、解析依頼、データセット、対象集団、変数、解析方法、出力の前提を一意に解釈できるか評価するスキルです。

QCスキルガイドに戻る

English version

目的と適用範囲

CONTEXT QCの目的は、要求された次工程に対して、入力情報が一意に解釈でき、追跡可能で、研究固有の推測なしに使用できるかを判定することです。高度な統計手法を選ぶことではなく、解析コンテキストの明確性と利用可能性を評価します。

評価単位は、解析依頼全体ではなく、目的、データセット、対象集団、解析単位、変数、方法、出力などのドメインです。ドメインごとに根拠と状態を記録し、次工程ごとの準備状況を判定します。

適用対象外

  • 一般的な解析計画の実装可能性を確認する作業：PLAN QC
  • 臨床試験SAPの統計仕様を確認する作業：SAP QC
  • 複数の臨床試験文書から意味情報を整理する作業：M11 SEMANTIC QC
  • 生成済みの解析結果を確認する作業：RESULT QC

開始条件

最低限、レビュー対象となるタスク依頼またはユーザー指示が必要です。データセット、変数情報、計画、コード、過去のQCは任意入力ですが、提供されていない資料に依存するドメインはCannot assessとします。

入力 要件
タスク依頼 必須。目的または要求成果物を識別できること
データセットまたは変数情報 Rコード作成を判定する場合は原則必要
対象集団・解析単位 集計またはモデル実装を判定する場合は必要
解析方法・出力仕様 当該工程への準備状況を判定する場合は必要
過去の計画、コード、結果、QC 任意。提供された場合は整合性確認の対象

使用するタイミング

  • 新しい解析依頼を受け取った後
  • データセットやデータ定義書を受け取った後
  • 解析計画を作成する前
  • Rコードを作成する前
  • 解析途中で変数や対象集団の意味が不明になったとき
  • RESULT QCで前提条件の不足が見つかったとき

臨床試験のSAPそのものを確認する場合はSAP QC、複数の臨床試験文書から意味情報を整理する場合はM11 SEMANTIC QCを使用します。

確認対象

利用可能な範囲で、次の資料を確認します。

資料 主な確認内容
解析依頼・研究課題 目的、比較、アウトカム、必要な出力
データセット ファイル、形式、行単位、レコード数、変数
データ定義書 変数の意味、型、単位、カテゴリ、欠測コード
対象集団の定義 選択・除外条件、解析対象フラグ
解析方法の指定 集計、モデル、比較、調整、検定
出力仕様 表、図、モデル出力、保存先、形式
実行環境 R、パッケージ、バージョン、再現条件

すべての資料が必須ではありません。ただし、資料が少ないほど確認できる範囲は限定されます。

確認する六つの領域

1. 目的

  • 研究上または業務上の問いを1文で特定できる
  • 解析の役割を、記述、比較、予測、関連、因果などから識別できる
  • 主要アウトカム、比較対象、評価時点を要求資料へ対応付けられる
  • 要求成果物と、その成果物が支援する意思決定を識別できる

「データを解析して」のように目的が広すぎる場合は、計画やコード作成へ進む前に目的を確認します。

2. データセット

  • 使用ファイルをパス、ファイル名、版または日付によって一意に識別できる
  • ファイル形式、文字コード、読み込み方法を実装仕様として記述できる
  • 1行が表す観測単位を特定できる
  • 複数ファイルを使用する場合、結合キー、結合関係、重複処理を特定できる
  • 必要な場合、データカット日または更新日を特定できる

3. 対象集団と解析単位

  • 対象者、観察、施設、時点などの解析単位を一意に特定できる
  • 選択・除外条件をデータ項目と論理条件へ変換できる
  • 重複、複数レコード、繰り返し測定の処理規則を特定できる
  • 解析対象フラグの変数名、採用値、除外値を特定できる

4. 変数

  • 使用列名を解析上の概念へ一意に対応付けられる
  • 数値、文字、日付などのデータ型を特定できる
  • 単位、カテゴリコード、表示ラベル、基準カテゴリを特定できる
  • 欠測値、未測定、該当なし、特別値を区別できる
  • 導出変数について、入力変数、計算式、評価時点、優先規則を特定できる

たとえば0が「なし」「対照群」「未測定」のどれを意味するかは、名前だけから推測しません。

5. 解析方法

  • 要求された処理を、記述統計、検定、モデル、図示などの実装単位へ変換できる
  • 群、時点、層別因子、調整変数を列名または定義へ対応付けられる
  • 欠測を解析対象、分母、モデル入力でどう扱うかを特定できる
  • 効果指標、信頼区間水準、p値、片側・両側を必要に応じて特定できる
  • 方法が未指定の場合、ユーザー決定が必要か、候補提示まで許可されているかを区別できる

6. 出力と再現性

  • 必要な表、図、推定値、モデル出力、文章を列挙できる
  • 出力形式、保存先、ファイル名を特定できる
  • 表題、単位、桁数、分母、欠測表示、脚注の要件を特定できる
  • 使用予定または指定されたRパッケージとバージョン制約を特定できる
  • 実行ログ、乱数シード、sessionInfo()などの再現性記録を特定できる

AIによる仮定リスク

情報が不足していると、AIは次のような仮定を置きやすくなります。

不足情報 起こり得る仮定 主な影響
行単位 1行1対象者とみなす 件数やモデルが変わる
群コード 0を対照群とみなす 比較方向を誤る
欠測コード 特別な数値を実測値として扱う 集計や推定が変わる
対象集団 全レコードを解析対象にする 分母と結論が変わる
単位 列名から単位を推定する 効果量やラベルを誤る
出力仕様 一般的な形式を採用する 期待する成果物とずれる

推測が必要な項目は、事実として埋めず、質問または未確認事項として記録します。

判定規則と根拠要件

各ドメインには、OK、Needs clarification、Problem、Cannot assess、Not applicableのいずれかを付けます。

状態 適用条件
OK 要求された次工程に必要な情報を根拠付きで一意に特定できる
Needs clarification 限定的な確認が必要だが、影響範囲を特定できる
Problem 曖昧さ、矛盾または欠落が次工程の正確性・再現性に影響する
Cannot assess 判定に必要な資料が未提供、読取不能または確認範囲外である
Not applicable 当該ドメインが今回のタスクに適用されない根拠がある

ProblemまたはCannot assessには、原則としてIssue、確認不能項目、またはAI仮定リスクを対応付けます。

Evidenceには、可能な限りファイル名、節名、表名、変数名、コードブック項目、ユーザー指示の該当表現を記録します。「資料に記載あり」のように位置を追跡できない記述だけでは、十分な根拠とは扱いません。

総合判定と準備状況

  • Criticalが1件以上：関連する次工程は通常Not readyとし、総合判定はRevision required、FailまたはCannot assess
  • Majorが1件以上：関連する次工程は通常Partially readyまたはNot ready
  • Minorのみ：Conditional passまたはMostly readyを選択可能
  • Noteのみ：Passを選択可能
  • 必須情報が未提供：推測せずCannot assess

数値スコアは使用せず、Issueの重要度を全体的な印象より優先します。

出力ファイル

標準的な出力先は次のとおりです。

ai_project/qc/context-qc-001.md

再レビューでは番号を増やします。

ai_project/qc/context-qc-002.md
ai_project/qc/context-qc-003.md

レポートには、総合判定、確認資料、領域別評価、問題一覧、確認できない項目、仮定リスク、ユーザーへの質問、推奨対応、次工程への引き渡しを含めます。

出力スキーマ

標準レポートは次の12セクションで構成します。

  1. Skill information
  2. Overall judgment
  3. Readiness by next step
  4. Materials reviewed
  5. Domain assessment
  6. Issues
  7. Cannot-assess items
  8. AI assumption risks
  9. Required clarification questions
  10. Recommended next actions
  11. Quick assessment
  12. Handoff to next workflow step

Issues表には、少なくともID、Severity、Issue、Evidence、Recommended actionを含めます。

次工程へ進む判断

PLAN作成またはRコード作成へ進むには、少なくとも次の内容が実装可能な程度に明確である必要があります。

  • 解析目的
  • 使用データと行単位
  • 対象集団
  • 主要変数とコード
  • 必要な解析または集計
  • 必要な出力
  • 重大な未解決事項

情報が不足していても、影響を限定できる探索作業や、変数一覧の作成などには進める場合があります。その場合は、許可された作業範囲と仮定を明示します。

判定例

OKの例 

Dataset clarity: OK
Evidence: analysis_request.md「使用データ」、definition.csvのPATID行
Assessment: analysis.rdsを使用し、1行1患者である。PATIDが患者識別子として定義されている。

Cannot assessの例 

Population and analysis-unit clarity: Cannot assess
Missing information: 解析対象フラグの採用値
Why needed: FAS対象者を再現可能に抽出できない。

「FASFL == 1と思われる」のような候補は、文書上の事実ではなくAI仮定リスクとして記録します。

確認範囲

CONTEXT QCは、提供された資料から解析前提の一意性、追跡可能性、次工程での利用可能性を評価します。元データの正確性、研究デザインの最終的な妥当性、統計手法の最適性、作成されるコードの完全な正確性を保証するものではありません。