情報の読み方
判定方法
項目ごとの評価・根拠・不確実性を分けて表示し、判断を支える情報を確認できるようにします。
確認状態
状態は各項目の確認状況を示します。モデル全体への評価ではありません。
- 確認済み
- 確認担当者が引用元の一次資料にあたって内容を確認しています。
- 出典に記載
- 開発元の説明やモデルカードに記載があります。独立した確認は限られる場合があります。
- 要確認
- 根拠が不足している、間接的である、または最近確認されていません。
- 見解が不一致
- 信頼できる出典同士で記述が異なります。食い違いをそのまま表示します。
- 不明
- 利用できる出典から値を判断できません。不明を「はい」「いいえ」に置き換えません。
系譜情報の確度
モデル同士の関係と、それを裏付ける根拠についての確度です。
高: 一貫した一次資料がモデル間の関係を直接裏付けています。
中: 根拠はありますが、一部に不足や間接的な推定が残っています。
低: 限られた資料や間接的な情報に基づく暫定的な関係です。
未評価: 確度を判断できるだけの根拠がありません。
「uncensored」の表記と回答拒否傾向
開発元の説明と、モデルの挙動に関する評価を分けて記録します。
出典に「uncensored」と書かれているかどうかは、出典上の表記として示します。その表記だけから、特定の生成内容が許可されることや、モデルの実際の回答傾向を推定しません。
回答拒否の傾向を載せる場合は、出典・評価方法・確認状態を別に示します。情報がなければ「不明」とします。
出典の優先順位
該当する条件を直接記載した資料を優先します。
- ライセンス・利用条件ライセンス本文、モデル固有の条件、開発元のポリシー。
- モデルの公式資料モデルカード、リリースノート、公式リポジトリ。
- 上流モデルの資料開発元が示すベースモデル、教師モデル、蒸留元の出典。
- 二次情報情報を探す手がかりとして利用し、一次資料の代わりにはしません。
フルスクラッチ事前学習の表示
対象となる公開モデルと、上流モデルの学習履歴を分けて記録します。
「フルスクラッチ事前学習」は、掲載中の公開チェックポイント自体がランダム初期値から事前学習されたかを示します。ベースモデルがフルスクラッチで学習されていても、そこから追加学習した公開モデルをフルスクラッチとは扱いません。
ファインチューニング、蒸留、マージ、量子化は別の工程として扱います。出典で確認できない場合は不明とし、上流モデルの学習方法を対象モデルの情報に置き換えません。
この情報の限界
このデータベースは調査の補助を目的としており、法律相談ではありません。モデル単体の情報だけでは、上流モデル、学習データ、具体的な提供方法に適用される権利や制約を判断できない場合があります。
現在、調査済みモデル17件を掲載しています。出典から確認できない項目は「不明」または「要確認」とします。表示確認用の架空データは本番環境に含めません。