教師データ（エキスパート実演）はどう作られているか

全体像教師データ → 生徒方策 のパイプライン

すべて tools/isaac_rl/ 配下。3段の継承構造：1つの特権スクリプト状態機械（Pick）を Sort／Conveyor が継承し、各タスクに collect_*_demos.py が対応して .npz を書き出します。

3タスクPick / 3-class Sort / Conveyor

観測（obs）は数値ベクトル：Pick=29次元、Sort/Conveyor=34次元（位相観測 is_grasped＋remaining_horizon 追加）。行動（action）は全タスク共通の7次元（関節 Δq×6 ＋ グリッパ×1）。

① スクリプト・エキスパート手書きの「特権」状態機械

教師データの源は、RLでも学習でもなく 人手でコーディングした状態機械です（scripted_expert.py の ScriptedExpert）。全環境を一括処理するベクトル化トップダウン・ピック＆プレース。

「特権（privileged）」とは — ここが肝

8フェーズの状態機械

各フェーズは「目標TCP姿勢（xy＋絶対z）＋グリッパ指令」を定義（_targets, scripted_expert.py:183-214）。把持前はライブのパックを狙い、把持後は固定した把持xy/ビンxyと絶対zを使う（掴んだパックを追いかけない）。フェーズ遷移は真の距離・把持状態でゲートします：

# scripted_expert.py:216-240 — 真値でフェーズを進める
adv |= (ph == APPROACH) & (d < 0.030)
adv |= (ph == DESCEND)  & (d < 0.020)
adv |= (ph == GRASP)    & grasped
adv |= (ph == LIFT)     & grasped & (tcp_z > 0.20)
adv |= (ph == CARRY)    & (dxy_bin < 0.025)
adv |= (ph == PLACE)    & (d < 0.020)
adv |= (ph == RELEASE)  & (~grasped) & (phase_steps > 25)

目標姿勢 → 7次元アクションへの変換

各フェーズの目標TCP姿勢は、内蔵の微分IK（減衰最小二乗 FR5DiffIK, scripted_expert.py:37-103）で関節目標に変換し、環境の相対 Δq アクションに落とします（action_scale=0.05）：

# scripted_expert.py:248-254
q_target = self.ik.joint_target(tgt, self.target_quat)
dq = torch.clamp((q_target - q_cur) / self.scale, -1.0, 1.0)  # 6関節
grip = torch.where(grip_open, +1, -1)                          # グリッパ
return torch.cat([dq, grip.unsqueeze(-1)], dim=-1)            # → 7-dim

TCP は wrist3_link 原点＋ツールオフセット TCP_OFFSET=(0,0,0.10)（=フランジ上 +100mm、B5由来の規約。fr5_pick_env_cfg.py:46）。エキスパートIK・EEフレーム・把持アクションが同じオフセットを共有します。

継承で3タスクを作る

# scripted_conveyor_expert.py:72-78 — 搬送脚のオフセット補正
tcp_pos_b, _ = self.ik.tcp_pose_b()
off_xy   = puck_b[:, :2] - tcp_pos_b[:, :2]   # 把持中はほぼ一定の TCP→パック オフセット
corrected = self.bin_b[:, :2] - off_xy
tgt[:, :2] = torch.where(bin_ph, corrected, tgt[:, :2])

② 収録スクリプトIsaac で走らせて記録する

エキスパートを実際に Isaac で走らせ、ロールアウトをディスクに記録するのが collect_*_demos.py です。各タスクに1本ずつ。

3本とも：Isaac を AppLauncher で起動 → gym 環境生成 → エキスパート生成 → 制御ステップ毎に expert.act() → env.step() を回し、(obs["policy"], action) を記録（collect_demos.py:88-98）。

成功フィルタ — 失敗エピソードは捨てる

# collect_demos.py:108-119 — 成功だけ append
if is_succ:
    n_success += 1
    g_obs.append(np.stack(ep_obs[e]))
    g_act.append(np.stack(ep_act[e]))
    ep_lengths.append(L)

エピソード数 — 既定400 →「≥85%レシピ」で 2,000–2,400 にスケール

収録スクリプトの既定は成功400エピソード。両タスクを ≥85% に届かせたレシピでは Sort/Conveyor を 2,000–2,400 エピソードに増やしました（例：collect_conveyor_demos.py --num_envs 256 --episodes 2000）。デモを増やしたことで BC クローンが大きく跳ねた（12/29% → 76/78%）のが ≥85% 突破の一因です。

③ 保存形式.npz の中身

教師データの「形」は 圧縮 NumPy アーカイブ .npz（np.savez_compressed）。保存先は tools/isaac_rl/demos/。中身は時系列のフラットな配列＋エピソード境界です。

# 読み込み例
data = np.load("demos/fr5_sort_demos.npz")
obs  = data["observations"]   # (N, 34) float32
act  = data["actions"]        # (N, 7)  float32
cls  = data["class"]          # (E,)    int64  ∈ {0,1,2}

④ 学習での使われ方模倣クローン → アンカー付き PPO

教師データ .npz は2段階で消費されます。まずオフラインの模倣クローンで暖機、次にPPO 微調整中のアンカーとして。

2つのアンカー方式 — 83% の天井と、それを破る reverse-KL

⑤ コンベアの特殊事情「実演 .npz」と「再生 JSON」の二重構造

Conveyor だけは教師データが2つの別物に分かれます。混同しないことが大事です。

ファイル一覧教師データ生成に関わる全スクリプト

設定ファイル（生成器ではないが定数を定義）：fr5_pick_env_cfg.py（TCP_OFFSET・29-dim obs・action_scale=0.05）、fr5_sort_env_cfg.py（BIN_POSITIONS・class_onehot）、fr5_conveyor_env_cfg.py（BELT_VEL・belt_velocity）、mdp/phase_observations.py（is_grasped・remaining_horizon）。