Part IV: 전망

Chapter 10: 실험 설계와 검증 계획

집필일: 2026-04-07 최종수정일: 2026-04-09

요약

TacGlove [#26]/TacTeleOp과 TacPlay [#27]의 가설을 검증하기 위한 실험 설계를 제시한다. 3개 파일럿 공정(캡핑, 라벨, 포장), 필요 하드웨어(글러브, 로봇, 스마트글래스), 정량 평가 지표(성공률, 수렴 시간, 일반화, 비용), 그리고 핵심 ablation 실험(3축 vs binary, co-training 조건별, 촉각 잔차 분해)을 정의한다.

10.1 파일럿 공정 3개

공정 1: 용기 캡핑 (난이도: 높음)

  • 동작: 용기를 한 손으로 잡고, 다른 손(또는 같은 손)으로 캡을 시계 방향 회전
  • 촉각 요구: 법선력(그립 유지) + 전단력(회전 토크) 정밀 제어
  • 3축 vs binary 차별점: Binary는 접촉 여부만 감지, 토크 부족/과다 구별 불가
  • 성공 기준: 캡이 완전히 닫히고 규정 토크 범위 내

공정 2: 라벨 부착 (난이도: 중간)

  • 동작: 라벨을 용기 표면에 부착하고 균일하게 눌러 기포 제거
  • 촉각 요구: 균일 압력 분포 유지
  • 3축 vs binary 차별점: 힘 불균형 감지에 3축이 유리
  • 성공 기준: 라벨 위치 정확도 ±2mm, 기포 없음

공정 3: 조립 포장 (난이도: 높음)

  • 동작: 여러 부품을 정해진 순서로 상자에 배치하고 고정
  • 촉각 요구: 다방향 힘 + 정밀 위치 (snap-fit, 끼워넣기)
  • 3축 vs binary 차별점: 끼워넣기 시 힘 feedback이 정밀 위치 조정에 필수
  • 성공 기준: 모든 부품 올바른 위치, 고정 확인

10.2 필요 하드웨어

장비 수량 용도 비고
TacGlove 3+ 벌 교대 교체 + 여분 박용래 교수님 그룹 제작
3축 자기 촉각 센서 8개/글러브 × 3 = 24+ 촉각 데이터 수집 BMM350 + 자기 elastomer
Allegro Hand 또는 LEAP Hand 1~2대 로봇 실험 16-DoF dexterous
스마트글래스 (Aria 또는 동급) 2대 Egocentric RGB + head pose 시간 동기화 필수
화장품 공정 재현 셋업 1세트 Lab 재현 실제 용기, 라벨, 포장재
GPU (A100 × 4+) 1세트 Co-training + RL Isaac Sim 호환
MuJoCo + TACTO 라이선스 Sim 환경 TacPlay sim-first

10.3 평가 지표

주 지표

지표 정의 목표
성공률 공정별 50회 trial 중 성공 비율 캡핑 >85%, 라벨 >90%, 포장 >80%
수렴 시간 목표 성공률 도달까지의 학습 시간 TacPlay: 물체별 <4hr
새 물체 일반화 학습에 없던 용기/라벨에서의 성공률 >70% (seen 대비 -15%p 이내)
비용 효율 단위 성공률당 인간 노동 시간 Teleop 대비 3x+ 효율

Ablation 지표

ablation 비교 조건 목적
3축 vs binary 8센서 3축 vs 8센서 binary H3 촉각 해상도의 marginal gain
Co-training 조건 A only, B only, A+B(vision), A+B(vision+tactile) H2 co-training + 촉각의 가치
Scaling curve Data B 10hr, 50hr, 200hr, 800hr Tactile scaling law
촉각 잔차 전이 \Delta_{capping} → 라벨 vs \Delta_{label} 새로 학습 H3 cross-task 일반화
잔차 분해 기구학 성분 vs 태스크 성분 vs 물체 성분 잔차의 구조 이해

10.4 실험 프로토콜

Phase A: TacGlove/TacTeleOp 검증 (Month 1~6)

M1~M2: 3손가락 글러브 + 촉각 센서 프로토타입 제작 및 스마트글래스 동기화.

M3: Lab 파일럿 수집 50시간. 캡핑 태스크로 co-training 초기 실험.

  • Go/No-Go 체크: co-training(A+B) > A only? 촉각 추가 효과 +5%p 이상?

M4: 5손가락 확장 (가능한 경우). 3축 vs binary ablation 실행.

M5: 200시간 이상 수집. Scaling curve 분석 (10, 50, 200hr). 모든 co-training ablation 완료.

M6: TacGlove/TacTeleOp 논문 작성 및 제출.

Phase B: TacPlay 검증 (Month 3~8)

M3~M4: MuJoCo + TACTO에서 촉각 목표 RL 환경 구축. 보상 함수 설계 및 수렴 검증.

  • Go/No-Go 체크: 3개 태스크 중 2개 이상에서 sim 수렴?

M5~M6: Real 환경에서 글러브 장착 play 실험. 캡핑 태스크 최우선.

M7: 촉각 잔차 cross-task 전이 실험 (캡핑 → 라벨).

M8: TacPlay 논문 작성 또는 workshop paper 준비.

Go/No-Go 의사결정

조건 Go Pivot Stop
Co-training (A+B > A) 통계적 유의미 트렌드만 역효과
촉각 추가 효과 +10%p 이상 +5~10%p +5%p 미만
Sim RL 수렴 3태스크 중 2+ 수렴 1개만 수렴 0 수렴
글러브 안정성 8hr+ 연속 4~8hr 4hr 미만

10.5 예상 결과와 해석

최선의 시나리오

  • TacGlove/TacTeleOp: 800hr 촉각 데이터로 co-training → 캡핑 90%+. Tactile scaling law가 log-linear로 확인. 3축이 binary 대비 +10%p 이상.
  • TacPlay: 촉각 목표 RL이 sim과 real에서 수렴. Cross-task 잔차 전이 성공. Teleop 0hr로 85%+ 달성.

현실적 시나리오

  • TacGlove/TacTeleOp: 200hr 규모에서 co-training 효과 확인, 3축과 binary 차이가 캡핑에서만 유의미. Scaling law는 부분적 검증.
  • TacPlay: Sim에서 수렴 확인, real에서 부분적 성공. Cross-task 전이는 limited. Workshop paper 수준.

최악의 시나리오

  • TacGlove/TacTeleOp: 촉각 co-training 효과가 vision-only 대비 미미. Binary와 3축 차이 없음. → 하드웨어 contribution(stretchable) + 데이터셋 contribution으로 전환.
  • TacPlay: RL 수렴 실패. → "촉각 목표 RL의 도전과 한계" negative result paper.

10.6 우리의 방향과의 연결

이 실험 설계는 Chapter 7(TacGlove), Chapter 8(TacTeleOp), Chapter 9(TacPlay)의 모든 가설을 체계적으로 검증하도록 구성되었다. 특히 3축 vs binary ablation은 Ye et al.[1]의 "binary 85%" 결과에 대한 직접적 대응이며, tactile scaling curve는 EgoScale [2]의 vision scaling law에 대한 촉각 도메인 확장이다. 다음 장에서는 이 실험을 넘어선 장기적 전망을 논의한다 (Chapter 11).

참고문헌

  1. Ye, Q., et al. (2026). Visual-Tactile Learning for Dexterous Manipulation. Science Robotics. scholar
  2. Zheng, R., et al. (2026). EgoScale: Egocentric Video Pretraining. arXiv. scholar
  3. Yin, J., et al. (2025). OSMO: A Large-Scale Tactile Glove. arXiv. #18 scholar
  4. DexH2R (2024). Task-Oriented Residual RL. arXiv. scholar
  5. Si, Z., et al. (2025). ExoStart. arXiv. #9 scholar
  6. Kareer, S., et al. (2024). EgoMimic. arXiv. scholar