실습 가이드: GR00T‑Mimic 원격 시연 로드 + 어노테이션
핵심 메세지
원격 시연 데이터를 통해 로봇 작업별 하위 작업 종료 시점을 정의하고 학습 데이터를 생성하는 방법
내용 요약
1단계: 원격 시연 데이터 로드하기
- Isaac Sim 내 로봇(예: GR‑1) 시연 데이터 로드
- 최초 상태: 로봇은 Idle 상태로 대기
- 로드된 시연 데이터를 통해 로봇 작업 진행 가능
2단계: 궤적 재생 & 종료 시점 표기
- N 키: 원격 시연 궤적 재생 시작
- B 키: 재생 일시 정지 가능
- S 키: 현재 하위 작업 종료 시점을 표기
- 예: 오른팔 작업 (Idle → Grasp) 종료 시점 표기
- 예: 왼팔 작업 (Grasp → Place) 종료 시점 표기
- 마지막 작업 종료 시점은 암묵적으로 정의 (별도 표기 불필요)
3단계: 원격 시연 예시
- 오른팔 작업:
- 최초 상태: Idle
- 작업: 첫번째 하위 작업(예: 물체 잡기) 종료 시점 표기
- 왼팔 작업:
- 최초 상태: Idle
- 작업: 비커 잡기 후 종료 시점 표기
- 마지막 작업은 자동으로 종료 시점 정의
4단계: 자동화된 데이터 생성
- 표기된 종료 시점을 통해 GR00T‑Mimic이 데이터를 학습 가능 포맷으로 변환
- 높은 정밀도 필요 없으며, 대략 종료 시점을 표기해도 충분
- GR00T‑Mimic 인터폴레이션 기능이 로봇 학습 데이터를 강인하고 원활하게 생성
Isaac Lab Teleoperation and Imitation Learning 참고 링크
https://isaac-sim.github.io/IsaacLab/main/source/overview/teleop_imitation.html
실습 가이드: GR00T‑Mimic 데이터 생성 & 재생
핵심 메세지
원격 시연 데이터를 통해 로봇 작업별 하위 작업 종료 시점을 정의하고 학습 데이터를 생성하는 방법
내용 요약
1단계: 데이터 생성 실행
- 터미널에서 아래 명령어 실행
- python run_data_generation.py --num_envs 4
- 이렇게 4개의 병렬 환경에서 데이터 생성 가능
- 원하면 -num_envs 값을 변경해 병렬 개수를 조절 가능
2단계: 동작 시뮬레이션
- 생성 과정 중 로봇은 원래 동작 외에도 랜덤 액션 노이즈를 추가
- 로봇 팔이 살짝 흔들리는 것이 보일 수 있음
- 학습된 모델은 이러한 변동 속에서 강인성을 갖도록 학습 가능
- 원하면 노이즈 강도 변경 가능 (--noise_level 같은 파라미터 활용)
3단계: Headless 모드 활용
- 대규모 데이터 생성 시 전체 Isaac Sim 시각화 대신 headless 모드로 실행 가능
- 성능 증가
- python run_data_generation.py --num_envs 100 --headless
4단계: 생성된 데이터 재생
- 생성된 데이터를 시각화해 품질 체크 가능
- replay_data.py 스크립트 실행
- python replay_data.py --dataset_dir path/to/dataset
- 로봇의 원래 동작뿐 아니라, 액션 노이즈가 추가된 데이터를 함께 재생 가능
- 병렬 환경 수도 지정 가능 (--num_envs)
- -generation_num_trials 1000
- 생성하고자 하는 데이터셋의 전체 시도(샘플) 수를 의미
- 즉, 1000개의 데이터를 생성하겠다는 뜻
- -num_env 4
- 데이터를 생성하는 동안 동시에 병렬로 실행될 환경(시뮬레이션) 수를 의미
- 1000개의 데이터를 한 개의 환경에서 생성하면 매우 오래 걸림
- 하지만 4개의 병렬 환경(--num_env 4)을 통해 한 번에 4개의 데이터를 생성하므로
- 속도가 4배 빨라질 수 있음
실습 가이드: GR00T‑Mimic 학습된 정책
핵심 메세지
원격 시연 데이터를 통해 로봇 작업별 하위 작업 종료 시점을 정의하고 학습 데이터를 생성하는 방법
내용 요약
1단계: 생성된 데이터를 통해 로봇 정책 학습
- 원격 제어로 로봇 시연 데이터를 수집 후,
- 생성된 데이터셋(예: 1000개의 시연)을 통해 로봇 학습 진행
- 학습된 정책은 LSTM 정책으로 학습
LSTM (Long Short‑Term Memory)정책
- 시계열 데이터를 학습하는데 강점이 있는 RNN의 한 종류
- 로봇 제어에서는 연속된 동작(예: 물건 잡기 → 이동하기 → 내려 놓기)처럼
- 시간적 연관이 있는 데이터를 학습하는데 사용
2단계: 학습된 정책의 성능
- 학습된 정책은 원래 로봇 시연 데이터뿐 아니라 생성된 랜덤 데이터를 통해 강인성을 확보
- 로봇은 학습 후 원래 있던 ‘행동 떨림(Action Noise)’이 거의 나타나지 않음
3단계: 랜덤화 가능 범위 제어
- 학습 환경 내 로봇 작업 물체의 위치 랜덤화 가능
- 원래 시연과 동일한 데이터를 통해서도 랜덤화 범위 변경 가능
- 예: 원래 시연보다 랜덤화 범위를 더 넓혀서 학습 가능
- 원래 시연보다 랜덤화 범위를 너무 많이 늘리면 성능 저하 가능
- 일정 범위 내에서 랜덤화 가능
- 너무 큰 랜덤화는 원래 시연과 학습된 데이터 사이의 불일치로 실패 가능
