📰 핵심 요약

이 영어 뉴스는 AWS Strands Agents 팀이 LeRobot, Hugging Face와 협력해 발표한 시리즈 글로, Storage Buckets를 활용해 로봇 데이터 폐루프를 구축하는 방법을 소개합니다. 한국어 요약으로 정리했습니다.

이 글은 AWS가 오픈소스로 공개한 Strands Robots SDK(Apache 2.0 라이선스)가 LeRobot 및 Hugging Face가 새롭게 선보인 Storage Buckets와 결합해, 지속적으로 작동하는 로봇 데이터 폐루프를 어떻게 구축하는지 소개합니다. 저자는 “시연 동작 녹화 → Hub 업로드 → 정책 학습 → 배포"라는 흐름을 한 번만 돌리는 것은 문제없지만, 매일 지속적으로 돌리려면 동일한 바이트 데이터를 반복 전송하는 비용 문제에 부딪힌다고 지적합니다. 녹화 파일은 계속 쌓이고, 학습을 할 때마다 전체 데이터셋을 GPU로 복사해야 하며, 새로운 체크포인트가 나올 때마다 다시 전송해 배포해야 하고, 이후 새로 녹화된 데이터는 또다시 전송되어 돌아옵니다. 글에서는 LeRobot의 데이터셋 포맷이 Hugging Face Hub에서 8,000개 이상의 게시자, 9만 개 이상의 데이터셋과 모델에 채택되었다고 언급합니다(LeRobot Project Pulse 통계 인용). 시리즈의 이전 글에서는 Robot() 팩토리 함수를 소개했는데, 이는 로봇 팔, 휴머노이드, 이동형 베이스, 매니퓰레이터 등 다양한 모델에 대응하는 로봇 레지스트리이며, 시뮬레이션 환경에서 시연을 녹화하고 정책을 실행한 뒤, 동일한 에이전트 코드를 실제 SO-101 로봇에 배포하는 과정을 시연했습니다. 이번 글은 반대로 데이터 흐름을 역추적합니다. 즉 첫 번째 녹화 프레임에서부터 배포된 정책 모델까지를 거슬러 올라가며, 핵심은 2026년 3월에 발표된 Hugging Face Storage Buckets입니다. 이는 가변적이며 버전 관리를 하지 않는, Xet 기반의 오브젝트 스토리지 저장소 유형으로, 데이터셋 저장소와 동일한 hf:// 네임스페이스 아래 공존하며 기존 hf CLI로도 조작할 수 있습니다. 글은 어떤 클립을 남길지, 장면이 언제 재녹화가 필요할 정도로 달라졌는지, 그날 데이터량이 학습에 충분한지, 로봇 팔의 버전을 어떤 체크포인트로 교체할지를 판단할 사람(또는 에이전트)이 필요하다고 강조합니다. 본문에서는 하나의 에이전트 안에서 녹화부터 Storage Bucket 업로드까지 처리하고, 변경된 바이트만 동기화하며, 전체 데이터셋을 다운로드하지 않고 바로 스트리밍으로 학습하고, 키워드 인자 하나만 바꿔 체크포인트를 하드웨어에 배포하는 과정을 시연합니다. 함께 제공되는 실행 가능한 노트북은 examples/notebooks/05_streaming_data_loop.ipynb에 있습니다.

💬 JudyAI Lab 관점

AWS의 Strands Robots SDK는 LeRobot과 Hugging Face가 새롭게 선보인 Storage Buckets를 연결해, 로봇이 시연 동작을 녹화하는 것부터 정책 모델을 배포하는 것까지 전체 데이터 폐루프를 시연합니다. 핵심은 자주 간과되는 문제 하나를 해결하는 데 있습니다. 바로 같은 바이트 데이터를 매번 다시 옮길 필요가 없다는 점입니다.

이는 흔히 과소평가되는 현실을 반영합니다. 프로세스가 한 번 돌아간다고 해서 매일 지속적으로 운영될 수 있는 것은 아니라는 점입니다. 녹화 파일은 계속 쌓이고, 학습 전마다 전체 데이터셋을 GPU로 복사해야 하고, 새로운 체크포인트마다 다시 전송해 배포해야 한다면 비용은 시간이 지날수록 선형으로 늘어납니다. 글에서 시연한 방식은 변경된 바이트만 동기화하고, 전체 데이터셋을 다운로드하지 않고 바로 스트리밍으로 학습하며, 체크포인트를 교체할 때는 키워드 인자 하나만 바꿔 하드웨어에 배포하는 것입니다. 이런 “데이터 폐루프” 사고방식은 사실 로봇에만 국한되지 않고, 모델을 지속적으로 반복 개선하며 매일 다시 돌려야 하는 모든 시스템에 적용될 수 있습니다.

반복적으로 학습·배포하는 프로세스를 갖고 있다면, 매 라운드마다 전체 데이터를 다시 옮기고 있는 건 아닌지, 아니면 변경된 부분만 옮기고 있는지 한 번 점검해 보는 것도 좋겠습니다.

📅 원문 정보

🔗 함께 읽으면 좋은 글