📰 핵심 요약

IBM이 LLMON(LLM Object Notation, 발음은 ’lemon’)을 공개했습니다. LLMON은 대규모 언어 모델을 위해 설계된 마크업 언어입니다. 함께 실험적 프리뷰 모델 두 개, granite-4.1-3b-LLMON-preview와 granite-4.1-8b-LLMON-preview도 공개했습니다. 두 모델 모두 Granite 4.1 기반 모델에서 파생되었으며, LLMON 마크업 텍스트를 읽고 생성하도록 학습되었습니다. 예제 워크플로와 템플릿이 담긴 GitHub 툴킷도 함께 제공됩니다.

개발 동기는 이렇습니다. 긴 대화의 컨텍스트에는 시스템 프롬프트, 과거 대화, 검색된 문서에 대한 지시, 도구 응답, 출력 제약, 추론 체인 등 여러 요소가 뒤섞여 있습니다. 그런데 이 구조는 대부분 암묵적이거나, 원래 파서를 위해 설계된 JSON 형식에 억지로 끼워 넣어진 상태입니다. 그래서 규모가 작은 모델은 오류를 내기 쉽고, 공격자는 명확한 구조가 없다는 약점을 노려 프롬프트 인젝션을 시도할 수 있습니다.

LLMON은 의미가 완결된 블록에 의미 있는 태그를 붙이고, 예약된 특수 토큰을 구분자로 사용합니다. 동시에 인과적 언어 모델이 명확하게 이해할 수 있는 방식으로 데이터 구조와 중첩 관계를 선언합니다. 모든 지시에는 고유한 ID가 있어 컨텍스트 내 어느 위치의 지시든 가리킬 수 있고, 그 지시가 처리해야 할 데이터에 묶을 수도 있습니다. 개념적으로는 프로그래밍 언어의 함수 호출과 인자 전달에 가깝습니다.

원문이 꼽은 이점은 다음과 같습니다.

  • 사용자 데이터에 숨겨진 간접 프롬프트 인젝션은 대부분 무시됩니다. 일부 벤치마크에서는 공격 성공률이 0에 가깝게 떨어졌습니다. 반면 일반 지시 미세 조정(instruction-tuned) 모델은 탈취당할 확률이 높습니다. 전반적인 성능은 Granite 4.1 Instruct와 비슷합니다.
  • 관련 없는 단락, 오래된 대화, 도구 출력이 답변에 섞여 들어가지 않습니다.
  • 변환기를 이용해 기존 JSON을 손실 없이 LLMON으로 바꿀 수 있습니다. 태그를 직접 정의하고 그 위에서 LoRA를 학습할 수도 있습니다.
  • Mellea 프레임워크가 LLMON을 기본 지원하며, 호출을 자동으로 LLMON으로 변환합니다.

JSON을 쓰지 않는 이유를 설명한 후반부는 원문 요약이 잘려 있습니다. 자세한 내용은 원문 링크를 참고해 주세요.

💬 JudyAI Lab 관점

IBM의 LLMON은 대규모 언어 모델의 컨텍스트에 명시적인 구조 표기를 입히는 시도입니다. Granite 4.1에서 파생된 프리뷰 모델 두 개도 함께 나왔습니다. 주목할 이유는 긴 대화에서 생기는 혼란, 그리고 프롬프트 인젝션이 파고드는 오래된 문제를 정면으로 겨냥하기 때문입니다.

긴 대화 속 시스템 프롬프트, 과거 대화, 검색 문서, 도구 응답, 출력 제약은 지금까지 대부분 텍스트 안에 암묵적으로 섞여 있었습니다. 아니면 원래 파서용인 JSON에 억지로 끼워 넣었습니다. 그 탓에 작은 모델은 쉽게 틀리고, 공격자에게는 파고들 틈이 생겼습니다. LLMON은 의미 있는 태그와 예약된 특수 토큰으로 의미 블록을 나누고, 지시마다 고유 ID를 부여해 처리할 데이터에 묶습니다. 개념상 함수 호출과 인자 전달에 가깝습니다. 원문에 따르면 사용자 데이터에 숨은 간접 프롬프트 인젝션은 대부분 무시되고, 일부 벤치마크에서는 공격 성공률이 0에 가깝게 내려갔으며, 전반적인 성능은 Granite 4.1 Instruct와 비슷합니다. AI 빌더에게 이 소식은 하나의 설계 방향을 보여 줍니다. 안전성과 안정성을 꼭 외부 방어 장치에만 맡길 필요 없이, 입력 형식과 모델 학습 단계에서부터 ‘지시’와 ‘데이터’를 분리할 수 있다는 점입니다.

도구나 검색 파이프라인을 연동하고 있다면, 먼저 컨텍스트에 어떤 내용이 지시이고 어떤 내용이 외부 데이터인지 정리해 보세요. 지금 쓰는 형식이 모델에게 둘을 분명하게 구분해 주는지 확인해 볼 만합니다.

📅 원문 정보

🔗 더 읽어보기