세일즈포스가 거대 멀티모달 모델(LMM) 개발 생태계에 기여하기 위해 LMM 프레임워크를 공개했다.

세일즈포스 연구진은 최근 논문 사전 공개 사이트 아카이브(arXiv)를 통해 'xGen-MM(BLIP-3)' 프레임워크를 공개했다.

xGen-MM(BLIP-3)은 세일즈포스 인공지능(AI) 연구 부문인 세일즈포스 AI 리서치에서 개발한 LMM 제품군이다.

여러 멀티모달 벤치마크에서 뛰어난 성능을 인정받았다. 이는 xGen-MM(BLIP-3) 프레임워크를 도입해 LMM 학습 방법론이 복잡하다는 문제를 해결했기 때문이라는 게 세일즈포스의 설명이다.

xGen-MM(BLIP-3) 프레임워크는 '다중 모드 인터리브 데이터셋', '선별된 캡션 데이터셋', '공개적으로 사용 가능한 데이터셋'의 조화를 활용한 뛰어난 학습 환경을 제시한다.

이 프레임워크의 핵심은 비전 토큰 샘플러와 쌍을 이루는 사전 학습된 AI 모델과의 결합 방식이다. 연구진은 마이크로소프트(MS)의 소형언어모델(SLM) 파이3-미니(Phi3-Mini)를 조합해 여러 이미지와 텍스트를 결합한 '인터리브'를 처리하는 방식을 소개했다.

연구진은 “이 방법을 통해 텍스트가 많은 이미지를 해석하는 모델의 기능을 향상시키고 계산 요구 사항을 크게 줄여 대규모 애플리케이션(앱)에 대한 모델의 확장성과 효율성을 높일 수 있다”고 설명했다.

세일즈포스가 LMM 프레임워크를 공개한 것은 생태계 기여를 위해서다.

연구진은 “LMM 연구의 발전을 촉진하기 위해 모델, 선별된 대규모 데이터셋, 미세 조정 코드베이스를 오픈 소스로 제공한다”며 “이를 통해 최첨단 멀티모달 AI 기술에 대한 접근을 민주화할 수 있을 것”이라고 밝혔다.

이어 “xGen-MM(BLIP-3) 프레임워크 내 안전 튜닝 프로토콜을 통합하면 편향되거나 잘못된 정보를 제공하는 등 윤리적 위험을 줄이는 데 도움이 될 것”이라고 덧붙였다.

현대인 기자 [email protected]