블로그 글 추가: 2026-05-05-in-kernel-broadcast-optimization-co-designing-kernels-for-recsys-inference, 커널 내 브로드캐스트 최적화(IKBO): RecSys 추론을 위한 커널 공동 설계#105
Open
9bow wants to merge 1 commit into
Conversation
…rnels-for-recsys-inference
PR Preview빌드가 완료되었습니다! 아래 링크에서 변경사항을 확인할 수 있습니다. 미리보기: https://pytorchkr-pr-preview-105.surge.sh
|
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
1 participant
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
번역 글 소개
커널 내 브로드캐스트 최적화(IKBO): RecSys 추론을 위한 커널 공동 설계 번역 글을 추가합니다.
추천 시스템(RecSys) 추론에서는 요청마다 동일한 사용자 임베딩을 모든 후보(candidate)에 복제(브로드캐스트)하느라 후보 수에 비례해 메모리와 연산이 낭비됩니다. 이 글은 브로드캐스트를 "연산이 아니라 데이터 레이아웃의 문제"로 재정의하고, 브로드캐스트 로직을 사용자-후보 상호작용 커널에 직접 융합하는 커널-모델-시스템 공동 설계 접근법인 IKBO를 소개합니다.
선형 압축(Linear Compression)과 Flash Attention 두 커널의 심층 분석을 통해, 행렬곱 분해·메모리 정렬·브로드캐스트 융합·TLX 워프 특화 다단계 융합의 점진적 최적화로 H100 SXM5에서 누적 약 4배 속도 향상(선형 압축)과 CuTeDSL FA4-Hopper 대비 2.4배/6.4배 처리량 향상(Flash Attention)을 달성한 과정을 다룹니다. Meta의 RecSys 추론 스택 전반(GPU·MTIA)에 배포되어 순 지연 시간을 최대 2/3까지 줄였습니다.