Opus 5.5로 영상 만들기 | 편집 프로그램 없이 코드로 뽑는 원리와 실전 프롬프트

요즘 스레드를 열면 "Opus 5.5가 영상을 혼자 만들었다"는 글이 줄줄이 올라옵니다.

결론부터 말하면 Opus 5.5는 영상을 직접 생성하지 않습니다. 영상을 그리는 코드를 짜고, 그 코드를 렌더링해 MP4로 뽑습니다. 이 구조를 알면 무엇을 맡기고 무엇을 직접 준비할지가 보입니다.

클로드 오퍼스 5.5로 만든 영상은 대부분 코드 기반 영상이다. 모델이 HTML·CSS·자바스크립트로 장면과 움직임을 쓰고, 헤드리스 브라우저와 FFmpeg가 프레임을 찍어 MP4로 합친다. 편집 프로그램 없이 모션그래픽·앱 소개 영상·데이터 애니메이션을 만들 수 있지만, 실사 촬영본이나 사진 같은 소스는 사람이 준비해야 한다.

스레드에서 무슨 일이 벌어지고 있나

시작은 9월 22일 오퍼스 5.5 출시 직후였습니다. 코딩 벤치마크보다 "편집 툴 한 번 안 켜고 영상이 나왔다"는 사례가 먼저 퍼졌습니다.

제가 스레드에서 확인한 대표 사례를 정리하면 이렇습니다. 모두 작성자 본인이 밝힌 내용이고, 제가 직접 재현해 본 결과는 아닙니다.

사례	무엇을 맡겼나	작성자가 밝힌 방식
@go_tworavel	여행 앱 소개 영상	앱에 로그인해 화면 캡처, 무료 영상 소스 검색, 배경음악 작곡까지 에이전트가 처리
@kumihohq	75초 홍보 영상	HTML 한 장으로 필름을 짜고 프레임 2,250장을 렌더링, 음악은 코드로 합성해 120BPM에 컷을 맞춤
@prompt._9	28초 컷페이퍼 애니메이션	장면표와 그림 규칙을 영어로 고정하고, 장면별 캡처를 보며 수정 후 MP4 렌더
@ai_mentor_ladi	제품 모션그래픽	제품 사진 몇 장을 주자 배경 제거와 리듬 있는 모션까지 구성
@aicoffeechat	15초 쇼릴 비교	같은 프롬프트로 오퍼스 5.5와 GPT-6 아스트라 결과를 나란히 비교한 해외 사례 소개
@biberstudio_ai	모션그래픽 자동화 비교	아스트라는 빠르고, 오퍼스 5.5는 레이아웃·수치 디테일이 꼼꼼하며 토큰을 덜 썼다는 체감

공통점은 하나입니다. 영상 생성 모델에 문장을 넣고 기다린 게 아니라, 코딩 에이전트에게 "영상을 만드는 프로그램"을 짜게 했다는 점입니다.

원리: 영상이 아니라 영상을 그리는 코드를 만든다

해외에서도 같은 설명이 나옵니다. 개발자 에릭 부스는 X에서 "오퍼스 5.5는 이미지나 영상을 직접 생성할 수 없고, 그리고 움직이고 편집하는 코드를 쓸 수 있을 뿐"이라고 정리했습니다.

흐름은 세 단계입니다. 모델이 장면을 HTML·CSS·애니메이션 코드로 쓰고, 헤드리스 크롬이 그 화면을 프레임 단위로 찍고, FFmpeg가 프레임과 오디오를 MP4로 합칩니다.

음악도 같은 방식입니다. 음원 파일을 가져오는 대신 코드로 소리를 합성하니, 박자에 맞춰 장면을 자르는 계산까지 한 프로그램 안에서 끝납니다.

이때 쓰는 도구는 크게 셋입니다. HeyGen이 공개한 오픈소스 HyperFrames, React 기반의 Remotion, 그리고 모델이 즉석에서 짠 자체 렌더러입니다.

실제로 한 해외 사용자가 뮤직비디오 제작자에게 무엇을 썼는지 묻자 "둘 다 아니고, 오퍼스가 렌더러를 직접 만들었다"는 답이 돌아왔다고 합니다. 도구 선택까지 에이전트가 하는 셈이죠.

HyperFrames로 시작하는 법

처음이라면 HyperFrames가 가장 문턱이 낮습니다. 일반 HTML 파일이 그대로 영상 한 편이 되고, 에이전트용 스킬까지 함께 제공되기 때문입니다.

필요한 것은 Node.js 22 이상과 FFmpeg입니다. 공식 README가 안내하는 수동 명령은 아래와 같습니다.

npx hyperframes init my-video
cd my-video
npx hyperframes preview   # 브라우저에서 미리보기
npx hyperframes render    # MP4로 렌더링

Claude Code나 Codex에서 쓸 때는 스킬을 먼저 설치해 둡니다. 스킬이 "기획, HTML 작성, 애니메이션 연결, 미리보기, 렌더"로 이어지는 제작 순서를 에이전트에게 알려 줍니다.

# 처음 설치 (선택 화면에서 Core Skills만 고르면 충분)
npx skills add heygen-com/hyperframes

# 에이전트가 비대화형으로 설치·갱신할 때
npx hyperframes skills update

README가 제시하는 첫 프롬프트 예시는 "/hyperframes를 써서 페이드인 제목, 배경 영상, 잔잔한 배경음악이 들어간 10초짜리 제품 소개 영상을 만들어 줘"입니다. 이 정도 짧은 요청으로 흐름을 한 번 확인해 보는 것이 좋습니다.

Remotion과 차이는 작성 방식입니다. Remotion은 React 컴포넌트로 영상을 쓰고, HyperFrames는 빌드 없이 평범한 HTML로 씁니다. 에이전트에게 맡길 땐 후자가 오류가 덜 날 가능성이 큽니다.

결과를 가르는 프롬프트 세 가지

스레드의 잘 된 사례를 뜯어보면 "영상 만들어 줘" 한 줄로 끝난 경우는 거의 없습니다. 세 가지를 먼저 고정해 줬습니다.

1. 이야기와 장면표를 초 단위로 준다

@prompt._9는 등대와 아이 이야기를 한 문장으로 주고, 0초부터 28초까지 장면 순서를 표로 붙였습니다. 모델이 무엇을 언제 보여 줄지 고민할 필요가 없어집니다.

2. 그림 규칙을 한 줄로 못 박는다

같은 작성자는 "모든 도형에 찢어진 종이의 흰 테두리와 부드러운 그림자"처럼 스타일 규칙을 구체적으로 고정했습니다(@prompt._9). "예쁘게"보다 이런 규칙 한 줄이 훨씬 강합니다.

3. 만들기 전에 구성안부터, 렌더 전에 캡처부터

@go_tworavel의 프롬프트 마지막 줄은 "만들기 전에 구성안부터 보여 줘"였습니다. 결과를 보며 "촌스러워", "후킹 약해", "템포 빠르게"처럼 짧은 피드백을 반복했다고 합니다.

두 사례를 합쳐 제가 쓸 템플릿을 정리하면 이렇습니다.

우리 앱 홍보 영상을 만들어 줘. 15초, 16:9, HyperFrames 사용.
- 목적: 기능 나열 말고 앱이 주는 가치 하나
- 첫 1초: 누구나 겪어 본 장면 하나로 시작
- 화면: ./captures 폴더의 실제 앱 화면만 사용
- 스타일: 검은 배경, 큰 흰 글자, 박자마다 한 단어
- 음악: 코드로 합성, 120BPM, 장면 전환은 박자에 맞출 것
- 먼저 초 단위 장면표와 구성안을 보여 줘
- 렌더 전에 장면별 캡처 3장을 보여 주고 내 확인을 받아

반응형

맡기기 전에 알아둘 한계

모든 영상이 빨라지는 건 아닙니다. 설화 판타지 트레일러를 오퍼스 5.5에 편집시킨 @geekzza2ai는 디테일을 잡느라 몇 시간이 걸렸고 "캡컷으로 직접 하는 게 더 빨랐을지도"라고 적었습니다.

대신 그 과정이 "시킬 것과 내가 할 것을 구분하는 시간"이었다고 덧붙였습니다. 저는 이 말이 지금 단계의 정확한 요약이라고 봅니다.

예능 PD @lisa_studio625도 같은 쪽을 가리킵니다. 편집이 쉬워질수록 누구에게 무슨 이야기를 할지, 기획에 더 시간을 쓰라는 조언입니다.

기술적인 한계도 분명합니다. 사진이나 실사 촬영본은 모델이 만들어 내지 못하니 직접 준비해야 하고, 에이전트가 찾아온 무료 영상 소스는 라이선스를 한 번 더 확인해야 합니다.

한도를 아끼며 만드는 순서

영상 작업은 수정이 반복되기 쉬워 한도가 빨리 줄어듭니다. 순서만 바꿔도 낭비가 꽤 줄어듭니다.

1. 처음엔 15초 이하로 만듭니다. 길이를 늘리는 건 구조가 확정된 다음입니다.
2. 구성안과 장면표 단계에서 방향을 확정합니다. 렌더 뒤에 기획을 바꾸면 코드를 통째로 다시 짭니다.
3. effort는 기본값 medium으로 둡니다. 앤트로픽은 오퍼스 5.5의 medium이 오퍼스 5의 high와 비슷하거나 낫다고 밝혔습니다.
4. 수정 요청은 한 번에 여러 개를 묶어 보냅니다. "촌스러워" 한 마디씩 보내면 매번 전체를 다시 읽습니다.

렌더링 자체는 내 컴퓨터의 브라우저와 FFmpeg가 처리합니다. 토큰이 드는 건 코드를 쓰고 고치는 단계라, 결국 대화 횟수를 줄이는 게 핵심입니다.

이런 영상은 맡기고, 이런 영상은 아직 사람이

개인적으로는 앱 소개, 제품 모션그래픽, 숫자가 움직이는 설명 영상처럼 화면 요소가 정해진 영상이라면 지금 바로 맡겨 볼 만하다고 봅니다.

반대로 인터뷰나 촬영본이 중심인 영상, 감정의 호흡이 중요한 편집은 아직 사람의 몫입니다. 오퍼스 5.5는 편집자를 대신하기보다, 모션 디자이너 한 명이 옆에 붙은 쪽에 가깝습니다.