AI 影片初體驗

除了 Vibe Coding 以外，我之前已經試過用 AI 生成音樂，也試過請 ChatGPT 生成圖片，唯獨 AI 影片一直還沒有親自測試。今天就來看看，如何透過 AI Agent 實際完成一支 AI 影片。

在所有 AI 應用裡，影片大概是最容易引起興趣的一種：一張照片、一段文字，人物就能動起來。於是我替自己設定了一個很直覺的測試目標：

提供一張人物的生活照，讓 AI 使用照片中的人物，產生一支約 10 秒的影片。

結果我原本以為只是「找一個模型、輸入照片、等待生成」的工作，最後卻變成一場很完整的模型比較實驗。

先找到能串接影片模型的服務

ChatGPT 與 Claude 在這次工作流程中扮演的是文字協作與研究助手的角色，本身不是我可以直接拿來輸出影片的模型。因此，第一步不是寫 Prompt，而是先找一個能提供影片模型 API 的服務商。

與 AI 討論後，我選擇 Atlas Cloud，主要有兩個原因。

第一，它提供完整的 MCP、Skill 與 CLI，方便和 AI Agent 串接。這讓我可以用自然語言討論需求，再把模型、參數、素材與生成任務交給 CLI 執行，整個流程比較容易留下紀錄。

第二，它整合了不同供應商的影片模型，而且價格相對低，適合做多模型、多路線的實驗。這點很重要，因為人物一致性不是只測一個模型就能下結論。

原本以為 Reference-to-Video 就能解決問題

我首先嘗試的是 Reference-to-Video，也就是把人物照片當成參考素材，請影片模型在新的場景中使用照片裡的人物。

第一個測試對象是 Seedance。它在影片生成領域很有知名度，理論上應該能根據參考圖片理解人物外觀，再讓人物做出指定動作。

我先用一張自己的半身生活照，要求模型生成課程介紹影片：人物拿著手機、介紹 AI 課程，並加入口播、背景音樂與繁體中文字幕。結果影片確實有場景、有動作，也有聲音，但人物的臉已經不是照片中的本人。

這不是只差一點點。有幾次測試中，人物的臉型、五官比例、膚色、髮型甚至年齡感都明顯不同。畫面看起來像一支完成度不錯的廣告，卻不是我提供的那個人。

換 Prompt、換照片、換版本，結果仍然相似

接下來我做了幾輪排查：

• 把 Prompt 改得更短，只要求人物自然眨眼、呼吸與微小動作。
• 換成不同構圖的半身照片。
• 另外製作人物卡，提供正面、側面、三分之四角度、半身與全身視圖。
• 改用 Seedance 2.0 Mini 與 Seedance 2.5。
• 關閉音訊、字幕與複雜場景，只保留人物身份確認。

但結果依然沒有根本改善。即使畫面只剩一個人、固定鏡頭、灰色背景與很小的動作，人物仍然會被重新生成。

這讓我得到一個暫時性的推測：Seedance 的 Reference-to-Video 路線，可能會對真人臉部進行某種程度的去識別化或重新設計。這不是我能從官方文件直接證明的結論，而是根據多次測試得到的現象歸納；至少在我的素材與測試條件下，單靠 Reference-to-Video 沒有辦法達到「照片本人完全一致」。

Grok 與 Kling：人物一致性明顯改善

後來我把相近的測試條件拿去測 Grok Imagine Video 與 Kling O3。

這兩個模型的結果讓我比較有信心。人物的臉型、髮型、年齡感與整體外觀都比 Seedance 的 Reference-to-Video 接近原始照片。當我要求照片中的人物在公園走路、揮手、切換不同鏡位時，影片中的人物仍然大致可以辨認是同一個人。

不過，「比較一致」不代表「完全鎖定」。鏡頭從全身切到近景時，髮線、臉部比例與表情仍會有些微漂移。這也說明了場景越複雜、動作越大、鏡頭變化越多，人物一致性就越難維持。

這幾輪測試帶給我的第一個重要結論是：

人物一致性不只取決於 Prompt，也高度取決於模型本身，以及你選擇的是 Reference-to-Video 還是 Image-to-Video。

回頭測試 Image-to-Video，原始照片終於成為第一幀

既然 Reference-to-Video 的問題可能來自「模型要在新場景中重新創造人物」，我決定改測 Image-to-Video。

Image-to-Video 的概念比較直接：輸入圖片就是影片的第一幀，模型從這個畫面開始，讓人物和場景產生連續動作。這次我使用一張兩位寶寶在餐廳裡的照片，要求他們自然眨眼、微笑、互看、拍桌，並加入輕微的鏡頭推近，讓畫面更活潑。

這次的結果明顯不同。影片從原始照片的構圖開始，兩位寶寶、餐椅、餐桌與主要背景都保留下來；臉部、年齡感、服裝與座位位置也大致維持一致。動作雖然仍然是模型生成的，但整體看起來像是照片被延伸成一段短影片，而不是重新找兩個相似的人。

這不代表 Image-to-Video 已經可以做到逐像素鎖定。表情、嘴型和手部細節仍會被模型動畫化，輸出的實際尺寸也可能和介面上看到的解析度名稱不同。但若目標是「先保留原照片，再讓畫面產生自然動態」，Image-to-Video 比 Reference-to-Video 更符合需求。

簡單說：

• 想把人物帶到全新的場景，Reference-to-Video 比較符合概念，但人物身份漂移風險較高。
• 想保留原始照片的構圖與人物，Image-to-Video 通常是更合理的起點。

聲音可以生成，字幕卻不能完全放心

一開始我希望一次完成所有事情：人物動起來、說出指定台詞、配上背景音樂，最後直接產生字幕。

實際測試後，我會把這些功能分開看。

聲音方面，影片模型確實可以產生口播與背景音訊，部分測試也有 AAC 音訊串流。不過，是否逐字按照 Prompt 說出指定內容，仍需要另外用語音轉文字檢查，不能只看到「有聲音」就當成成功。

字幕方面，問題更明顯。即使 Prompt 已經指定繁體中文，影片裡仍可能出現錯字、重複文字、字形變形，或乾脆沒有顯示字幕。模型很擅長生成「看起來像字幕的東西」，但不一定能可靠地生成可以直接發布的正確文字。

因此，目前比較實際的製作流程是：先讓模型把畫面與聲音做好，字幕保留後製空間。若是較正式的影片，我仍會使用影片剪輯工具重新加上字幕，確保文字完全正確。

這次測試到底花了多少錢？

一共產生了 9 支影片，實際總長度約為 65 秒，整理如下：

9 支成功影片總花費約為 NT$146.04，平均每秒約 NT$2.23。這只是五秒到十五秒的測試片段，尚未包含剪輯、字幕後製、音樂素材或其他服務的成本。

一個晚上的最大收穫

1. 不要假設所有影片模型都能把照片中的真人原樣帶進影片。
2. Reference-to-Video 適合測試人物進入新場景，但人物身份可能漂移。
3. Image-to-Video 適合先保留原始照片，再讓畫面產生自然動態。
4. Prompt 寫得更詳細，不代表模型一定能遵守每一個要求。
5. 口播與字幕是兩個不同問題；有聲音不代表台詞正確，有字幕也不代表文字可用。
6. 先用五秒、低解析度測試，會比一開始就生成長片節省很多成本。
7. 每次只改變一個變數，並記錄模型、路線、素材、Prompt、解析度、長度與結果，才有辦法真正比較。

AI 影片確實很有吸引力，但它目前仍比較像一個需要反覆試驗的創作工具，而不是按下按鈕就能穩定交付成品的自動工廠。理解這一點，反而是開始使用它最重要的一步。

本文由 GPT 5.6 Luna xhigh協作撰寫