写真の背景除去ツールは、画像を1枚ずつ評価されます。GIFや動画にとってそれは間違ったテストです — ツールがすべてのフレームをほぼ正しく処理できても、再生すると壊れて見えることがあります。ちらつきは1つの不完全なピクセルよりはるかに目立つからです。RemoveGifBG のモデルを実際にどうテストするか、まだ失敗するところも含めて、カテゴリーごとに説明します。
各フレームで、アルファがキャラクターの実際のシルエットと一致しているか
結果がクリップ全体で安定していて、個々のフレームでちらつかないか
ベタ塗り、シーン背景、写実的なコンテンツ — 平均せず個別に採点
モデルの品質をテストする前に、おなじみの名前との一対一の比較表が、そもそもなぜ公平なテストにならないのかをはっきりさせておく価値があります。
それを考慮に入れると、誠実なアニメーションのベンチマークは結局、主に1つのこと、つまりシーケンスに対する基盤となるマッティングモデルの品質をテストすることになります。それがこのページの残りの部分で測っているものです。
実際のアニメーションコンテンツの内部ライブラリ — ステッカーパック、VTuber オーバーレイ、ゲームのスプライトシート、短いクリップ — で、白/黒のベタ背景、色付きのシーン背景、写実的なコンテンツにわたります。合成でも、良い結果のために選んだものでもありません。
| カテゴリー | テスト内容 | ステータス |
|---|---|---|
| クリーンでシンプルなコンテンツ | 大多数のケース — 背景に曖昧さがなく、被写体が明確 | 解決済み |
| ベタの白/黒背景 | キャラクターの塗りが背景と同じ色 | 解決済み |
| 静止シーンのちらつき | 背景要素がすべてのフレームで一貫して除去され続ける | 解決済み |
| シーン/写真背景 | アニメーションの被写体の背後にある実際の3Dレンダリングまたは写真の背景 | ほぼ解決 |
| 隣接する背景色に近い要素 | どちらも背景色に近い2つの別々の物体が、互いに近くにある | 未解決 |
| 非常に低コントラストの線画 | 通常の色差のしきい値を下回る、かすかな白地に白の絵 | 未解決 |
2つのカテゴリーは本当に未解決のままで、省略せずここに公開しています。どちらも Cel のページで説明しているデータセット拡張の直接の対象です。
塗りの精度: すべてのクリップは、自動差分だけでなく、人がソースアートと1フレームずつ照合して確認します。スコアだけでなく方法を公開しているので、「合格」は、背後に定義のない数字ではなく、自分で確認できる具体的なものを意味します。
フレーム間の一貫性: 各フレームの結果を隣接フレームと比較します。本物の編集は被写体の動きに合わせて隣り合うフレーム間でなめらかに変化しますが、ちらつきは違います — すべての隣接フレームで確実に背景なのに、あるフレームで突然そうでなくなるピクセルは、そのフレーム単独で「問題なさそう」に見えるかどうかに関係なく、何かがおかしいという強い信号です。ある内部テストクリップ — 動くキャラクターの背後の静止した砂漠のシーン — では、ずっと除去され続けるべき砂の部分が、修正前は5フレームに2フレームの割合で完全に再出現していました。修正後は5フレームに0フレームです。
2つのカテゴリー、隠さず公開します:
両方の詳細と、それらを解決するものについては、Cel のページにあります。
上記のギャップを埋めるモデルを開発中:Cel を見る
まだです — これは私たち自身の内部テスト方法であり、何をテストしどう採点するかを、まだ失敗するカテゴリーも含めて誰でも正確に確認できるよう公開しています。第三者による比較はロードマップにあります。資金提供で何が実現するかはCel のページをご覧ください。
真っ向勝負ではありません。同じ問題を解決していないからです。remove.bg はアニメーションGIFに一度も対応しておらず、ezgif のツールはモデルではなくカラーキーフィルタで、Unscreen は2025年12月に終了して Canva Pro に統合されました。それらを考慮に入れると、誠実なアニメーションのベンチマークは結局、主にマッティングモデル自体の品質をテストすることになります — それがこのページで測っているものです。
そのカテゴリー内のすべてのクリップがソースアートと1フレームずつ照合され、2つの基準を満たしたときに、そのカテゴリーは合格です。アルファがキャラクターの実際のシルエットと一致し、結果がちらつかないこと。
ステッカーパック、VTuber オーバーレイ、ゲームのスプライトシート、短いクリップにわたる実際のアニメーションコンテンツの内部ライブラリで、合成や恣意的に選んだベンチマークセットではありません。
カテゴリーのステータスが実際に変わったときだけで、決まったスケジュールはありません。最終確認は2026年8月。