跳至主要内容

Exploiting Minimal Distance for Automatic Weighted Color Transfer

課程目標​

研究背景​

  • 隨著數位影像生成需求的增加，傳統手動色彩轉移方法難以滿足高效性與一致性要求。
  • 本研究旨在探討自動化技術以調整色彩轉換權重，達到高品質色彩轉移效果。

方法設計​

  • 動態權重調整機制
    • 透過計算源圖像與目標圖像之間的影像距離，自動分配 RGB 通道的權重，以實現最佳色彩匹配效果。
  • 距離計算方法
    • 使用四種距離計算方法來衡量圖像間的相似性並進行權重調整：
      • 相關性距離（Correlation Distance）
      • 卡方距離（Chi-Square Distance）
      • 交集距離（Intersection Distance）
      • 巴氏距離（Bhattacharyya Distance）
  • 色差計算標準
    • 為確保色彩轉換過程中保持原始圖像細節與目標圖像色彩特徵，採用以下四種色差計算標準：
      • CIE76
      • CIE94
      • CIEDE2000（CIE00）
      • CMC l（CMC84）

實驗結果​

  • 所提出的方法在多種場景下顯著提升效果：
    • 保持色彩一致性
    • 增強圖像視覺品質與自然度

研究貢獻​

  • 有效解決傳統色彩轉移技術中的色彩失真與細節丟失問題。

未來方向​

  • 將聚焦於優化演算法，探索更多有效的距離計算方法與權重調整策略。
  • 嘗試將技術應用於更廣泛的影像處理與計算機視覺領域，例如：
    • 圖像風格遷移
    • 增強現實技術
  • 進一步驗證該方法在不同應用情境中的可行性與有效性。

演算法流程圖​

方法流程圖​

流程圖.png

步驟​

  1. 圖片準備

    • 準備兩張圖片：原始圖片與目標色彩轉換參考圖片。

  2. 通道讀取

    • 讀取原始圖片和目標圖片的 R、G、B 三個通道，為色彩轉換做準備。

  3. 加權色彩轉移 (WCT)

    • 使用 WCT 方法對 R、G、B 通道進行轉換。
    • 將權重 ( w ) 從 0 調整至 1，每隔 0.01 計算轉換結果。

  4. 距離計算

    • 採用四種距離計算方法：
      • 相關性距離（Correlation Distance）
      • 卡方距離（Chi-Square Distance）
      • 交集距離（Intersection Distance）
      • 巴氏距離（Bhattacharyya Distance）
    • 計算轉換後圖片與原始及目標圖片之間的距離，找到最佳權重值 ( w )。

  5. 色差計算

    • 使用以下四種色差計算方法評估轉換效果：
      • CIE76
      • CIE94
      • CIEDE2000（CIE00）
      • CMC l:c（CMC84）
    • 確保色彩轉換過程中最大限度保留原始圖像細節及目標色彩特性。

方法與評估指標​

權重色彩轉移​

我們提出的權重色彩轉移方法通過引入權重因子 ( w ) 來調整源圖像和目標圖像之間的色彩轉移過程，以實現更精確和自然的色彩效果。

色彩轉移公式​

色彩轉移公式如下：

R(x,y)=wσt+(1−w)σsσs(S(x,y)−μs)+wμt+(1−w)μsR(x,y) = \frac{w \sigma_t + (1-w) \sigma_s}{\sigma_s} \left( S(x,y) - \mu_s \right) + w \mu_t + (1-w) \mu_s
  • R(x,y)R(x,y)：色彩轉移後的結果像素值
  • S(x,y)S(x,y)：源圖像的像素值
  • ww：權重因子，範圍 0.0≤w≤1.00.0 \leq w \leq 1.0
  • μs\mu_s：源圖像的均值
  • μt\mu_t：目標圖像的均值
  • σs\sigma_s：源圖像的標準差
  • σt\sigma_t：目標圖像的標準差

  1. 標準化處理：

    • 將源圖像的像素值標準化，使均值為零，標準差為一： S(x,y)−μsσs\frac{S(x,y) - \mu_s}{\sigma_s}

  2. 權重調整：

    • 根據權重 ( w ) 和標準差，調整標準化後的值： wσt+(1−w)σsσs\frac{w \sigma_t + (1-w) \sigma_s}{\sigma_s}

  3. 轉換到目標圖像的均值和標準差：

    • 最後，將調整後的值轉換到目標圖像的均值和標準差： wσt+(1−w)σsσs[S(x,y)−μs]+wμt+(1−w)μs\frac{w \sigma_t + (1-w) \sigma_s}{\sigma_s} \left[ S(x,y) - \mu_s \right] + w \mu_t + (1-w) \mu_s

  4. 效果控制

    • 當 ww 接近於 1.0 時，轉移後的圖像會更接近於目標圖像的色彩。
    • 當 ww 接近於 0.0 時，轉移後的圖像則會保留更多源圖像的色彩特性。

計算圖片間距離方法​

為了實現更自然的色彩轉換，我們探索了 RGB 權重的動態調整。具體來說，我們採用了四種常見的計算圖片間距離的公式，分別是 Correlation Distance、Chi-Square Distance、Intersection Distance 以及 Bhattacharyya Distance。這些距離計算方法各有特點，能夠從不同角度衡量圖像之間的相似性。以下是對這四種計算圖片間距離方法的詳細分析：

  1. Correlation Distance：

    • 這種距離度量方法通過計算兩個分佈之間的相關性來衡量其相似度。其公式為： d_correlation(P,Q)=1−cos⁡(P,Q)σPσQd\_{\text{correlation}}(P,Q) = 1 - \frac{\cos(P,Q)}{\sigma_P \sigma_Q} 其中，cos⁡(P,Q)\cos(P,Q) 是 P 和 Q 之間的協方差，σP\sigma_P 和 σQ\sigma_Q 分別是 P 和 Q 的標準差。較小的 Correlation Distance 表示兩個分佈之間的相關性較高。

  2. Chi-Square Distance：

    • 該距離度量方法通過比較兩個分佈的期望頻率和觀察頻率來衡量其相似度。其公式為： dχ2(P,Q)=∑(Pi−Qi)2Pi+Qid_{\chi^2}(P,Q) = \sum \frac{(P_i - Q_i)^2}{P_i + Q_i} 其中，PiP_i 和 QiQ_i 是分佈 P 和 Q 中的第 i 個元素。Chi-Square Distance 越小，表示兩個分佈越相似。

  3. Intersection Distance：

    • 這種方法通過計算兩個直方圖分佈的重疊部分來衡量其相似度。其公式為： dintersection(P,Q)=1−∑min⁡(Pi,Qi)d_{\text{intersection}}(P,Q) = 1 - \sum \min(P_i, Q_i) 其中，PiP_i 和 QiQ_i 是分佈 P 和 Q 中的第 i 個元素。較小的 Intersection Distance 表示兩個分佈之間的重疊部分越大。

  4. Bhattacharyya Distance：

    • 該距離度量方法通過衡量兩個分佈之間的重疊來計算其相似度。其公式為： dbhattacharyya(P,Q)=−ln⁡∑Pi⋅Qid_{\text{bhattacharyya}}(P,Q) = -\ln \sum \sqrt{P_i \cdot Q_i} 其中，PiP_i 和 QiQ_i 是分佈 P 和 Q 中的第 i 個元素。Bhattacharyya Distance 越小，表示兩個分佈之間的相似度越高。

我們通過這四種距離計算方法，動態調整 RGB 權重，以確保色彩轉換過程中能夠最大限度地保留原始圖像的細節和目標圖像的色彩特性。這種動態調整機制使得色彩轉換結果更加自然，避免了單一方法可能帶來的失真和不一致。

色差計算方法​

在本研究中，為了更精確地分析和比較色彩轉換效果，我們採用了 CIE00、CIE76、CIE94、CMC84 這四種色差計算方法。這些方法有助於量化色彩轉換前後的差異，使我們能夠更清楚地瞭解不同距離計算方法的變化量。以下是對這四種色差計算方法的詳細分析：

  1. CIE76 (CIE1976)：

    • CIE76 是最早提出的一種色差計算方法，基於 L*a*b*色彩空間。其計算公式為： ΔE76=(L2−L1)2+(a2−a1)2+(b2−b1)2\Delta E_{76} = \sqrt{(L_2 - L_1)^2 + (a_2 - a_1)^2 + (b_2 - b_1)^2} 這種方法簡單直觀，但在某些情況下對於人眼感知的色彩差異並不夠準確，特別是在高彩度和低彩度區域。

  2. CIE94 (CIE1994)：

    • CIE94 改進了 CIE76 的不足，通過引入加權係數來調整不同色彩成分對總色差的影響。其計算公式為： ΔE94=(ΔLKLSL)2+(ΔCKCSC)2+(ΔHKHSH)2\Delta E_{94} = \sqrt{\left(\frac{\Delta L}{K_L S_L}\right)^2 + \left(\frac{\Delta C}{K_C S_C}\right)^2 + \left(\frac{\Delta H}{K_H S_H}\right)^2} 其中，ΔL\Delta L 是明度差，ΔC\Delta C 是彩度差，ΔH\Delta H 是色調差，SLS_L、SCS_C 和 SHS_H 是加權係數。CIE94 在實際應用中能更好地反映人眼的色彩感知。

  3. CIEDE2000 (CIE00)：

    • CIEDE2000 是目前最為準確的色差計算方法之一，進一步改進了 CIE94，考慮了更多的色彩感知因素。其計算公式為： ΔE00=(ΔL′KLSL)2+(ΔC′KCSC)2+(ΔH′KHSH)2+RT(ΔC′KCSC)(ΔH′KHSH)\Delta E_{00} = \sqrt{\left(\frac{\Delta L'}{K_L S_L}\right)^2 + \left(\frac{\Delta C'}{K_C S_C}\right)^2 + \left(\frac{\Delta H'}{K_H S_H}\right)^2 + R_T \left(\frac{\Delta C'}{K_C S_C}\right)\left(\frac{\Delta H'}{K_H S_H}\right)} CIEDE2000 在各種應用場景下能提供更精確的色差評估。

  4. CMC (CMC1984)：

    • CMC84（Color Measurement Committee 1984）基於 L*C*h*色彩空間，考慮了亮度、彩度和色調三者之間的差異。其計算公式為： ΔECMC=(ΔLlSL)2+(ΔCcSC)2+(ΔHSH)2\Delta E_{CMC} = \sqrt{\left(\frac{\Delta L}{l S_L}\right)^2 + \left(\frac{\Delta C}{c S_C}\right)^2 + \left(\frac{\Delta H}{S_H}\right)^2} 這種方法靈活性較高，允許使用者根據具體應用場景調整權重參數，以得到更符合實際需求的色差評估結果。

實驗結果​

一般與權重色彩轉移比較​

在本研究中，我們使用HDR TM-24、Kodak-24、SIPI-15等資料集，探索色彩轉換的多樣性和複雜性。這些資料集涵蓋各種場景，如室內風景、自然風光、人像和動物攝影，展現了廣泛的色彩分佈。

圖 3 顯示了：

  • 左側的原始圖像作為起點，
  • 中間的參考目標圖像是我們希望轉換的色彩空間，
  • 右側是轉換結果。

透過這三部分的比較，我們可以直觀評估轉換後圖像的色彩準確性、對比度、清晰度和整體視覺品質。

實驗中，我們選擇了RGB 權重為 0.5的設定，以固定參數的方式探索轉換過程的效果。這一分析將有助於我們理解色彩轉換的原理，並為後續研究提供參考，探索更有效的優化策略。

原始圖片目標參考色彩轉換的圖片轉換後的結果圖
original_01.pngtarget_01.pngtransformed_01.png
original_02.pngtarget_02.pngtransformed_02.png
original_03.pngtarget_03.pngtransformed_03.png

RGB 權重調整對色彩轉換的影響​

  • 權重影響顯著：RGB 權重調整至 0.4 或 0.6 會大幅影響照片效果。
  • 轉換偏向：權重調整方向會影響結果，偏向原始或目標圖片。
  • 變化範圍：權重變化小，效果不明顯；變化過大，可能造成圖片失真。
  • 個別適應性：不同圖片需要不同的權重調整，顯示色彩轉換的複雜性。
  • 調整重點：需考慮圖片特性，精確調整權重以保持視覺效果自然真實。
原始圖片RGB 權重為 0.4RGB 權重為 0.6
original_01.pngweight_0_4_01.pngweight_0_6_01.png
original_02.pngweight_0_4_02.pngweight_0_6_02.png
original_03.pngweight_0_4_03.pngweight_0_6_03.png

RGB 權重的動態調整​

  • 目標：實現更自然的色彩轉換，探索 RGB 權重的動態調整。

  • 距離計算方法：

    • Correlation Distance：測量兩個分佈之間的相關性。
    • Chi-Square Distance：通過比較期望頻率和觀察頻率來衡量相似度。
    • Intersection Distance：計算兩個直方圖分佈的重疊部分。
    • Bhattacharyya Distance：衡量兩個分佈之間的重疊程度。

  • 方法：

    • 在源圖和目標圖之間最小化距離，記錄最佳 RGB 權重配置。
    • 尋找最佳權重配置，將轉換後的圖片與源圖和目標圖的色彩差異最小化。

  • 輸出：將權重資訊輸出成圖片，展示每個通道在色彩轉換中的相對重要性。

  • 意義：

    • 提供精確而自然的色彩轉換，幫助用戶理解和調整 RGB 權重。
    • 可視化方式使調整變得直觀，為用戶提供靈活性。
    • 進一步推進色彩轉換技術的發展，滿足實際應用需求。
BHA 方法CHS 方法COR 方法INS 方法
01_31_64_95.png01_35_21_36.png01_39_36_35.png01_69_41_41.png
( 0.31 , 0.64 , 0.95 )( 0.35 , 0.21 , 0.36 )( 0.39 , 0.36 , 0.35 )( 0.69 , 0.41 , 0.41 )
02_13_5_94.png02_24_30_98.png02_98_84_98.png02_98_100_75.png
( 0.13 , 0.05 , 0.94 )( 0.24 , 0.30 , 0.98 )( 0.98 , 0.84 , 0.98 )( 0.98 , 1.00 , 0.75 )
03_18_10_100.png03_18_99_64.png03_60_59_49.png03_91_89_79.png
( 0.18 , 0.10 , 1.00 )( 0.18 , 0.99 , 0.64 )( 0.60 , 0.59 , 0.49 )( 0.91 , 0.89 , 0.79 )

來源與結果圖片量化分析​

我們針對原始圖片和轉換後的結果圖進行色差比較，採用了四種色差計算方法：

  • CIEDE2000 (CIE00)
  • CIE1976 (CIE76)
  • CIE1994 (CIE94)
  • CMC84

我們的目標是評估不同距離計算方法（Correlation Distance、Chi-Square Distance、Intersection Distance、Bhattacharyya Distance）在色彩轉換過程中的影響。

以下是我們的具體發現：

  1. 色差方法的行比較

    • 在下圖中進行行比較時，我們觀察到CIEDE2000 (CIE00) 在捕捉細微色彩變化方面表現最佳。這是因為 CIE00 考慮了多種色彩感知因素，使其在評估色彩差異時更加精確和可靠，尤其是在轉換後圖片與目標圖片之間的色差分析中，能夠準確反映微小的色彩變化。

  2. 色差方法的列比較

    • 通過列比較，我們發現 CMC84 在每種距離計算方法下表現穩定。這是因為 CMC84 基於 L*C*h*色彩空間，引入了可調參數 ll 和 cc，可靈活控制明度和彩度的權重。這使得 CMC84 對邊界效應影響較小，在反映整體色彩分佈差異時具有優勢。
original.png
原始圖片
距離公式BHA 方法CHS 方法COR 方法INS 方法
量化方法BHA.pngCHS.pngCOR.pngINS.png
CIE00CIE00_BHA.pngCIE00_CHS.pngCIE00_COR.pngCIE00_INS.png
CIE76CIE76_BHA.pngCIE76_CHS.pngCIE76_COR.pngCIE76_INS.png
CIE94CIE94_BHA.pngCIE94_CHS.pngCIE94_COR.pngCIE94_INS.png
CMC84CMC84_BHA.pngCMC84_CHS.pngCMC84_COR.pngCMC84_INS.png

目標與結果圖片量化分析​

在目標圖片與結果圖片比較中，各色差計算方法展現了不同的特點：

  • CIE1976 (CIE76): 在高彩度和低彩度區域表現不佳，未能精確捕捉微小色彩變化。這是因為其計算公式簡單，導致結果圖片與目標圖片間的色差評估偏差較大。
  • CIE1994 (CIE94): 引入了加權係數來調整色彩成分，提升了準確性，儘管增加了計算的複雜性，但比 CIE76 更真實地反映了色彩轉換效果。
  • CIEDE2000 (CIE00): 提供最高準確性，尤其適合高精度色彩應用，能夠精確反映細微色彩變化。
  • CMC84: 展現了靈活性和敏感度，能夠穩定反映整體色彩分佈差異，特別適合整體色彩差異分析。
target.png
目標圖片
距離公式BHA 方法CHS 方法COR 方法INS 方法
量化方法BHA.pngCHS.pngCOR.pngINS.png
CIE00CIE00_BHA.pngCIE00_CHS.pngCIE00_COR.pngCIE00_INS.png
CIE76CIE76_BHA.pngCIE76_CHS.pngCIE76_COR.pngCIE76_INS.png
CIE94CIE94_BHA.pngCIE94_CHS.pngCIE94_COR.pngCIE94_INS.png
CMC84CMC84_BHA.pngCMC84_CHS.pngCMC84_COR.pngCMC84_INS.png

分析結果​

綜合以上分析，CIEDE2000 (CIE00) 和 CMC84 各自展現了不同的優勢：

  • CIE00 適合細節變化的檢測，尤其在高精度色彩應用中表現卓越。
  • CMC84 更適合整體色彩差異的評估，且對邊界效應的敏感度較小。

結論與未來工作​

研究摘要​

本研究提出並實現了一種基於動態權重調整的自動色彩轉換方法，使用加權色彩轉移技術（Weighted Color Transfer, WCT）和多種距離計算方法，成功地實現了高品質的色彩轉換。實驗結果顯示，該方法在多種場景下均能產生優異效果，顯著提升了圖像的視覺質量和自然度。

方法概述​

我們的色彩轉換方法採用了以下步驟：

  • 使用 Correlation Distance、Chi-Square Distance、Intersection Distance 和 Bhattacharyya Distance 來衡量轉換後圖像與原始圖像及目標圖像之間的距離。
  • 應用 CIE76、CIE94、CIEDE2000 (CIE00) 和 CMC84 四種標準色差計算方法來評估色彩轉換的效果。

這些方法的使用確保了色彩轉換過程中能夠準確反映目標圖像的色彩，同時保留原始圖像的細節。

研究限制與挑戰​

儘管該方法在多種場景中表現良好，但仍有一些限制：

  1. 複雜圖像的挑戰：在面對更複雜和多樣化的圖像時，效果可能會有所下降。
  2. 計算效率與實時性：目前的算法在計算效率和實時性方面有改進空間。

未來工作方向​

我們計劃在以下幾個方面進行進一步的研究和改進：

  1. 算法優化：提升現有算法的計算效率，減少計算時間，以適應大規模和高分辨率的圖像需求。
  2. 距離計算方法探索：研究更精確的距離計算方法，特別是那些能夠捕捉圖像間細微差異的算法，以提高色彩轉換的精度。
  3. 智能權重調整策略：研究更自適應的權重調整策略，使算法能在複雜場景中靈活調整，提升轉換效果。

未來應用前景​

我們的計劃包括以下幾個拓展應用：

  • 將該方法應用於圖像風格遷移和增強現實等領域，以檢驗其在不同應用場景下的適用性。
  • 開發基於該算法的實時應用，特別是視頻處理和直播流媒體，以進一步拓展應用範圍。

結論​

本研究展示了一種基於動態權重調整的自動色彩轉換方法，證明了其在多場景下的優越性。我們相信，通過進一步的研究和優化，該方法將在更多實際應用中展現出其潛力，為未來的色彩轉換技術提供堅實的基礎。

參考文獻​

  1. S. Liu, and Y. Zhang, “Non-uniform illumination video enhancement based on zone system and fusion,” In Proceedings of International Conference on Pattern Recognition (ICPR), pp. 2711–2716, 2018.
  2. S. Liu, and Y. Zhang, “Detail-preserving underexposed image enhancement via optimal weighted multi-exposure fusion,” IEEE Transactions on Consumer Electronics, Vol. 65, no. 3, pp. 303–311, 2019.
  3. Y. Zhang, and S. Liu, “Effective underexposed video enhancement via optimal fusion,” In Proceedings of the 9th ACM SIGGRAPH Conference and Exhibition on Computer Graphics and Interactive Techniques in Asia (SIGGRAPH Asia 2016), poster, Article No. 16, 2016.
  4. Y. Zhang, and S. Liu, “Non-uniform illumination video enhancement based on zone system and fusion,” Journal of Computer-Aided Design & Computer Graphics, vol. 29, no. 12, pp. 2317–2322, 2017.
  5. Q. Chai, and S. Liu, “Shape-optimizing hybrid warping for image stitchings,” In Proceedings of the IEEE International Conference on Multimedia and Expo (ICME), Article number: 7552928, pp. 1–6, 2016.
  6. S. Liu, and Q. Chai, “Shape-optimizing and illumination-smoothing image stitching,” IEEE Transactions on Multimedia, vol. 21, no. 3, pp. 690–703, 2019.
  7. S. Liu, and S. Li, “Gamut mapping optimization algorithm based on gamut-mapped image measure (GMIM),” Signal, Image and Video Processing, vol. 12, no. 1, pp. 67–74, 2018.
  8. Y. Chen, and S. Liu, “Deep partial occlusion facial expression recognition via improved CNN,” In Proceedings of International Symposium on Visual Computing (ISVC), pp. 451–462, 2020.
  9. S. Liu, X. Wang, P. Li, and J. Noh, “Trcollage: efficient image collage using tree-based layer reordering,” In Proceedings of International Conference on Virtual Reality and Visualization (ICVRV), pp. 454–455, 2017.
  10. E. Reinhard, M. Ashikhmin, B. Gooch, and P. Shirley, “Color transfer between images,” IEEE Computer Graphics & Applications, vol. 21, no. 5, pp. 34–41, 2001.
  11. Y. Hacohen, E. Shechtman, D. B. Goldman, et al., “Non-rigid dense correspondence with applications for image enhancement,” ACM Transactions on Graphics, vol. 30, no. 4, pp. 76–79, 2011.
  12. X. An, F. Pellacini, “User-controllable color transfer,” Computer Graphics Forum, vol. 29, no. 2, pp. 263–271, 2010.
  13. F. Pitie, A.C. Kokaram, and R. Dahyot, “Automated colour grading using colour distribution transfer,” Computer Vision & Image Understanding, vol. 107, no. 1–2, pp. 123–137, 2007.
  14. T. Pouli, and E. Reinhard, “Progressive color transfer for images of arbitrary dynamic range,” Computers & Graphics, vol. 35, pp. 67–80, 2011.