雙目立體視覺的三維人臉重建方法_圖文

1、 智 能 系 統(tǒng) 學 報 第 卷 左右攝 像 機 采 集 標 定 模 板 圖像 ： 擇 ） 選 實驗結(jié) 果 與分 析 基于雙 目立體視 覺的三維 人臉重建 系統(tǒng)構(gòu)成 的平 面棋 盤格作 為標 定 物 ， 盤 格 每個 小格 的尺寸 棋 為 圖 為用 左 右攝像 機 同 時從不 同方位采 集到 的 幅標定 模板 圖像 本 文 的研究 是 以雙 目立 體 視 覺理 論 為基 礎 ， 以 人臉 為研究對 象 ， 構(gòu)建一 個三維人 臉重建 系統(tǒng) 系 該 統(tǒng) 的實驗平 臺如 圖 所示 ， 主要 是 由 臺 彩 色 視頻攝 像 機 、 恒 圖像 采 集 卡 大 視 頻 電纜 、 白棋 盤 格 標 定 板

2、和 、 黑 算機組 成 計 （ ）左攝像機采集 副標定模板圖像 （ ）右 攝 像 機 采 集 副標 定 模 板 圖像 圖 雙 目攝像機采集標定模板圖像 圖 三維 人 臉 重 建 系統(tǒng) 實 驗 平 臺 角點檢測 ： ） 對棋盤 格進行 角點 檢測 ， 目的是 為 了得到角點的二維圖像坐標 ， 作為標定過程 的數(shù) 據(jù)輸 入 ， 測結(jié) 果精確程 度直接影響了整個系統(tǒng) 的標定精 檢 度 以 ， 所 采用 的是 精度 很 高的基 于 子 的亞 算 像 素級 角點檢 測算 法 為角點檢 測的結(jié)果 圖 內(nèi)外 參數(shù) 標定 ： ） 由于所 采用 的 雙 目攝像 機 是 固定焦距 的 ， 以在使 用 過 程 中其

3、 內(nèi)部 參數(shù) 不會 發(fā) 所 生變 化 由上 述攝像 機 標 定算 法得 到 內(nèi)外 參數(shù) 標 定 結(jié)果 見表 可見 ， 中采 用 的立體 視覺 系統(tǒng) 可 以認 文 為是 由 個完 全相 同的攝像 機組成 的平 行雙 目立體 視覺 系統(tǒng) 表 攝 像 機 標定 結(jié)果 圖 三 維 人臉 重 建 系 統(tǒng)流 程 圖 攝 像 機 內(nèi)外 參 數(shù) 內(nèi) 參數(shù) 焦 主 左攝 像機 一 一 右 攝 像機 一 距 點 圖 所 示為 整 個系 統(tǒng) 的流程 圖 首先 利用 標定 的 臺攝像機 獲取 人臉 正 面圖像 對 ， 通過 圖像校 正 一 使 圖像對 的極線對齊 在立體 匹配方 面 ， 結(jié)合 特征技 術 ， 用基于

4、區(qū)域生 長 的立 體 匹 配算法 得 到 整個 人 采 臉 區(qū)域 的視差 圖 最后 ， 人臉 的三維點 云在二 維平 將 一 一 畸 變 一 面上進 行 三角 剖分 、 網(wǎng)格 細分 和光順 處 理 來 重建 三維人臉模 型 外 參數(shù) 旋 轉(zhuǎn) 向量 ， 平 移 向量 。 ； 攝像 機標定分 析 利用上 面介紹 的標定方 法對雙 目攝像 機進 行 內(nèi) 外參 數(shù)標定 ， 具體實 現(xiàn)如下 ： 誤差 分析 ： 了表征 攝像機 標定 的測 量精度 ） 為 并對 誤差 進行 定 量分 析 ， 入 了平均 絕對 誤 差 ， 引 定義 如下 ： 第 期 賈 貝 貝 ， ： 目立 體 視 覺 的三 維 人 臉 重

5、 建 方 法 等 雙 二、 一 一 以看 出 ， 該立體 匹配算法 獲取 的人臉視 差 圖比較 光滑 且能夠反 映出人臉較為 明顯 的視差 階躍 （ ） 式 中 ： ， 棋盤格 角點 的實 際 圖像 坐 標 ， （ ，）是 （ ）是通 過標 定 的雙 目視 覺測 量 出來 的圖像 坐標 ， 為測 量角點 的數(shù) 目 角點 坐標 重新投 影 到圖像 中 ， 將 所 得誤 差為 （ ）采 集 的 人臉 網(wǎng)像 對 （ （ 【 一 （ ） 生 長 算 法 牛 成 視 差 圖 域 圖 角 點 檢 測 圖 立體匹配牛成視籌圖 圖 為經(jīng)過角 點畸 變校 正后 的重投 影誤差 分 布 圖 從圖 中可以看 出，

6、經(jīng)角點校正后 的圖像誤差分 布均 勻， 在和 方向上檢測精度均不超過 像素 個 因此 從實驗結(jié)果來看 ， 本攝像 機標定方法是有效的 三維人 臉重 建結(jié) 果 采 用上面介紹 的三 維人臉重建方 法 ， 即利用人臉 視差 圖和攝像 機 內(nèi)外 參 數(shù) 的結(jié)果 汁算 人臉 點 云的三 維坐標 采用 方法 對 散 亂 的 三維 點 云進 行 三 角剖分 ， 圖 如 （ ） 而后 對初始 生成 的三角 形 網(wǎng)格 三維人臉 模型進行 了網(wǎng)格細化和光順 處理 ， 到最終 得 的三維 人臉模型如 圖 所 示 圖 中可 以看 出 ， （） 從 初 始生成 的三維人臉模 型粗糙 而不平 滑 ， 經(jīng)過 網(wǎng)格優(yōu)化 后

7、， 對初始人 臉模 型進 行 了孑 洞 修 補 和平滑 處 理 ， 使 得三維人 臉主體部分 的重建效果真實感強 圖 重 投 影 誤 差分 析 立體 圖像 匹配和 視差 圖生 成 圖 給 出了立體 匹 配 生成 視 差 圖 為 雙 圖 （） 目攝像 機 拍 攝 的人 臉 圖 像 對 ， 像 分 辨 率 為 圖 首先利 用 基 于特 征技 術 得 到人 臉 邊 緣 特征 點 個 ， 對邊緣 特 征 點做 灰 度 相 關處 理 ， 到 準確 可 得 靠 的視差 然后選擇 匹配 的邊緣特 征點 個作 為種 子像素 ， 以種子像 素 的視 差作 為 區(qū)域 生 長 的視 差 ， 在 外 極線約束 、 單

8、調(diào)性 約束 以及對應 匹配 的邊緣 特征點 的約束 下 ， 對與種子像 素相鄰 的像 素點在 水平 掃描線 卜 行 區(qū)域生 長 ， 進 最終選 取 個種 子像 素從 而得 到整 個人臉 區(qū)域 的視 差圖 將生成 的人臉 視差 圖量化 到 ） （ 個灰 度級 ， 圖 所 示 圖中可 如 （） 從 秘 翟 夠 哆 杈 一 （ ） 始 生 成 三 角形 網(wǎng)格 初 的 三維 人臉 模 型 （ ） 終 的 三維 人臉 模 型 最 圖 多 視角 下 的三 維 人 臉 重 建 結(jié) 果 智 能 系 統(tǒng) 學 報 第 卷 ， 結(jié) 束 語 本 文從人類視 覺 機 理角 度 出發(fā) ， 出一種 基 于 提 （ ）： ，

9、 ， 雙 目立 體視覺 的三維 人臉 重 建 方法 先 利用 標 定 首 的 臺攝 像機獲 取人 臉 正 面 圖像對 ， 過 圖像 校 正 通 使 圖像對 的極線對 齊 ， 然后 結(jié)合 特征技術 ， 選擇具 有 準確可靠 視差 的人 臉 邊緣 特 征 點作 為種 子 像 素 ， 以 種子像 素的視差作 為 區(qū)域 生 長 的視 差 ， 在水 平 掃描 線上進行 區(qū)域生 長 ， 提高 了匹配 的速度 和準確度 ， 從 而得到整個 人臉 區(qū)域 的視 差 圖 后 根 據(jù)攝 像 機標 最 定和立體 匹配結(jié)果 計算 得 到 空 問點 的三 維 坐標 ， 通 過 對人臉 的 三維點 云進 行 三角 剖分 、

10、 網(wǎng)格 細分和光順 處理 ， 到光滑 逼真 的三維人臉模 型 得 在今后 的研究 中， 主要 解 決 由于光 照 因素對 三 張廣軍機器視覺 北京 ： 科學出版社， ： ， （） ， ： ， ， ， （ ） ， ： 阮秋琦數(shù)字圖像處理學 版北京 ：電子工業(yè) 出版 社 ， ： ， ： ， （ ） 維 人臉重建造 成的 影 響 ， 慮 采用 主 動光 源 對被 拍 考 攝 的人臉 區(qū)域 進行 照射 ， 同時進 行 人臉 圖像 對 的采 集 ， 樣可 以有 效地 減小 光 線 變化 對人 臉 圖像 的影 這 響 ， 而達到在各 種 光照 條 件下 重 建 出具 有真 實 感 從 的三維 人臉模 型

11、張永春 ， 達飛鵬 ， 宋文忠三維散亂點集的曲面三角剖 分 中國圖象圖形學報 ， ） ， （ ： ， ， ， ， ）： （ 參 考 文獻 ： ， ， ： ： ， ， （ ） ， ， ）： （ ， ， ， ， ： 作者簡介： 賈 貝 貝 ， ， 年 生 ， 士 研 究 女 碩 生 ， 要 研 究 方 向 為 計 算 機 視 覺 、 字 主 數(shù) 圖 像 處理 、 號 與信 息 處 理 信 ， ， ， ： ， ， ： ， 阮 秋 琦 ， ， 年 牛 ， 授 ， 士 男 教 博 生 導 師 ， 京 交 通 大 學 信 息 科 學 研 究 所 北 所長 ， 國務 院 學 位 委 員 會 學 科 評 議 組 成 ， ， ， 一 員， 高級會員主要研究方 向為圖 像處理 、 計算 機視 覺 、 多媒體信息 處理 、 虛擬現(xiàn)實 、 算機支持 的協(xié) 同工作 曾 計 獲國家教委科技進 步二等獎 、 鐵道部科技進步二等獎和三等 獎等 ， 被評 為國家