全系標配滿級防水,OPPO A5 系列新品正式發(fā)布

Google 聯合 MIT 開發(fā)新圖像算法,從此手機拍照不用修圖
新算法可以繞開手機性能和續(xù)航的制約,自動處理圖像。
用手機拍出一張優(yōu)質的照片,不僅需要好的手機攝像頭,軟件算法對圖像的優(yōu)化同樣至關重要。近期,搜索巨頭 Google 聯合 MIT 的科學家開發(fā)出了一種新的軟件算法,它能讓手機像專業(yè)攝影師那樣自動處理圖片,并且,這項算法更加節(jié)能,處理速度也更快,在用手機拍攝時可實時顯示修飾的圖像。
研究人員用機器學習的方式創(chuàng)建該軟件,在由 MIT 和 Adobe 創(chuàng)建的擁有 5000 張圖片的數據庫中進行神經網絡訓練。數據庫中每一幅圖片都被五名攝影師修飾過,該系統可以利用這些修飾數據學習如何對圖片參數進行調整和修改,比如亮度調節(jié)、飽和度調節(jié)等。
這項新的系統還可以加速現有的圖像處理算法。谷歌在測試一種用于產生 HDR 圖像的算法時,就利用該系統實時地捕捉到了標準數碼圖片丟失的細微顏色信息。
該軟件建立于 MIT 一個早期研究項目之上 —— 手機向服務器發(fā)送圖像的低分辨率版本,然后服務器會回傳一個「轉換方法」,在手機本地完成圖像高分辨率轉換,從而減少帶寬的消耗。
MIT 電氣工程和計算機科學研究生 Micha?l Gharbi 說:「Google 在了解我所做的項目后,他們自己也做了部分后續(xù)工作,所以我們和 Google 就開始了合作。目前,我們最新的算法跟之前項目有很多相似的地方,只不過這次不用傳送到云端處理,而是讓手機去學習如何修飾圖片。」
Micha?l Gharbi 強調,算法進行機器學習最重要的一點,就是提高它的速度和效率。

原始圖像(左)和經過新算法處理后圖像(右)的對比
為了節(jié)省時間和能耗,大部分的圖像處理任務是在低分辨率的圖像上進行的,這就引入了新的困難,因為必需要從低像素圖像中獲取高分辨率圖像像素點的顏色信息。
Micha?l Gharbi 和他的 MIT 同事用兩種方法解決了這個問題。
第一,讓機器學習系統輸出一組用于修改圖像像素顏色的簡單公式,而不是單純的圖像,系統可根據輸出的公式來決定圖像修飾的結果。
第二,為了將這些公式應用于高分辨率圖像,系統會輸出 16 * 16 * 8 的三維網格。網格 16 * 16 的一面對應的是原圖像的像素位置,堆疊在其頂部的八層則對應不同的像素強度,而網格中的每個單元格包含了確定原圖像顏色的修改公式。
換句話說,網格 16 * 16 的一面有許多單元,每一個單元代表高清圖片的幾千個像素,假設每一組公式對應單元中央的一個位置,那么方塊內每一個高清像素都是由四組公式決定的。
在對最終的結果進行比較后,研究人員發(fā)現,該系統處理圖像所花的時間是 MIT 原始算法的十分之一,是全分辨率 HDR 圖像處理系統的百分之一。
「這項技術在移動平臺上的圖像處理有著非常廣闊的應用前景,」Google 的研究員 Jon Barron 說,「用機器學習的方法處理計算機圖像方面的問題是很令人興奮的一件事,但也受到了移動設備計算性能和續(xù)航上的限制。我們研究的算法則提供了一種避開這些問題的方式,從而提供令人矚目的、流暢的、實時的攝影體驗。」
值得一提的是,該系統有可能會應用在未來的 Google Pixel 中。Google 之前已經使用了 HDR+ 算法,從 Nexus 6 開始,就能夠在移動設備上表現出更多的圖像細節(jié)信息。不過,Google 的「計算機攝影學」主管 Marc Levoy 則說:「我們做的只是一些『皮毛』工作而已。」