康奈爾研究助力Facebook的新AI購物工具

基于康奈爾大學計算機視覺研究的細粒度視覺識別，一種新的人工智能系統(tǒng)允許Facebook上的購物者識別上傳的照片中物品的特征。

首席執(zhí)行官馬克·扎克伯格(Mark Zuckerberg)5月19日通過Facebook Live宣布了這一產(chǎn)品識別系統(tǒng)，該系統(tǒng)可以識別數(shù)十種照片中數(shù)十種類別的屬性，包括時尚和家居裝飾。

該系統(tǒng)背后的“點擊圖片和搜索”技術最早由計算機科學教授兼主席Kavita Bala和她當時的博士生Sean Bell，MS'15，博士學位于2015年開發(fā)。'16，現(xiàn)為Facebook研究科學家。

Bala和Bell在2016年共同創(chuàng)立了GrokStyle，這是一家基于這項研究的創(chuàng)業(yè)公司。GrokStyle于去年被Facebook收購。

“這是一個來自學術界研究環(huán)境的想法，由學生和顧問共同完成，”8月15日開始擔任計算與信息科學學院院長的巴拉表示：“我很高興看到它全部實現(xiàn)通向全球消費者的方式。”

Facebook的系統(tǒng)，稱為GrokNet和貝爾的帶領下，建立關GrokStyle技術和自動建議屬性，如顏色和材料時，賣家上傳照片的產(chǎn)品銷售，根據(jù)Facebook的。該技術允許買家在查找特定物品時進行詳細搜索，即使賣家在發(fā)布照片時沒有在說明中添加這些細節(jié)。

巴拉說：“當您對某物拍照時，我們不僅可以告訴您是椅子還是桌子，任何人都可以做到，但是我們也可以準確告訴您它是哪把椅子或桌子–宜家Mammut桌子或Eames椅子-以及它們看起來是什么樣式和材料?！?/span>

該工具今天為Facebook Marketplace提供了強大的功能，并通過預測顏色，樣式和材質屬性，以及將上傳的照片與干凈的目錄圖像進行匹配來識別商品。它結合了深度學習(一種人工智能)和非常大的圖像數(shù)據(jù)庫。

貝爾說：“推銷產(chǎn)品或花時間創(chuàng)建清單可能很棘手?！薄癎rokNet為您完成艱苦的工作?！?/span>

該公司表示，GrokNet在識別產(chǎn)品方面的準確性是Facebook先前系統(tǒng)的兩倍，并將其“家庭和花園”類別的覆蓋率從33%提高到90%。

貝爾說：“該系統(tǒng)接受了多種數(shù)據(jù)集的培訓，因此它對于看起來可能有所不同的物品也很有效，具體取決于您所在的世界的哪個部分?！?/span>