“ConceptNet系統(tǒng)的得分與四歲兒童相仿，但低于五至七歲兒童的平均得分，”研究人員解釋道，“該系統(tǒng)在每個單項中得分差異很大，說明還有改進的空間。在所有測試中，‘理解’是最關乎人類常識的測試項目。得分差異大、常識方面表現(xiàn)一般，這說明ConceptNet尚不具有四歲兒童的語言能力。但本次研究說明，兒童智商測試可以為人工智能系統(tǒng)的評估和比較提供一種客觀的度量手段。”

ConceptNet是一項由麻省理工學院常識計算計劃團隊(MIT Common Sense Computing Initiative)管理的開源項目。該團隊研發(fā)的ConceptNet 4運用了所謂的“關系”這一概念。例如，當讓該系統(tǒng)解釋什么是“小鹿”時，它會明白“小鹿是一種鹿”，而不是”鹿是一種小鹿“。也就是說，它能夠理解這種動物的概念，以及“小鹿”和“鹿”這兩個詞匯和概念之間的關系。

“此外，許多由ConceptNet給出的錯誤答案和兒童給出的錯誤答案不僅相去甚遠，而且違反常識。”

例如，在關于“獅子”的詞語推理測驗中，該AI系統(tǒng)和首測兒童被給予三條線索——“雄性長著鬃毛”，“該動物生活在非洲”，以及“它是一種體型很大的棕黃色貓科動物”。

由ConceptNet給出的排名前五的答案按順序排列為：狗，農(nóng)場，生物，家庭，貓。

研究團隊解釋道，“生物”和“貓”尚且還能與“獅子”沾邊，但其它的答案就明顯有悖于常識了。

“按照常識，受測者應該至少能將答案限制在動物的范圍內(nèi)，同時能做出簡單的推理：“既然線索說它是貓科動物，那只有貓科動物能夠被列入考慮范圍。”

該論文被發(fā)表在期刊《arXiv》上，共同作者包括羅伯特?斯隆(Robert Sloan)、捷爾吉?圖蘭(Gy?rgy Turán)和阿隆?尤拉斯基(Aaron Urasky)。

ConceptNet系統(tǒng)的得分與四歲兒童相仿，但低于五至七歲兒童的平均得分。這說明該系統(tǒng)并不具備“四歲兒童”的語言能力，但可以為評估類似系統(tǒng)提供指導方法。

測試方法

研究人員讓ConceptNet 4參與了“韋克斯勒學齡前兒童智力量表”測試(WPPSI-III)，并將研究結果發(fā)表在論文《Measuring an Artificial Intelligence System's Performance on a Verbal IQ Test For Young Children》上。WPPSI-III測試包含14項測驗項目，以及一份針對操作智商和言語智商的完整評估表。

操作智商測驗通常會要求受測人完成繪畫、解謎、記憶等任務。言語智商測驗則會考察兒童的詞語推理、詞匯及理解能力。每種智商得分的平均分都為100分。本次研究則主要針對言語智商進行測試。

在測試過程中，試題會通過語言處理工具轉換成ConceptNet 4能夠理解的語言，如“我們?yōu)槭裁匆帐?”、“我們?yōu)槭裁匆谙奶齑魈栫R?”和“為什么將刀子放入嘴中是不好的行為?”等等。

該研究由芝加哥大學的斯特蘭?奧爾森(Stellan Ohlsson)帶領。在對單項測試計分時，研究人員先使用每道題目得分最高的答案計分，然后再使用每道題目得分最高的前五個答案中最好的答案計分。他們將前者稱為“嚴格計分”，后者稱為“放松計分”。

什么是ConceptNet

ConceptNet是一項由麻省理工學院常識計算計劃團隊(MIT Common Sense Computing Initiative)管理的開源項目。該團隊研發(fā)的ConceptNet 4運用了所謂的“關系”這一概念。

例如，當讓該系統(tǒng)解釋什么是“小鹿”時，它會明白“小鹿是一種鹿”，而不是”鹿是一種小鹿“。也就是說，它能夠理解這種動物的概念，以及“小鹿”和“鹿”這兩個詞匯和概念之間的關系。

同時，該系統(tǒng)還可以使用所謂的“對立標記”表示負相關關系，比如“企鵝不會飛”等。