時間:2020-02-13 來源:互聯網 瀏覽量:
這個新的AI語言模型名為“圖靈自然語言生成(Turing Natural language Generation)”,也即Turing-NLG。為什麼說它的規模比其他同類型的模型都要大呢?首先,Google的BERT模型擁有3億4千萬組參數; OpenAI的GPT-2擁有15億組參數; 皮衣刀俠老黃家的Megatron-LM有83億組,而微軟這個Turing-NLG,則擁有170億組參數,是目前最大的模型的兩倍!
那麼這個AI可以幹些什麼呢?簡單來說就是當你把一小段文字,Turing-NLG可以順著這段文字寫出一些像是由人類寫成的句子,而且是與這段文字相關的,並不是雜亂無章的語句。
微軟的科學家Corby Rosset表示:“微軟正在推出Turing-NLG,這是有史以來最大的模型,總參數為170億,在各種語言建模測試中均表現比目前最坐的同類模式優秀,並且當用在概括以及回答問題在內等多項實際任務中也表現出色。”
就如其前輩一樣,Turing-NLG的170億組參數是由變形器(transformer)構建而成的,這種變形器是一種用以處理輸入文字後,配合上文下理並且輸出單詞的AI架構。
對於機器來說,要生成像人類對話或有意義的文本是困難的,因為要做到這點就先必須要理解上文下班理,不然隻會產出一堆「每個字都看得懂但組合在一起就看不懂」的句子。因此AI必須可以接受關於思路這方麵的訓練才有機會做到這點。
而Turing-NLG的弱來則代表了AI在這方麵又邁進了一步。或許在不久的將來,筆者可以把文章寫個開頭,然後剩下的就由AI去發揮了(笑)。
有關這個新AI的詳細介紹可以在這裏查看。