能在文本精準(zhǔn)檢測地址和號碼 谷歌是怎么做到的

　　8月10日消息，據(jù)國外媒體報道，谷歌本周發(fā)布了最新版的移送操作系統(tǒng)Android Pie，其中的亮點功能之一就是Smart Linkify。這是一個應(yīng)用程序編程接口，可在文本中檢測到地址、電話號碼和其他類似信息并調(diào)用可點擊鏈接。雖然這聽起來很炫酷，但事實上一切都是人工智能在背后作用的結(jié)果。

　　“在文本中識別出電話號碼和地址往往是一個難題，”谷歌人工智能軟件工程師盧卡斯齊卡(Lukas Zilka)在一篇博客文章中寫道。“這不僅是因為人們在編寫文本時有很多變化，而且文本中的組合代表什么樣的信息也經(jīng)常是模棱兩可(例如：’確認(rèn)號碼:857-555-3556’并不是一個電話號碼,即使它采用了類似于電話號碼的形式)。”

　　齊卡解釋說，Smart Linkify是對現(xiàn)有Android Linkify API的改進(jìn)，其底層由兩個緊湊的、低延遲的前饋神經(jīng)網(wǎng)絡(luò)組成——由稱為節(jié)點的簡單處理單元層組成的機(jī)器學(xué)習(xí)算法——其中借用了前版移動操作西戎Android Oreo的智能文本選擇功能。

　　這兩個神經(jīng)網(wǎng)絡(luò)都依賴第三個模型生成的數(shù)據(jù)。該模型從網(wǎng)絡(luò)中提取電話號碼、地址、產(chǎn)品、地點和商業(yè)名稱，并隨機(jī)添加“文本上下文”和短語(例如“確認(rèn)號碼”和“ID”)。谷歌人工智能團(tuán)隊針對拉丁文字語言(英語、德語、波蘭語和捷克語)使用一種算法，而針對日語、韓語、泰語、阿拉伯語和俄語等語種分別使用了完全不同的算法。

　　整個處理過程是這樣的:要分析的文本被拆分為單詞，然后從這些單詞中生成所有可能的最大長度子序列。然后，系統(tǒng)中的第一個神經(jīng)網(wǎng)絡(luò)為每個子序列分配一個值(在0到1之間)，表示它對自己的身份(例如給定的一串?dāng)?shù)字是密碼還是電話號碼)的置信度。

　　得分最低的子序列從列表中刪除，然后第二個神經(jīng)網(wǎng)絡(luò)介入，按類型對子序列進(jìn)行分類——即電話號碼、地址或非實體信息。

　　“(網(wǎng)絡(luò))需要知道實體周圍的上下文(除了實體本身的文本字符串之外)。在機(jī)器學(xué)習(xí)中，這是通過將這些部分表示為單獨的特性來實現(xiàn)的。”齊卡表示，“實際上輸入文本被拆分成幾部分，分別饋送到神經(jīng)網(wǎng)絡(luò)。”

　　為此，單詞被轉(zhuǎn)換成n-gram模型(有時也稱為N元模子，是大詞匯連續(xù)語音識別中常用的一種語言模型)，這種技術(shù)“將(詞匯)表示為一定長度的所有字符子序列的集合”。而一個神經(jīng)網(wǎng)絡(luò)辨識這些單詞是否以大寫字母開頭——這是郵政地址的一個顯著特征。

　　在實踐中，假設(shè)句子“約翰應(yīng)該在周二打電話1- 800-9444-9494”這句話，Smart Linkify首先會將“John應(yīng)該撥打”與“1- 800-9444-9494”分開，然后將“John應(yīng)該撥打”和“1-800-944-9494”分類為非實體電話號碼和電話號碼，最后在網(wǎng)絡(luò)瀏覽器或應(yīng)用程序中通過這個電話號碼創(chuàng)建一個可點擊的鏈接。

　　在智能手機(jī)硬件的限制下，這種工作對人工智能團(tuán)隊來說是一個額外的挑戰(zhàn)。他們通過量化(一種將連續(xù)范圍的值轉(zhuǎn)換為有限范圍離散值的壓縮技術(shù))以及在系統(tǒng)兩個神經(jīng)網(wǎng)絡(luò)之間共享某些數(shù)值表示等其他技術(shù)來解決這個問題。

　　在不久的將來，這個團(tuán)隊希望為日期和時間創(chuàng)建機(jī)器學(xué)習(xí)模型——尤其是識別文本中的非正式短語，如“下周四”或“三周后”。

　　“我們相信這種架構(gòu)可以擴(kuò)展到其他設(shè)備上的文本注釋問題，我們期待看到新的用例，”齊卡寫道。