每天Google Maps為數百萬人提供有用的指導，實時交通信息和企業信息。為了給用戶提供最好的體驗，這些信息必須實時反映不斷變化的世界。雖然街景汽車每天收集數百萬張圖片，但是無法手動分析迄今為止收集的超過800億張高分辨率圖像，以便為Google地圖找到新的信息。Google地面真相團隊的目標之一，是使我們可以自動從地理位置圖像中提取信息，從而改進Google地圖。
在“ 從街景圖像中注意提取結構化信息 ”中，描述了我們在許多國家使用深層神經網絡，自動地從非常具有挑戰性的街景圖像中準確讀取街道名稱的方法。我們的算法在複雜的法國街頭標誌（FSNS）數據集上實現了84.2％的準確性，顯著優於以前的最先進的系統。重要的是，我們的系統很容易擴展，以便從Street View圖像中提取其他類型的信息，現在可以幫助我們從店面自動提取商業名稱。我們很高興地宣佈，這個模式現在是公開的！
在自然環境中的文本識別，是一個具有挑戰性的計算機視覺和機器學習問題。雖然傳統的光學字符識別（OCR）系統主要集中在從掃描的文檔中提取文本，但是自然場景獲取的文本由於視覺偽像（如失真，遮擋，定向模糊，雜亂的背景或不同的觀點）而更加困難。解決這一研究難題的努力首先在2008年開始，當時使用神經網絡來模糊街景圖像中的面孔和車牌，以保護用戶的隱私。從這個初步研究，我們意識到，通過足夠的標籤數據，我們可以另外使用機器學習來保護用戶的隱私，而且還可以使用相關的最新信息自動改進Google地圖。
2014年，Google的地面真相小組發佈了最新的街景數字（SVHN）數據集閱讀方法，該數據由暑期實習生（現為Google員工）Ian Goodfellow實施。這項工作不僅具有學術興趣，而且對製作Google Maps更為準確至關重要。今天，全球有三分之一以上的地址由於採用了這一系統而得到改進。在一些國家，如巴西，該算法已經改善了Google地圖中90％以上的地址，大大提高了地圖的可用性。 下一個合乎邏輯的步驟是將這些技術擴展到街道名稱。為了解決這個問題，Google創建併發布了法國街頭標誌（FSNS），這是一個超過100萬個街道名稱的大型訓練數據集。FSNS數據集是一項多年努力，旨在允許任何人在具有挑戰性和真實用途的情況下改進其OCR模型。FSNS數據集比SVHN大得多，更具挑戰性，因為對街道標誌的準確識別可能需要組合許多不同圖像的信息。
通過這次培訓，Google實習生Zbigniew Wojna在2016年夏天通過深入的學習模式架構，完成了自動標註了新的街景服務圖像。新模式的一個有趣的優點，可以將文本標準化為與我們的命名約定保持一致，並且可以直接從數據本身忽略外部文本。
雖然這個模型是準確的，但確實顯示了15.8％的序列錯誤率。然而，在分析失敗案例後，我們發現其中48％是由於地面真相錯誤，突出表明該模型與標籤質量相符。
這個新系統與一個提取街道號碼相結合，能夠直接從圖像創建新的地址，我們以前不知道街道的名稱或地址的位置。現在，只要街景汽車在新建的道路上行駛，系統就可以分析成千上萬的被捕獲的圖像，提取街道名稱和數字，並在Google地圖上自動正確創建和定位新地址。
但是，自動創建Google地圖的地址是不夠的——此外，Google希望能夠通過名稱為企業提供導航。在2015年，Google發佈了“ 街景圖像大規模業務發現 ”，提出了一種在街景圖像中準確檢測商店店面標誌的方法。然而，一旦檢測到商店前端，仍然需要準確地提取其名稱以使其有用——模型必須確定哪個文本是商家名稱，哪個文本是不相關的。將這個提取的“結構化文本”信息稱為圖像。它不僅僅是文本，它是附有語義的文本。
使用不同的訓練數據，用於閱讀街道名稱的相同模型架構，也可用於準確地從業務外觀中提取業務名稱。在這種特殊情況下，只能提取商家名稱，能夠驗證我們是否已經在Google地圖中瞭解此業務，從而使我們能夠獲得更準確和最新的商家信息。
在超過800億的街景視圖圖像中，應用這些大型模型需要大量的計算能力。這就是為什麼Ground Truth團隊是Google TPU的第一個用戶，這些TPU 在今年早些時候被公開宣佈，大大降低了Google管道推斷的計算成本。
人們依靠Google地圖的準確性來協助他們。在保持Google Maps與城市不斷變化的環境保持一致的同時，道路和企業提出了一個遠未解決的技術挑戰，地面真相團隊的目標是推動機器學習中的尖端創新為十多億Google地圖用戶創造更好的體驗。