現階段，缺乏高質量的數據集已經成為制約人工智能領域成長的瓶頸之一，如何構建人工智能數據集已成為各國執政機構和行業界注目的重點。
美國提出支持構建高質量人工智能數據集，并將構建產業物質數據集定位為行業界不能能解決需執政機構層面推進的困難。2024年10月，美國先后發行《美國國家屬工智能研討和成長戰略方案》和《為前程人工智能做好預備》，確認構建人工智能數據集為聯邦執政機構人工智能戰略重大方案之一。英國以為人工智能產業數據集的匱乏已嚴重阻當人工智能的成長，將提高數據獲取性和產業數據拜訪的便利性列為前程增加英國人工智能本事的首先工作。
我國將缺少有效的培訓物質庫列為陰礙人工智能成長的痛點疑問之一，提出支持建設包含有公眾數據物質庫、尺度測試數據集、云辦事平臺等在內的人工智能根基數據平臺。2024年12月，工信部發行《增進新一代人工智能行業成長三年舉動方案》，提出支持建設面向語音辨別、視覺辨別、天然語言處置等根基領域，以及工業、醫療、金融、交通等產業領域的高質量人工智能培訓物質庫和尺度測試數據集并推進共享。2024年11月工信部發行《新一代人工智能行業首創成長焦點工作揭榜任務計劃》，增進《舉動方案》進一步落實。
人工智能數據集采集手段
目前，人工智能領域關連科技企業在數據集的獲取方面已經形成了多種手段，由于商務模式、公司的注目點以及融資場合的差異，人工智能領域大型企業和初創企業采用的采集手段也有所不同。大型的人工智能領域科技企業注目點重要在數據的質量、代價和獲取難度上。目前大型企業的數據獲取手段重要有以下幾種：
一是數據并購。資本雄厚的企業可以通過并購獲取數據。比如IBM在2024年斥資26億美元收購了Truven康健公司。這筆買賣為IBM在電子病歷、遺傳學和記憶資料方面帶來了2億個項目數據。
二是行業數據協力。依賴企業的產業陰礙力，與行業鏈下游創業公司產業公司或行業鏈上游的數據平臺型公司創設配合，以此獲取所需數據物質。如IBM Watson先后與美國藥品連鎖店鋪CVS、安德森癌癥中央、紀念斯隆-凱特林癌癥研討中央、泰國康民國際醫療機構等機構配合，進而牟取醫療領域人工智能培訓數據物質。
三是自籌數據。通過投入大批人為進行數據采集。如當前許多聊天機械人公司禮聘AI指導者隊伍對聊天利用步驟進行功能考核和開導訓練，所需人為隨用戶數目同步提升，直至觸發數據網絡效應，形成更多用戶-更大多數據-更優智能算法-更好產物-更多用戶的正輪迴。此外，也可采取投入大批資本，向花費者提供特定領域免費利用的手段快速堆積數據，如Madits、Clarifai等圖像辨別公司均推出了免費的照片利用步驟，以便為圖像辨別核心業務堆積更多圖像數據。
四是創意產物撬動數據。通過創意產物吸收用戶，在娛樂之余提供數據是獲取人工智能數據集的一種首創策略。比如2024年11月，谷歌發行了名為Quick， Dra！（猜畫小歌）的在線涂鴉App，該App要求用戶依據文本提示繪制簡樸對象，由AI測度所畫內容。所采集數據不光增進了該App自身AI的演進，還用來培訓了2024年4月發行的素描AI機械人RNN。
五是開源測試環境或平臺換取數據。此手段實用于科技巨頭或產業巨頭，科技巨頭或產業巨頭通過開源測試環境和培訓、測試數據集，旨在提高AI開闢者的用戶黏性，并以此獲取數據以及其他物質。
還有其他手段，如通過大賽機制完善數據集或應用虛擬環境產生數據；一些人工智能領域比拼要求協辦方提供數據物質，增進數據共享。此外，應用虛擬環境也可產生數據物質。如斯坦福大學在培訓長途遙控深海功課機械人OceanOne時，採用了許多由模仿配景（虛擬環境）產生的大批培訓數據。
對于初創企業，陰礙數據獲取的要害因素是本錢，目前初創企業獲取數據的重要手段有以下幾種：
一是採用執政機構主導的公眾數據。執政機構主導的公眾數據集成為人工智能產業物質培訓庫的主要起源。美國聯邦執政機構Datagov數據平臺已開放包含有十余個領域的13萬個數據集；英國、加拿大、新西蘭等國自2024年前后開端創設執政機構數據公眾平臺；我國上海、北京、武漢、無錫、佛山等都會自2024年開端陸續推出數據平臺。
二是買入商務數據集。數據物質的商務代價已得到全面共識，商務數據集提供商採用最新的搜索算法蒐集、清洗和除舊數據集，且開端出售其商務數據物質。商務數據集對于需求快速得到數據且沒有內部物質來清洗和歸類數據的人工智能初創企業來說長短常有益的，如道瓊斯和Xignite已開端提供基于云平臺的數據拜訪辦事。
三是眾包市場。眾包玩百家樂賺錢模式已成為取代人工智能科技企業蒐集數據的重要策略。如通過國外的亞馬遜Mechanical Turk，內地的百度數據開放平臺等數據眾包平臺可以找到承包商做數據蒐集任務，減少了企業雇傭數據專家的關連本錢。
從成長趨勢來看，前程數據并購和眾包市場將漸漸成為重要的數據獲取手段。相較于其他數據獲取手段，這兩種方式或許較為方便地獲取數據并形成質量較高的數據集。據CBInsights的數據顯示，人工智能領域中關于數據的并購現象將越來越顯著。而對于初創企業，由于沒有充足的資本，所以這類企業已將眾包市場作為重要的數據起源；同時，一些大型互聯網企業也將建設數據眾包平臺作為成長人工智能的戰略布局之一。
眾包模式成為人工智能數據標注的根本策略
采集獲取的元數據需求通過進一步的標注才幹對目前大部門的人工智能算法進行培訓，而對海量元數據的處置需求大批的時間本錢和人為本錢。
數據標注一般有人工標注和智能人工交融標注兩種方式。人工標注是借助一定可視化器具對數據進行純人工標注，由于元數據的數據量極大，一般采用人工方式進行數據標注的任務量極度大。在處置具有一定規律的數據時，可以采用智能人工交融的方式，并通過智能人工的多級迭代擔保輸出數據的質量。以百度高精地圖為例，其數據智能處置水平已到達90，能主動辨別交通標志、地面標志、車道線、信號燈等上百種目的。不過不論采用人工標注還是智能人工交融標注，任務量仍然長短常大的，僅靠人工智能企業的自身氣力難以辦妥，一般需求進行數據標注工作的再分發。
目前，數據標注再分發的主流方式為眾包模式。在沒有第三方眾包平臺之前，人工智能科技企業通常自行召募數據標注員進行數據處置，數據標注和質量管理的本錢極高且效率低下。人工智能數據標注的外包市場于2024年真正開端，2024年下半年顯露縮短，2024年又有了新一輪的爆發，目前已形成相對完整的眾包行業生態。對照知名的Google Open Image Datasets、Youtube-8M、ImageNet數據集等均通過眾包平臺辦妥。
眾包模式重要有眾包和工場兩種類型。眾包是把工作通過平臺轉接分包給網民，如百度眾包、京東眾智、龍貓數據等平臺重要采用這種方式，實用于不敏銳數據。工場則是平臺個人經營隊伍，對整個流程進行管理，實用于企業敏銳數據，如貴陽夢動科技經營了一個500人的數據工場，在大型隊伍之外，還活潑著眾多三五人到十幾人規模不等的數據標注小作坊。
眾包模式的抉擇需均衡工作費用、質量和時間三者的關系。工作費用、質量和時間三者之間的均衡與具體的眾包工作性質深厚關連。美國微軟雷德蒙研討院在數據工作消費與質量的均衡之間設計了基于馬爾科夫決策理論的數學模子（其內部稱之為常識梯度的有效算法），以此確認哪類數據需求標注和雇傭誰進行數據標注，進而解決工作消費與質量之間的關系。通常來說，質量是最主要的指標，即假如沒有質量，較低的費用與較少的時間城市失去意義。
構建人工智能數據集存在的疑問和手段建議
當前在人工智能數據集的獲取和標注方面仍存在四個方面的疑問。一是在元數據獲取層面，企業出于自身益處斟酌，難以實現真正的數據共享百家樂教學 技巧，並且某些不同凡響領域的數據獲取和採用是否合規正當存在很大的爭議。二是數據標百家樂線上注產業仍是被具體政策支撐無視的死角，人工愛麗絲 百家樂智能關連政策和社會注目點重要會合在算法、利用、芯片方面，針對數據標注和眾包市場百家樂 戴子郎的政策支撐和社會注目較少。三是第三方眾包平臺市場仍處于成長初期的不理智生長狀態，缺乏關連產業控制規范和產業自律精力，有可能會發作一些妨害客戶益處的場合，如對眾包數據進行二次轉售等。四是目前大型企業對自有數據的保衛意識越來越強，不過目前眾包平臺重要由人工智能科技企業建設，不存在與其他眾多人工智能科技企業徹底沒有利害關係關系的第三方眾包平臺。
針對構建人工智能數據集存在的疑問，特提出手段建議。一是進一步增強頂層安排設計和體系化布局，完善配套舉措，加速關連政策落地，通過政策策略增進人工智能數據在企業間的共享和合乎邏輯化採用。同時增強數據標注和眾包市場的政策支撐，提高社會注目度。二是推進人工智能數據領域關連控制規范的訂定和落實，增強產業自律精力建設，創設投訴機制，保障企業數據安全。三是建議在國家層面策劃人工智能產業物質數據集建設，試探以執政機構數據開放為牽引、龍頭數據為根基、產業數據配合驅動，由無益處關系的第三方維護數據集并建設數據眾包平臺。（王堯 王文躍 劉泰）
