擺脫美國AI企業之技術從屬,反映本國獨有的語言、價值觀、文化
構建自身數據和人力、商務網絡、參數不足1千億個的LLM
文/金洪基
不隸屬於以美國為中心的大技術AI,以本國獨有的語言、技術和價值觀爲基礎的Sovereign AI熱潮正在日益擴散。 除美國以外的主要國家都各自嚮往AI主權,不僅是開放AI、MS、Meta、亞馬遜、IBM、蘋果等大型科技企業,眾多美國AI創業企業也通過獨一無二的AI技術,像海綿一樣吸收世界各國的信息和資產,進一步鞏固了壟斷地位。
對此,地球村到處都出現了試圖積累不屬於美國AI大技術的獨立AI技術和力量的動向。谷歌Deep Mind、Meta出身的研究員們設立的法國AI新創Mistral AI開發自主生成型AI模型Le Chat就是代表性的例子。 這可以用西班牙語、法語、德語等歐盟成員國語言進行搜索和分析,被評價爲更適合歐洲國家用戶的分析工具。
法國Mistral AI、義大利 Fastweb等歐盟量身定做開發
法國的Scaleway利用NVIDIA芯片技術,構建了歐洲最強大的雲原生AI超級計算機。義大利的Fastweb也計劃通過NVIDIA技術和自身雲計算和網絡安全基礎設施,推出本國企業、公共行政機關、新創企業可以開發多種用途的生成AI應用程序的End-to-End系統。
這種Sovereign AI的最大特點是,每個國家都包含不同的本國語言、文化和價值觀,利用自身的基礎設施和本國生產或收集的數據、自身人力、商務網絡,以反映地區語言和文化、價值觀的LLM為基礎構建了AI服務。
這是為了擺脫美國企業的影響力或技術從屬,自行發展技術,強化本國的AI力量而做出的努力,廣泛包容各國或地區固有的方言、文化、價值觀、慣例等,學習多種當地數據,構築基礎設施。
另外,據Gartner透露,Sovereign AI現在已經過了市場萌芽期(Innovation Trigger),進入了過度期待階段(Peak of Inflated Expectations),這意味着不論國籍,在迅速擴散。 Gartner還預測,Sovereign AI需要2~5年的時間,以成為市場的主流。
![](https://readfi.news/wp-content/uploads/2024/07/mjgg.jpg)
印度、芬蘭、日本、臺灣等 韓國NAVER也很積極
從更具體的例子來看,印度AI新創Krutrim公開了學習印度語的LLM Krutrim。這不僅支持印地語,還支持泰米爾語、泰盧固語等10種以上的當地語言。另外,中國創業公司Moonshot AI還推出了專門處理中文文章的聊天機器人Kimi。
芬蘭新創Silo公開了以北歐語言為基礎的LLM Poro 和 Viking,以芬蘭語馴鹿一詞命名的Poro34B型號使用了包含ALiBi嵌入的BLOOM 架構。 對包括英語和芬蘭語在內的Python和Java等程序設計語言在內的21兆個Token的多國語言數據組進行了分割和學習。日本松下最近發表了與AI新創合作、開發日語特化的LLM計劃(7.2)。 同樣,日本的NTT今年3月公開了具有世界級日語處理性能的Tsuzumi,該參數為1千億個,預計將成為日本最大規模的業務用LLM。
2021年初,Naver推出了超大型AI HyperCLOVA,之後持續改善性能,推出了後續機型HyperCLOVA X。HyperCLOVA X以自主開發的LLM為基礎,不僅對韓語、對韓國社會、文化脈絡的理解度也很高。
Naver最近與沙烏地Aramco合作,正在構建中東量身定做的AI和雲計算。另外,其構想是擴大國際合作,向全世界宣傳Sovereign AI的重要性,並共享技術力量。
政府也積極支援Sovereign AI
特別是各國政府正在積極開展Sovereign AI,這些政府積極支援開發本國特色的AI模型,強化AI主權。英國政府為了訓練GPT-4等基礎模型,投資了1億英鎊,接著又向超級電腦投入了9億英鎊。特別是牽制以開放AI、谷歌等美國企業為中心形成的AI霸權,開發以英國文化和歷史為重點設計的BritGPT。
為加強國家AI基礎設施,正在支援約12億4000萬美元的資金,計劃通過這一措施,構建至少搭載1萬個GPU的超級計算機等。其目標是開發本土LMM,在技術自立的同時,實現面向所有社會階層的AI技術民主化。
新加坡與NVIDIA合作,將用NVIDIA H100 GPU升級國家超級計算機中心(NSCC)。與此同時,去年12月還正式發表了LLM構築計劃。荷蘭政府今年1月發表了包括追加開發開放型LLM GPT-NL 在內的生成AI計劃,計劃通過這一措施,在本國和歐盟層面果斷投資,包括超級計算機在內的大規模科學技術基礎設施。
日本也為了減少對美國技術的依賴度,向企業支援了約725億日元的資金。 另外,正在與NVIDIA合作開發日語特化的LLM。臺灣今年1月為應對中國的AI攻勢,制定了約174億台幣的預算用於開發Sovereign AI,特別是計劃集中開發提供臺灣人喜歡使用的繁體字內容的AI聊天機器人Taide。