文/金洪基 圖/TechRadar
對於GPT4之後的停滯、AGI延遲等，「答案是sLM」的聲音越來越大
耗損龐大的數據、費用等、「數據不足」也是問題
AI技術 「應該朝著用戶定義的AI模型、輕量化等方向發展」
「AI模型越大越好」的信念出現裂痕已經有一段時間了。Open AI的生成AI和GPT模型上市2年6個月左右後，代替大規模LLM，以少數參數和精煉的少量數據等為基礎的sLM備受矚目。對此，全球IT產業界部分人士表示「對AI模型」的觀念，即越大越好，遲早會消失，確信將模式輕量化乃至向sLM時代轉變。
GPT出現以來，AI模型一直展開了瘋狂地擴大規模的競爭。但是，看到這種情景的部分專家們卻面臨著新的恐懼，「以大型模型越大越好的信念為基礎的生成AI革命很快就會停滯。」
「賭博大型化，失敗的可能性會大」
這種信念本身就讓人預想到以大型LLM為基礎的生成AI模型只能處於極限的不久的將來。在過去的2年多時間裏， 領先地位的開放AI在規模擴張上賭上了數十億美元。為了將芯片和數據堆積如山，使未來的大規模語言模型比今天更大而竭盡全力。但是彭博社也投來不安的目光說，「這種危險的賭注可能會失敗。」
規模越大，性能也與此成正比呢？對此，開發者自己也沒有確信。《The Information》和路透社表示，「部分開放AI職員表示，下一代旗艦機型Orion的性能不會比GPT-4明顯改善。」 這與GPT-4的性能比GPT-3更出色不同。
GPT-4自去年3月上市以來，業界一直在爭論開放AI能否開發出超越它的模型，以及開發這種新一代模型需要多長時間。但是還沒有取得如預期的成果。谷歌和Open AI的競爭者Anthropic等也大同小異。彭博社報導說:「這些企業也在開發新一代(LLM基礎)模式的過程中經歷著挫折和延遲。」
合成數據有限，數據不足等問題
儘管如此，Open AI CEO山姆·阿特曼仍然沒有放棄自己的想法，認為「無條件地做得更大就可以」今年年初， 據外媒The Information，他主張「深度學習隨著數據規模越大，性能也會變得更好」，「具有令人震驚的精密度，提供更多的計算和數據，對解決問題更有幫助」
對此，Open AI曾推出過名為o1(號稱「Strawberry」)的新「推論模型」，該模型使用大量的計算資源，花費大量時間回答用戶的問題，從而改善了性能。
但是， 阿特曼的這種想法受到了部分數據科學家的批評。有人批評說，計算能力不是無限的，隨著計算增加，費用和電力消耗得越大。更重要的事實是「數據缺乏」。今天的AI模型已經幾乎耗盡大部分可用的優質數據。因此，擅自使用他人的創作物或信息，有時會遭到起訴。
相關研究者通過縮小模型，減少計算能源的耗損。致力於開發在量身定做的特殊作業中發揮良好性能的sLM。在硅谷，「小東西很珍貴」的認識已經擴散。一年前，比爾·蓋茨也表示，「GPT-4的後續版本將令人失望」，指出了LLM的侷限性。長期預測生成AI發展停滯的AI批評家加里·馬庫斯(Gary Marcus)也發表了認同這種意見的報告書。
AGI與LLM侷限都成為爭論焦點
特別是與人類相似水平的智能AGI開發I也成為熱門話題。隨著對LLM的擔憂越來越大，達到AGI目標的野心引發了很大的爭論。到目前為止，通過生成型AI實現AGI被認為需要龐大的資料和電力消耗。
對此表示反對的有些開發者和研究者正在研究包括支持生成AI的神經網絡在內的多種替代技術。這種方法最近還特別用於構建能夠解決精巧的數學問題的AI。這算是專門針對數學問題的模型。
在這種情況下，華爾街預測今年科技巨頭對AI的投資規模達到2000億美元。同時，他們也在擔心能否獲得相應的收益。這也是對大型LLM未來的不安。儘管如此，從全世界範圍來看，除了醫療、教育等特定幾個領域的SW編程及客服支援外，輕量化的應用模式仍然不活躍 在這種情況下，有分析認為，市場對生成AI的需求正在逐漸放緩，因此備受關注。
每次人工智能相關展會都參加的AI輕量化技術的S公司表示:「不是AI可以代替一切的虛幻夢想，而是對更加實際、具體的渴望日益增加。現在的GPT模式無法解決用戶的實際需求，反而像他們推出的產品一樣構建用戶指定AI模型才能成為真正的答案。」
