全系標(biāo)配滿級(jí)防水,OPPO A5 系列新品正式發(fā)布

蘋(píng)果、微軟雙發(fā)小語(yǔ)言模型,iPhone、PC 端側(cè) AI 要來(lái)了?
Build、WWDC 兩場(chǎng)技術(shù)大會(huì),或見(jiàn)分曉。
在去年年中和年末,微軟分別推出了 Phi-1、Phi-2 輕量級(jí)語(yǔ)言模型,這類(lèi)模型主要為簡(jiǎn)單任務(wù)處理設(shè)計(jì),具有使用簡(jiǎn)單、尺寸小等特性。
4 月 23 日,微軟又帶來(lái)了新一代 Phi-3 系列。
此次發(fā)布的 Phi-3 系列,有 Phi-3-mini(3.8B)、Phi-3-small(7B)、Phi-3-medium(14B)不同版本。
微軟強(qiáng)調(diào),Phi-3 系列雖然訓(xùn)練參數(shù)較少,但在語(yǔ)言理解、推理、數(shù)學(xué)等能力上,不弱于更大尺寸模型。
據(jù)微軟公布的數(shù)據(jù),Phi-3-mini 綜合能力,超過(guò)了 Google Gemma-7B、Mistral-7B,而 Phi-3-small 與 Phi-3-medium,甚至超過(guò)了 Mixtral 8x7B、Claude-3 Sonnet 與 GPT-3.5。

△ 圖源:微軟
Phi-3-mini 則是該系列率先發(fā)布的版本,Phi-3-small、Phi-3-medium 也將在不久后開(kāi)放。
Phi-3-mini 具有小巧、易用、跨平臺(tái)的特點(diǎn),38 億參數(shù)語(yǔ)言模型,可以適用于端側(cè)運(yùn)行,如筆電、手機(jī)。
此外,Phi-3-mini 經(jīng)過(guò)微軟推理框架 ONNX Runtime 優(yōu)化,可支持 DirectML,對(duì) CPU、GPU、移動(dòng)硬件的跨平臺(tái)支持。并且,Phi-3-mini 也為 Nvidia GPU 做了優(yōu)化,可作為 Nvidia NIM 推理微服務(wù),以標(biāo)準(zhǔn) API 執(zhí)行。
Phi-3-mini 有兩種上下文長(zhǎng)度變體 4K 和 128K token,經(jīng)過(guò)訓(xùn)練,可以遵循不同類(lèi)型的指令,理解用戶的意圖。

△ 圖源:微軟
微軟表示,Phi-3-mini 還是同尺寸模型中,首個(gè)能支持 128K token 的 SLM。
目前 Phi-3-mini 已在 Microsoft Azure AI Studio、Hugging Face 和 輕量框架 Ollama 上使用。

△ 圖源:huggingface
印度農(nóng)業(yè)集團(tuán) ITC 以 Copilot 開(kāi)發(fā)的 AI 應(yīng)用,將部署 Phi-3,更好地服務(wù)當(dāng)?shù)剞r(nóng)民。
而 AI PC 顯然會(huì)是 Phi-3 施展的重要戰(zhàn)場(chǎng),下月的 Build 大會(huì)上,或許我們就將能見(jiàn)到新東西。
另一邊,蘋(píng)果最近在 AI 開(kāi)源平臺(tái) Hugging Face 上發(fā)布了開(kāi)源訓(xùn)練推理語(yǔ)言模型 OpenELM。

△ 圖源:huggingface
OpenELM 也定位為小語(yǔ)言模型,共有 4 個(gè)尺寸:2.7 億、4.5 億、11 億和 30 億個(gè)參數(shù),提供生成文本、代碼、翻譯、總結(jié)摘要等功能。
雖然最小的參數(shù)只有 2.7 億,但蘋(píng)果使用了包括 RefinedWeb、PILE、RedPajama 子集和 Dolma v1.6 子集在內(nèi)的公共資料集,一共約 1.8 萬(wàn)億 token 資料進(jìn)行了預(yù)訓(xùn)練 ,采用了CoreNet 作為訓(xùn)練框架,并使用了 Adam 優(yōu)化演算法進(jìn)行了 35 萬(wàn)次迭代訓(xùn)練。
訓(xùn)練參數(shù)小,但性能可能并不弱。
其中公布的數(shù)據(jù)顯示,11 億參數(shù)的 OpenELM 比 12 億參數(shù)的 OLMo 模型的準(zhǔn)確率高出 2.36%,而使用的預(yù)訓(xùn)練資料卻只有 OLMo 的一半。

△ 圖源:buzzbyte
同時(shí),蘋(píng)果還發(fā)布了將模型轉(zhuǎn)換為 MLX 庫(kù)的編碼,以方便其在蘋(píng)果設(shè)備上推理和調(diào)整。
蘋(píng)果開(kāi)發(fā)團(tuán)隊(duì)表示:
此次 OpenELM 發(fā)布旨在增強(qiáng)和鞏固開(kāi)放社區(qū),為未來(lái)工作鋪平道路。
早在今年 2 月,庫(kù)克就曾表示,蘋(píng)果生成式 AI 功能將于「今年稍后」推出。而有消息稱(chēng),將在 6 月舉辦的 WWDC 24 上發(fā)布的 iOS 18,有可能成為 iOS 史上 「最大」更新,9 月還將推出首款 AI iPhone。
如今,蘋(píng)果似乎也在 AI 手機(jī)的尾聲,追趕上了行業(yè)腳步。
主筆:達(dá)達(dá) / 深圳灣
編輯:陳述 / 深圳灣
題圖來(lái)源:buzzbyte