国产亲妺妺乱的性视频播放,9797WWW成人影片,99精品国产在热久久无毒不卡 ,西方37大但人文艺术人山踪林

Uploads%2farticles%2f16380%2fapple openelm on device ai

蘋(píng)果、微軟雙發(fā)小語(yǔ)言模型,iPhone、PC 端側(cè) AI 要來(lái)了?

Build、WWDC 兩場(chǎng)技術(shù)大會(huì),或見(jiàn)分曉。

在去年年中和年末,微軟分別推出了 Phi-1、Phi-2 輕量級(jí)語(yǔ)言模型,這類(lèi)模型主要為簡(jiǎn)單任務(wù)處理設(shè)計(jì),具有使用簡(jiǎn)單、尺寸小等特性。

4 月 23 日,微軟又帶來(lái)了新一代 Phi-3 系列。

此次發(fā)布的 Phi-3 系列,有 Phi-3-mini(3.8B)、Phi-3-small(7B)、Phi-3-medium(14B)不同版本。

微軟強(qiáng)調(diào),Phi-3 系列雖然訓(xùn)練參數(shù)較少,但在語(yǔ)言理解、推理、數(shù)學(xué)等能力上,不弱于更大尺寸模型。

據(jù)微軟公布的數(shù)據(jù),Phi-3-mini 綜合能力,超過(guò)了 Google Gemma-7B、Mistral-7B,而 Phi-3-small 與 Phi-3-medium,甚至超過(guò)了 Mixtral 8x7B、Claude-3 Sonnet 與 GPT-3.5。

Screenshot-2024-04-23-102615

△ 圖源:微軟

Phi-3-mini 則是該系列率先發(fā)布的版本,Phi-3-small、Phi-3-medium 也將在不久后開(kāi)放。

Phi-3-mini 具有小巧、易用、跨平臺(tái)的特點(diǎn),38 億參數(shù)語(yǔ)言模型,可以適用于端側(cè)運(yùn)行,如筆電、手機(jī)。

此外,Phi-3-mini 經(jīng)過(guò)微軟推理框架 ONNX Runtime 優(yōu)化,可支持 DirectML,對(duì) CPU、GPU、移動(dòng)硬件的跨平臺(tái)支持。并且,Phi-3-mini 也為 Nvidia GPU 做了優(yōu)化,可作為 Nvidia NIM 推理微服務(wù),以標(biāo)準(zhǔn) API 執(zhí)行。

Phi-3-mini 有兩種上下文長(zhǎng)度變體 4K 和 128K token,經(jīng)過(guò)訓(xùn)練,可以遵循不同類(lèi)型的指令,理解用戶的意圖。

The-Phi-3-small-language-models-with-big-potential-1

△ 圖源:微軟

微軟表示,Phi-3-mini 還是同尺寸模型中,首個(gè)能支持 128K token 的 SLM。

目前 Phi-3-mini 已在 Microsoft Azure AI Studio、Hugging Face 和 輕量框架 Ollama 上使用。

Phi-3-mini-4k-instruct-gguf

△ 圖源:huggingface

印度農(nóng)業(yè)集團(tuán) ITC 以 Copilot 開(kāi)發(fā)的 AI 應(yīng)用,將部署 Phi-3,更好地服務(wù)當(dāng)?shù)剞r(nóng)民。

而 AI PC 顯然會(huì)是 Phi-3 施展的重要戰(zhàn)場(chǎng),下月的 Build 大會(huì)上,或許我們就將能見(jiàn)到新東西。

另一邊,蘋(píng)果最近在 AI 開(kāi)源平臺(tái) Hugging Face 上發(fā)布了開(kāi)源訓(xùn)練推理語(yǔ)言模型 OpenELM。

OpenELM

△ 圖源:huggingface

OpenELM 也定位為小語(yǔ)言模型,共有 4 個(gè)尺寸:2.7 億、4.5 億、11 億和 30 億個(gè)參數(shù),提供生成文本、代碼、翻譯、總結(jié)摘要等功能。

雖然最小的參數(shù)只有 2.7 億,但蘋(píng)果使用了包括 RefinedWeb、PILE、RedPajama 子集和 Dolma v1.6 子集在內(nèi)的公共資料集,一共約 1.8 萬(wàn)億 token 資料進(jìn)行了預(yù)訓(xùn)練 ,采用了CoreNet 作為訓(xùn)練框架,并使用了 Adam 優(yōu)化演算法進(jìn)行了 35 萬(wàn)次迭代訓(xùn)練。

訓(xùn)練參數(shù)小,但性能可能并不弱。

其中公布的數(shù)據(jù)顯示,11 億參數(shù)的 OpenELM 比 12 億參數(shù)的 OLMo 模型的準(zhǔn)確率高出 2.36%,而使用的預(yù)訓(xùn)練資料卻只有 OLMo 的一半。

OpenELM-bench

△ 圖源:buzzbyte

同時(shí),蘋(píng)果還發(fā)布了將模型轉(zhuǎn)換為 MLX 庫(kù)的編碼,以方便其在蘋(píng)果設(shè)備上推理和調(diào)整。

蘋(píng)果開(kāi)發(fā)團(tuán)隊(duì)表示:

此次 OpenELM 發(fā)布旨在增強(qiáng)和鞏固開(kāi)放社區(qū),為未來(lái)工作鋪平道路。

早在今年 2 月,庫(kù)克就曾表示,蘋(píng)果生成式 AI 功能將于「今年稍后」推出。而有消息稱(chēng),將在 6 月舉辦的 WWDC 24 上發(fā)布的 iOS 18,有可能成為 iOS 史上 「最大」更新,9 月還將推出首款 AI iPhone。

如今,蘋(píng)果似乎也在 AI 手機(jī)的尾聲,追趕上了行業(yè)腳步。


主筆:達(dá)達(dá) / 深圳灣

編輯:陳述 / 深圳灣

題圖來(lái)源:buzzbyte

>>
Back to top btn
主站蜘蛛池模板: 全椒县| 永仁县| 密山市| 兴义市| 托克托县| 双鸭山市| 萝北县| 炎陵县| 铜山县| 三明市| 军事| 磴口县| 鲁山县| 湟中县| 酒泉市| 阳高县| 德惠市| 临清市| 龙岩市| 星子县| 厦门市| 高安市| 马鞍山市| 贵港市| 上犹县| 江永县| 长泰县| 富裕县| 民权县| 天长市| 万山特区| 广元市| 临夏市| 和硕县| 花莲县| 乌鲁木齐县| 黔江区| 亚东县| 大竹县| 筠连县| 平顶山市|