99精品在线观看-99精品在线免费观看-99精品在线视频观看-99精品这里只有精品高清视频-99九九精品国产高清自在线

今天，百度正式發(fā)布文心大模型4.5系列開源模型。英特爾OpenVINO?與百度飛槳多年來一直保持著緊密的合作。在此次文心系列模型的發(fā)布過程中，英特爾借助OpenVINO?在模型發(fā)布的第零日即實(shí)現(xiàn)對文心端側(cè)模型的適配和在英特爾酷睿Ultra平臺上的端側(cè)部署。

OpenVINO?工具套件是由英特爾開發(fā)的開源工具套件，旨在優(yōu)化和加速深度學(xué)習(xí)模型的推理性能，支持跨平臺部署并充分利用英特爾硬件資源。OpenVINO?助力行業(yè)中廣泛的先進(jìn)模型在英特爾人工智能產(chǎn)品和解決方案中的性能，應(yīng)用在AI PC、邊緣AI和更多人工智能的使用場景當(dāng)中。

從2021年開始，百度飛槳和英特爾OpenVINO?進(jìn)行深入合作，雙方進(jìn)行深度適配，為開發(fā)者提供了更有效更便捷的AI開發(fā)工具鏈。經(jīng)過雙方適配的眾多模型，如PaddleOCR，PaddleSeg，PaddleDection等，在金融、醫(yī)療、智能智造等領(lǐng)域被廣泛應(yīng)用，開發(fā)者可以直接將飛槳模型用OpenVINO^TM推理和部署，或通過OpenVINO?的模型優(yōu)化器轉(zhuǎn)化為IR格式，進(jìn)一步部署和推理。

今天，百度基于多年積累的雄厚的AI技術(shù)實(shí)力，為業(yè)界帶來了開源的文心4.5系列大模型。英特爾宣布OpenVINO?已經(jīng)對0.3B參數(shù)量的稠密模型成功適配，并在英特爾酷睿Ultra平臺上成功部署且獲得了優(yōu)異的推理性能。

英特爾助力百度文心大模型的首次亮相，共同為行業(yè)帶來全新的人工智能體驗。接下來，英特爾將持續(xù)與百度保持緊密合作，適配更多的文心系列模型，攜手拓寬AI技術(shù)的新邊界。

快速上手指南 (Get Started)

第一步，環(huán)境準(zhǔn)備

基于以下命令可以完成模型部署任務(wù)在Python上的環(huán)境安裝。

 python -m venv py_venv 

./py_venv/Scripts/activate.bat 

pip install --pre -U openvino-genai --extra-index-url https://storage.openvinotoolkit.org/simple/wheels/nightly 

pip install nncf

pip install git+intel.git@ernie" title="https://github.com/openvino-dev-samples/optimum-intel.git@ernie">https://github.com/openvino-dev-samples/optimum-intel.git@ernie

第二步，模型下載和轉(zhuǎn)換

在部署模型之前，我們首先需要將原始的PyTorch模型轉(zhuǎn)換為OpenVINO^TM的IR靜態(tài)圖格式，并對其進(jìn)行壓縮，以實(shí)現(xiàn)更輕量化的部署和最佳的性能表現(xiàn)。通過Optimum提供的命令行工具optimum-cli，我們可以一鍵完成模型的格式轉(zhuǎn)換和權(quán)重量化任務(wù)：

optimum-cli export openvino --model baidu/ERNIE-4.5-0.3B-PT --task text-generation-with-past --weight-format fp16 --trust-remote-code ERNIE-4.5-0.3B-PT-OV

開發(fā)者可以根據(jù)模型的輸出結(jié)果，調(diào)整其中的量化參數(shù)，包括：

· --model： 為模型在HuggingFace上的model id，這里我們也提前下載原始模型，并將model id替換為原始模型的本地路徑，針對國內(nèi)開發(fā)者，推薦使用ModelScope魔搭社區(qū)作為原始模型的下載渠道，具體加載方式可以參考ModelScope官方指南：https://www.modelscope.cn/docs/models/download

· --weight-format：量化精度，可以選擇fp32,fp16,int8,int4,int4_sym_g128,int4_asym_g128,int4_sym_g64,int4_asym_g64

· --group-size：權(quán)重里共享量化參數(shù)的通道數(shù)量

· --ratio：int4/int8權(quán)重比例，默認(rèn)為1.0，0.6表示60%的權(quán)重以int4表，40%以int8表示

· --sym：是否開啟對稱量化

第三步，模型部署

針對ERNIE-4.5系列的文本生成類模型，我們可以使用Optimum-Intel進(jìn)行任務(wù)部署和加速。Optimum-Intel可以通過調(diào)用OpenVINO?  runtime后端，以實(shí)現(xiàn)在Intel CPU及GPU平臺上的性能優(yōu)化，同時由于其兼容Transformers庫，因此我們可以直接參考官方示例，將其遷移至Optimum-Intel執(zhí)行。

from transformers import AutoTokenizer

from optimum.intel import OVModelForCausalLM

model_path = "ERNIE-4.5-0.3B-PT-OV"

# load the tokenizer and the model

tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)

model = OVModelForCausalLM.from_pretrained(model_path, trust_remote_code=True)

# prepare the model input

prompt = "Give me a short introduction to large language model."

messages = [

    {"role": "user", "content": prompt}

]

text = tokenizer.apply_chat_template(

    messages,

    tokenize=False,

    add_generation_prompt=True

)

model_inputs = tokenizer([text], add_special_tokens=False, return_tensors="pt").to(model.device)

# conduct text completion

generated_ids = model.generate(

    model_inputs.input_ids,

    max_new_tokens=1024

)

output_ids = generated_ids[0][len(model_inputs.input_ids[0]):].tolist()

# decode the generated ids

generate_text = tokenizer.decode(output_ids, skip_special_tokens=True).strip("\n")

print("generate_text:", generate_text)

輸入結(jié)果參考：

generate_text: "Large Language Models (LLMs) are AI-powered tools that use natural language processing (NLP) techniques to generate human-like text, answer questions, and perform reasoning tasks. They leverage massive datasets, advanced algorithms, and computational power to process, analyze, and understand human language, enabling conversational AI that can understand, interpret, and respond to a wide range of inputs. Their applications range from customer support to academic research, from language translation to creative content generation."