欲做AI模子算力“超等缩小器”、为人工智能供给设备的清华系始创企业推出端侧开源模子。12月16日，上海无问芯穹智能科技无限公司推出端侧全模态懂得的开源模子Megrez-3B-Omni，30亿参数尺寸合适手机、平板等端侧装备，具有图片、音频、文本三种模态数据处置才能。在文本懂得方面，Megrez-3B-Omni将上一代14B年夜模子紧缩至3B范围，下降盘算本钱，晋升盘算效力。在语音懂得方面，该模子支撑中英文语音输入，处置庞杂多轮对话场景，支撑对输入图片或笔墨的语音发问，差别模态间自在切换。在图像懂得方面，该模子在场景懂得、OCR（光学字符辨认）等义务上可辨认并提取文本信息。同步开源的纯言语版本模子Megrez-3B-Instruct为单模态模子，最年夜推理速率当先同精度模子300%，具有AI搜寻功效。无问芯穹由清华年夜学电子工程系教学、系主任汪玉发动，他率领的NICS-EFC试验室早在2008年便投入到面向智能场景的软硬件结合优化技巧道路，提出“算法翻新-编译映射-硬件架构”结合优化的计划范式。结合开创人、首席迷信家戴国浩结业于清华年夜学电子工程系NICS-EFC试验室，现任上海交通年夜学长聘教轨副教学、清源研讨院人工智能计划主动化翻新试验室担任人。结合开创人兼CEO夏破雪是汪玉的博士生。“咱们做的重要是端侧小模子，一是由于端侧是咱们的重点营业之一，另一方面也证实咱们有模子练习跟优化的才能。云跟端始终是咱们的两年夜营业，从前重要做云，当初开端云跟端一同发力了。”无问芯穹表现，相较于云端年夜模子，端侧模子须要在资本无限的装备上疾速安排、高效运转，对下降模子盘算跟存储需要提出更高请求。Megrez-3B-Omni经由过程软硬件协同优化战略，令各参数与主流硬件适配。该模子是才能预览，接上去还将连续迭代，将来用户只要给出简略的语音指令，就可实现端装备的设置或利用操纵，该计划支撑CPU、GPU跟NPU同时推理，经由过程逾越软硬件档次的体系优化，额定带来最高70%的机能晋升，最年夜化应用端侧硬件机能。 　　申明：新浪网独家稿件，未经受权制止转载。 -->