清华团队开源大模子推理引擎“赤兔Chitu”：硬件

快科技3月14日新闻，据报道，清华年夜学高机能盘算研讨所翟季冬教学团队与清华系科创企业清程极智结合发布，开源年夜模子推理引擎“赤兔Chitu”。这一冲破性技巧为国产AI芯片的普遍利用跟生态建立带来了新的机会。“赤兔Chitu”初次实当初非英伟达Hopper架构GPU及各种国产芯片上原生运转FP8精度模子，处理了FP8精度模子对英伟达Hopper架构（如H100/H200）的硬件依附。在A800集群的测试中，赤兔引擎在GPU应用量增加50%的情形下，推理速率晋升了3.15倍，明显下降了企业的硬件本钱，同时进步了机能输出。赤兔引擎的智能优化技巧可能疾速适配差别芯片架构，使国产厂商无需反复开辟软件，专一于硬件进级。现在，清程开元棋盘官方网站极智已与沐曦、燧原等厂商配188金宝搏体育合，推出“开箱即用”的推理一体机，普遍利用于金融188体育直播、医疗等行业。清程极智CEO汤雄超表现，以后海内在推理引擎这一中心环节仍缺少出产级开源产物。开源“赤兔”引擎是推进海内AI生态建立的主要一步，将为行业供给更高效、更机动的技巧支撑。【本文停止】如需转载请务必注明出处：快科技义务编纂：鹿角