5 条回复
after1990s · 2026-01-15 19:18
@vvhhaaattt llama 能在 a770 上跑吗
vvhhaaattt · 2026-01-15 19:33
llama.cpp 看你的模型要求了,如果经常试新模型,新模型又用了新的算子…… gpt-oss 为例 sycl 版本 12 月中旬的时候我记得是不能跑还是很慢,因为有算子不支持,会把相关操作退化为 cpu 操作,最近看有 issue 处理,不清楚现状。 valkan 版本能跑,推理速度能用的程度,算子支持速度还行,不过相对 sycl 有折扣。
vvhhaaattt · 2026-01-15 19:38
ipex-llm 停止更新了~
添加回复
你还需要 登录
后发表回复
现在用的 a770 ,如果是个人用户为了 ai 推理,不建议买 intel 。 其他情况不予评论。