Valveのティムール・クリストフによる古いAMD GPUのLinux上での改善作業

Radeon RX 6900 XT（16 GB VRAM、2021年に発売）を持ってるけど、軽量モデルをいくつか動かすことはできるし、まあまあのパフォーマンスと出力品質が得られる。でも、試した中で、OpenCode ZenやOpenrouterの無料プランで使えるモデルの品質には全然及ばないんだ。同じカードで全てをローカルに保ちたいなら、他のところで無料で手に入るものと比べて、ほぼ全ての指標で明らかに劣るモデルを我慢しなきゃいけない。この記事で話されてるGPUは、俺のよりも三倍古いし、誰かが古いカードに収まる小さいモデルを見つけられたら素晴らしいけど、根本的なアーキテクチャの革新がない限り、段階的な改善だけでは無理だと思うし、それがいつ実現するかも不明だね。

これらの古いカードのほとんどは、fp8や他の低精度をサポートする物理ハードウェアが不足してるんだよね。高精度でモデルを動かすためのメモリも足りないし。

メモリがボトルネックになってるのと、ハードウェアレベルでFP4/FP8の機能がないのが問題だね。

Valveがクレジットをもらうべきだと思うけど、Steam DeckはRDNA 2 GPUを使ってるし、記事にはTimurが特にgcn1.0 GPU、例えば2012年のradeon HD 7800/7900に取り組んでいたって書いてあるね。

Linuxでは、古いミッドレンジのハードウェアを買う方が絶対にいい経験ができるよ。すでに問題や最適化が解決されてるから、ディストリビューションにその変更が反映されてて、カーネルのアップデートを待つ必要がないんだ。

スチームデッキには驚かされるよ。何年も使ってるけど、全然古く感じない。

彼らがやる気になる経済的なインセンティブはあるのかな？

AMDがMesaをサポートしてるのは、まさにこういうことを楽しむためなんだよね。Nvidiaはそうじゃないし、彼らのVulkanスタックはLinuxではかなりパフォーマンスが悪い。