2人の研究チームは、Pyramid-JiT（P-JiT）アーキテクチャを使った約21,038ドルの学習で、2B parameterの実験的なtext-to-image modelを公開した。これは次の動画生成モデルに向けたproof-of-conceptであり、Apache 2.0のWeightsとして提供される。
P-JiTはVAEを使わないpixel-spaceのDiffusion Transformer（DiT）で、32×32のtoken reductionを採用する。記事によると、一般的な16×16 token reductionのLinum v2と比べてattentionのcontext windowを4分の1にし、512²画像を従来の256²画像と同じtoken数で表現できるという。
モデルはsampling時に2.18B parametersで、学習時にはPixelREPA headなどを含め約2.42B parametersになる。text encoderにはfrozen Qwen3.5-4Bを使用し、512²では画像256 tokensとテキスト256 tokens、1024²では画像1,024 tokensとテキスト256 tokensを入力する。
学習は512²で610M samples、続いて1024²で約50M samplesを実施した。pretrainingは8,139 H100-hoursで20,348ドル、JEV-Imageとhuman-in-the-loop judgesを用いたFDFOによるpost-trainingは276 H100-hoursで690ドルとされ、合計は8,415 H100-hours、21,038ドルである。価格はH100-hourあたり2.50ドルとして計算されている。
記事では、pixel-spaceで各DiT blockが最終画像の低解像度版を予測するreadoutを加え、初期blockへのgradient signalを強めて収束を速めたと説明する。また、P-JiTはLinum v2より11倍少ないsamplesで収束し、より強いtoken削減を実現したという。
制約として、学習データからrendered textを含む画像、infographic、PDF、書籍ページ、PowerPoint slidesを除外しているため、文字の生成やposter生成はできない。小規模な2B-parameter DiTであるため、full body、複数の物体やcrowd、複数人物のinteraction、world knowledgeも苦手とされる。記事は、7B parameters程度への拡大と追加のpost-trainingがこれらを緩和する可能性があると述べている。