本文へ
ハクソク

世界を動かす技術を、日本語で。

「GPT-5.6」、「Claude」、「Gemini」、「Grok」を使ってモナリザを「描く」

元記事: 原文(tryai.dev)

概要

  • AIモデルによる お絵描きアリーナ の実験概要
  • 4つのビジョンモデル （GPT-5.6 Sol、Claude Fable 5、Grok 4.5、Gemini 3.6 Flash）の比較
  • 対象画像再現 と テキストプロンプト描画 の両方を実施
  • ツール使用法・コスト・出力品質・改善傾向 を分析
  • 主観的評価 と今後へのコメントを記載

AIモデルによるお絵描きアリーナ実験

  • 白紙キャンバス と 色鉛筆ツールセット をAIモデルに提供し、描画プロセスを観察
  • 各モデルは 色・筆幅・圧力 を設定し、ストローク・ぼかし・消去などを駆使して作品を制作
  • モデルは 対象画像の再現 または テキストプロンプトからの自由描画 を実施
  • 使用モデル： GPT-5.6 Sol、Claude Fable 5、Grok 4.5、Gemini 3.6 Flash の4種
  • 対象画像は モナリザ と 星月夜、さらに5つのオープンエンドプロンプトで計28作品を生成

実験の目的

  • 創造性や芸術性の評価 ではなく、モデルの 実行能力やツール運用の観察 を重視
  • ベンチマーク数値 では見えない、モデルの「現場力」や 実用性の差 を可視化
  • オープンウェイトモデル とフロンティアモデルの 実行性能ギャップ の把握
  • コスト・時間・出力品質のトレードオフ を実践的に検証
  • 議論のきっかけ として、実験内容・設計へのフィードバックも歓迎

使用ツールセット

  • plan ：思考・計画用のノート
  • view_target ：対象画像の再確認
  • view_canvas ：現在のキャンバスの描画・確認
  • set_color / set_brush / set_pressure ：色・筆幅・圧力の設定
  • draw ：ストロークやライン、形状の描画
  • smudge ：部分的なぼかし・ブレンド
  • erase / clear_canvas ：部分消去・全消去
  • オープンソース （github.com/hershalb/canvas-arena）で誰でも実験可能

対象画像再現タスク

  • モナリザ と 星月夜 の2作品を、 構造的類似度（SSIM） で客観評価
  • モデルは常に対象画像を参照可能、 中間・最終スコア を記録
  • SSIMの詳細スコアは記事内表参照

プロンプト描画タスク

  • 5つのテキストプロンプト に基づく自由描画
    • 例：「年老いた漁師の顔」「穏やかな海の夕焼け」「赤いバラ」「窓辺で眠る猫」「暖炉のある小屋」
  • スコアなし、各モデルの表現力を比較

モデルごとのツール使用傾向

  • GPT-5.6 Sol ：set_*ツールは使わず、draw/smudge/view_canvas中心
  • Grok 4.5 ：set_color/brush/pressure多用、平均99ステップ/描画
  • Claude Fable 5 ：smudgeとreview（確認）を多用
  • Gemini 3.6 Flash ：自己レビュー(view_canvas)最多、set_*ツールは未使用

コスト・トークン消費

  • Claude Fable 5 ：7作品で約$160、他モデルの約20倍
  • Grok 4.5 ：トークン最多（34M）、ほぼキャッシュ読みで低コスト
  • Gemini 3.6 Flash ：キャッシュ活用でコスト抑制
  • GPT-5.6 Sol ：最も効率的なコスト/出力バランス

モデルの改善傾向

  • view_canvas ごとにSSIM再計算、進捗を可視化
  • 全モデルが早期にスコア頭打ち、レビューを重ねても最良スコアを下回る傾向
  • Gemini 3.6 Flash は最大スコア到達後に下落、 過剰な修正で逆効果

客観評価（SSIM/RMSE）

  • Gemini 3.6 Flash が両ターゲットで最高SSIMを記録（ただし見た目品質は別）
  • Claude Fable 5 はコスト・時間が突出、出力品質はSolに及ばず
  • Grok 4.5 は視覚タスクで著しく劣る結果

総評・主観的評価

  • GPT-5.6 Sol が圧倒的リーダー、特に「星月夜」「バラ」の表現力が高評価
  • Grok 4.5 は実用性に乏しく、視覚的理解・判断力に課題
  • Gemini 3.6 Flash はコスト増も許容範囲、今後のバージョンアップに期待
  • Claude Fable 5 はコスト・時間の割に出力が伸びず、今回のタスクでは非推奨

まとめ

  • AIモデルの芸術的表現力 よりも、 実用的なツール運用・コスト効率・改善挙動 に注目
  • オープンソースツール で誰でも追試可能、今後のモデル進化・新タスクにも期待
  • 議論・フィードバック を歓迎、引き続き実験を継続予定

提供: ハクソク · 要約更新:

AIによる日本語要約です。内容は原文とあわせてご確認ください。

Hacker Newsの議論を読む

Hackerたちの意見

グロック！笑　マジで、あれはどうなってるの？他と全然違うじゃん。技術的に遅れてるのか、それとも根本的に違う何かを使ってるの？

└

イーロンがどっかの可哀想なエンジニアに「グロックにプロンプトインジェクションして、俺の子供の頃の絵みたいに描け！」って言ったのかな？テスラのトラックみたいに？

└

グロック4.5は…なんか別物だね。コンポーザー2.5よりもずっと性能がいいし、速さも同じくらい。オーパスではないけど、そんなに遠くないと思う。今やってることに関しては、ソネットより確実にいい。だけど、トレーニングデータをかなり調整して、コードにめちゃくちゃ特化させてるんじゃないかな。最近、自分の「詩のベンチマーク」をやってみたんだけど（人生で書いた850篇くらいの詩を渡して、全体についてコメントさせるやつ）、めちゃくちゃだった。ポルトガル語で書こうとするんだけど（詩のほとんどがポルトガル語）、常にコードスイッチして言葉を混ぜてしまって、書くものがほとんど読めないレベルになってる（例えば、「You can't QoS that that look for beast poems」みたいな、ポルトガル語でめちゃくちゃなことを書いてる）。分析の質もかなり悪いし（ソネットには絶対に劣ると思う）。だから、コーディングに関係ないデータを捨てて、そこに特化させたか、もしくは不均衡なデータセットを持っていて、結局コーディングが支配してしまったんじゃないかな。私にとって、この描画「コンペ」でのひどいパフォーマンスはそのストーリーにぴったり合ってる。

└

グロックイマジンにちょっと集中しすぎたかな。

└

スターリー・ナイトの下にある有刺鉄線は賢いアイデアで、すごくグロックらしい。軍の精神を見せてるね。追記：モナリザを修正する意味が全然わからない。

└

星の夜のやつ、めっちゃ面白い！

画像を見て最初は全然感心しなかったんだけど、よく考えたら、これちょっと「子供っぽい」なって思った。子供っぽいっていうのは…新しいアーティストが光や形ではなく、コンセプトを描いてる感じ（アーティストは描くことを理解するにつれて、通常はそういうことをする）。特に花瓶の中のバラについては、いくつかのモデルは影や反射、屈折の概念を理解してたけど、他のモデルは「青＝ガラス」「緑＝茎」「赤＝バラ」みたいに描いてただけ。人間の子供が描いた絵を見たら「いい仕事だね、友達！」って冷蔵庫に貼るレベルの変な絵だよ。モデルが進化するにつれて、もっと良くなることを期待してるし、アートの進化も一緒にあるといいな。

└

面白いのは、彼らの子供っぽさが実はすごく人間的だってこと。実際、よりリアルに描く方法の一つは、概念をアイコンとして捉えるのをやめて、目をぼやかして物をそのまま見ることなんだよね：色合いや値。つまり、何をキャプチャーしたり印刷したりしているのか分からないカメラやプリンターになること。それがリアリズムを達成する方法なんだ。彼らが明らかにこれらの概念をアイコン化して、思っていることや期待していることのアウトラインをトレースしているのは、すごく人間的だよね。

└

見た目がすごく変わってるよね。もし人間の子供が描いた絵だったら、「いい仕事だね！」って冷蔵庫に貼っちゃうと思う。特にGrokのやつはそう思わせる。ほとんどの絵が、同じ道具を使った子供が描いたように見えるけど、他のモデルの出力は明らかに「AIっぽさ」があるよね（もっといい言葉があればいいんだけど）。

└

Grokは一貫して、もし私が親だったら冷蔵庫のドアに貼りたくないような画像を描くんだよね。

グロックのやつは変すぎて、アンキャニーでシュールな領域に入ってる。ほんとに奇妙で、悪い感情を引き起こすことができる…

GPT-5.6 Solが一番すごいね。あの結果の中には本当に人間らしい、魅力的なものがある。長方形のぼかしツールは元々変な道具だけど、モデルたちがそれを使おうとするのが可愛い。

Hacker Newsで議論の続きを見る