弱視プログラマー向けの 3D モデリングはコードを超えたものになります

ほとんどの 3D デザイン ソフトウェアでは視覚的なドラッグと回転が必要ですが、これは視覚障害のあるユーザーにとっては課題です。その結果、ハードウェア設計、ロボット工学、コーディング、エンジニアリング作業の範囲が広がります。 興味のあるプログラマーはアクセスできません。視覚障害のあるプログラマーでも優れたコードを書くことができます。しかし、アクセス可能なモデリング ソフトウェアが不足しているため、プログラマーはシステムの物理コンポーネントと仮想コンポーネントをモデリング、設計、検証することができません。

しかし、新しい 3D モデリング ツールにより、この方程式が変わり始めています。 A11yShape と呼ばれる新しいプロトタイピング プログラムは、このギャップを埋めることを目的としています。人気の OpenSCAD ソフトウェアなど、ユーザーが 3D モデルをテキストで記述できるコードベースのツールはすでに存在します。他の最近の大規模言語モデル ツールは、自然言語信号から 3D コードを生成します。しかし、これらにもかかわらず、視覚障害者や弱視のプログラマーは、コードとそのビジュアル出力の間のギャップを埋めるために依然として視覚フィードバックに依存しています。

目の見えないプログラマーや弱視のプログラマーは、以前は晴眼者に頼って、モデルの各更新をチェックして何が変更されたかを確認する必要がありました。しかし、A11yShape を使用すると、目の見えないプログラマーや弱視のプログラマーが、晴眼者の同僚に頼ることなく、独立して 3D モデルを作成、検査、改良することができます。

A11yShape は、アクセス可能なモデルの説明を生成し、モデルをセマンティック階層に編成し、すべてのステップがスクリーン リーダーで動作することを保証することでこれを実現します。。

プロジェクトはいつ始まりましたか 梁和テキサス大学ダラス校のコンピュータ サイエンスの助教授は、3D モデリングを研究している弱視のクラスメートと話をしました。彼らはクラスメートのコーディング戦略を変更する機会を見出し、次のことを学びました。 視覚障害のあるプログラマーのための 3D モデリング コース ワシントン大学では、よく組織された装置で。

「グループにとって便利で実用的なものをデザインしたかったのです」と彼は言います。 「それは単に私が想像力から作り出し、グループに実装したものではありません。」

OpenSCAD を使用して支援 3D 設計を再考する

A11yShape は、ユーザーがスクリプトベースの 3D モデリング エディター OpenSCAD を実行していることを前提としています。 このプログラムは、モデリングの各コンポーネントを 3 つのアプリケーション UI パネルに接続する OpenSCAD 機能を追加します。

OpenSCAD を使用すると、ユーザーは完全に入力だけでモデルを作成できるため、クリックやドラッグの必要がなくなります。他の一般的なグラフィックベースのユーザー インターフェイスは、視覚障害のあるプログラマーにとってナビゲートするのが困難です。

A11yshape には AI ヘルプ パネルがあり、ユーザーはリアルタイムの質問を ChatGPT-4o に送信して、設計上の決定を検証し、既存の OpenSCAD スクリプトをデバッグできます。

A11yShape の 3 つのパネルはコード、AI の詳細、モデル構造を同期するため、盲目のプログラマーはコードの変更が設計にどのような影響を与えるかを独立して調査できます。郭安宏、梁和 他

ユーザーがコードまたはモデル コンポーネントを選択すると、A11yShape は 3 つのパネルすべてで一致する部分を強調表示し、説明を更新するため、視覚障害のあるユーザーや弱視のユーザーは、自分が何を操作しているのかを常に把握できます。

ユーザーからのフィードバックにより、アクセスしやすいインターフェースが改善されました

研究チームは、さまざまな視覚障害とプログラミングの背景を持つ 4 人の参加者を募集しました。チームは参加者に A11yShape を使用してモデルを設計するよう依頼し、そのワークフローを観察しました。

これまでモデリングをしたことがなかったある参加者は、ツールが「当然のことだと思われていた」と語った。 [the blind and low-vision community] 「3D モデリングに対する新しい視点により、実際に比較的単純な構造を作成できることが実証されました。」

また、参加者は、長いテキストの説明では依然として複雑な形状を理解するのが難しいと報告し、最終的に物理モデルに触れたり、触覚ディスプレイを使用したりしない限り、頭の中でデザインを完全に「見る」のは難しいと多くの人が述べました。

AI が生成した説明の正確さを評価するために、研究チームは 15 人の晴眼者の参加者を募集しました。 「1 ～ 5 のスケールで、幾何学的な正確さ、明瞭さ、幻覚の回避に関して、説明は約 4.1 ～ 5 の平均スコアを獲得しました。これは、AI が日常使用に十分な信頼性があることを示唆しています。」

視覚障害のあるプログラマー向けの新しい支援プログラムである A11yShape は、視覚障害のあるプログラマーがモデル設計を検証するのに役立ちます。出典: Anhong Guo、Liang He、他。

フィードバックは将来の反復に情報を提供するのに役立ちます。触覚ディスプレイ、リアルタイム 3D プリンティング、AI が生成するより簡潔な音声説明を統合できる可能性があると彼は言います。

A11yShape はプロのコンピュータ プログラミング コミュニティでの応用以外にも、視覚障害者や弱視者向けのコンピュータ プログラミングへの参入障壁も下げると同氏は述べました。 学習者

「人々は創造的な方法で自分自身を表現できることを好みます…3D プリンティングのようなテクノロジーを使用して、実用性や娯楽のためのものを作ります」と、DiscoverAbility Lab の所長であり、ノース テキサス大学コンピューター科学工学部の教授であるステファニー ルディは言います。 「視覚障害者もその関心を共有しています」A11yShape は、メーカー コミュニティでのアクセシビリティをサポートするモデルとして機能します。

チームは 10 月にデンバーで開催された ASSETS カンファレンスで A11yshape を発表しました。