国立癌研究所（NCI）の『Research-Based Web Design & Usability Guidelines』プロジェクトは、2000年3月に始まりました。それ以来、各ガイドライン項目に対しては、内外を問わず非常にたくさんのレビューが行われました。このガイドラインを作成したプロセスをここでご紹介します。

ステップ1. 初期ガイドライン項目の作成

NCIの通信技術部（CTB）は、デザイナーが最もよい調査研究に基づいた Web サイトを構築できるようなガイドラインを開発する必要がありました。初期のガイドライン項目は、既存の Web デザイン・ガイドラインおよびスタイル・ガイド、出版されている調査研究の記事、調査研究の要約、公表されているユーザビリティ・テストのレポート、そして部内で実施したユーザビリティ・テストから得られた知見などから作成されました。これにより、500以上のガイドライン項目がリストアップされたのです。

ステップ2.　初期ガイドライン項目のレビュー

初期の500項目にも及ぶガイドラインは、Web デザイナーが活用するにはあまりにも多すぎました。CTB は、部内でのレビューを以下の目的で開始しました。

• 同じようなガイドライン項目を統合する
• お互いに矛盾しているガイドライン項目を解決する
• 不明確なガイドライン項目をより明確にする

この部内レビューは、CTB のスタッフとコンサルタントにより実施されました。レビューの参加者は、それぞれ Web サイトのデザイン、ユーザビリティ・エンジニアリング、テクニカル・コミュニケーション、ソフトウェア・デザイン、コンピュータ・プログラミング、および / あるいは人間とコンピュータとのインタラクションにおける経験を有する人たちです。部内レビューにより、ガイドライン項目の数は398まで減りました。

ステップ3. 各ガイドライン項目の "重要度" の決定

各ガイドライン項目の "重要度" を決定するにあたっては、16名のレビュー参加者が外部から採用されました。このレビュー参加者の半数は Web デザイナーで、残りの半数はユーザビリティ専門家です。レビュー参加者は、各ガイドライン項目を評価して、「このガイドライン項目は Web サイトの全般的な成功にとってどのくらい重要か？」という質問に対して、「とても重要」から「重要ではない」という範囲の中で点数を付けて回答しました。

ステップ4. 初期の"重要度" レーティングの検証

Web デザインを実践している16名（デザイナーおよびユーザビリティ専門家）によるレビューにより、ガイドラインの項目数は287まで減少しました。Web サイトの成功にほとんど重要性を持っていないと評価された項目は削除されたのです。多くのガイドライン項目の文言は、レビュー参加者からのフィードバックに基づいて編集され、より明確なものになりました。また、新しい調査研究が収集されて、幾つかの新しいガイドライン項目が追加されました。

"重要度" のレーティングを検証するために、同じ16名のレビュー参加者に、自分の評価点を彼ら自身の知識および前回のレビューにおける平均点を用いて再確認あるいは再評価するよう依頼しました。

ステップ5. 初期の"実証度" レーティングの検証

次のステップは、各ガイドライン項目に対して、信頼できる "実証度" のレーティングをつけることでした。このために、CTB は Web デザインに影響のある様々な分野（ユーザビリティ、ユーザー・エクスペリエンス、ドキュメンテーション、コンピュータ科学、そして認知心理学などを含む）から8名の研究家を採用しました。この8名は皆、論文を発表したことのある博士号を持つ研究家で、評価者としての経験もあり、実験に基づいたデザインに精通している方たちでした。

各ガイドライン項目に対して "実証度" のレーティングを決める作業は、3つのパートに分けて実施されました。パート1では、各ガイドライン項目を、それを裏付ける調査研究による実証度合いが「強い」、「弱い」あるいは「ない」のいずれかに分類しました。その目標は、どのガイドライン項目が調査研究の実証を持っていないかを明確にして、それらの項目を削除することでした。そうすることにより、残った項目のレーティングに集中することができたのです。また、（もし可能であれば）各ガイドライン項目に対してその実証となる出典を提供するようにも依頼をしました。

パート1の結果から、プロジェクトチームは調査研究による実証の度合いが「強い」、「弱い」あるいは「ない」と決定付ける基準がほとんどないことが分かりました。

そのため、プロジェクトチームは評価者の間で共有するフレームワークを生成するためにパート2の準備をしたのです。

パート2では、評価者に1日かけたミーティングに参加してもらい、各ガイドライン項目の "実証度" をレーティングするための以下の基準に合意しました。

5 - 調査研究による実証度が強い

• 調査研究に基づいた実証が、累積していて、説得力があり、裏付けになっている
• 少なくとも、1つの正式できわめて厳密な研究があり、文脈上の正当性がある
• 相反する調査研究結果がない
• 専門家の意見がその調査研究に同意している

4 ? 調査研究による実証度が適度

• 相反する調査研究結果がある / ないかもしれない
• 専門家の意見である
• その調査研究を認める傾向がある
• コンセンサスが形成されようとしている

3 - 調査研究による実証度が弱い

• 調査研究に基づいた実証に限りがある
• 相反する調査研究結果があるかもしれない
• および / あるいは、専門家の間でも意見が分かれている

2 - 専門家の意見による支持が強い

• 調査研究に基づいた実証がない
• コンセンサスはなくても、専門家は同意する傾向にある
• 複数の教本やスタイルガイドで専門家の意見を支持している
• 一般的に "ベスト・プラクティス" として認められている、あるいは "実際の状況" を反映している

1 - 専門家の意見による支持が弱い

• 調査研究に基づいた実証がない
• 限られた専門家の意見、あるいは相反する意見

評価者はまた、収集された多くの出典を分類するカテゴリにも同意し、各出典を以下のいずれかに分類しました。

• 厳格な観察に基づく研究（例：民族学的評価）
• 仮説に基づく実験
• モデルに基づく評価
• 参考文献のない専門家の意見
• 参考文献に基づく文献のレビュー、書籍の一部、あるいはメタ分析
• 統計
• 多くの参考文献のある教本
• ユーザビリティ・テストの結果、多くのユーザビリティ・テストの要約（例：得られた知見）
• 実地調査による研究（例：「人はページが読み込まれるのにどれくらい待つのか？」）

パート3では、評価者に各ガイドライン項目の実証度合いを評価してもらい、前述の5段階評価の基準に基づいてレーティングを決めてもらいました。パート2を経たことで、各ガイドライン項目のソースを分類することにおける評価者の間でのばらつきはなくなりました。

ステップ6. ガイドラインの事例となるビジュアル・サンプルの収集

ガイドラインの利用者が、そのガイドライン項目をきちんと理解できるように、プロジェクトチームは各ガイドライン項目の事例となるサンプルをたくさん探して、それらを評価し、最適なサンプルを選定しました。

ステップ7. ガイドラインの編集およびユーザー・テスト

特定の Web デザイン上の問題に関する情報が見つかりやすいように、20名の Web デザイナーがカード・ソーティングによるガイドライン項目のグルーピング作業に参加しました。20名それぞれが、ガイドライン項目を自分の考える Web デザイン上の問題のグループに分類して、その各グループに名前を付けました。この作業から得られたデータを特別に開発したソフトウェアで分析し、最終的にはこのガイドラインにある各章にまとめました。

書籍にするために、様々なページレイアウトの試作品が作られました。それらの試作品のユーザビリティ・テストを実施して、読者がページ上にある情報を最も理解しやすいレイアウトを決定したのです。このテストで得られた結果は、読者の好みとあわせて、最終的なページレイアウトを決定する上での基礎となりました。