優れたAIプロンプトの書き方

優れたAIプロンプトを作成したり、書き換えたりする方法を知っていれば、人工知能を使って驚くべきことを行うことができます。

私は、知りませんでした。そこで私は、AIエンジニアである同僚のTheo Bleierに話をしました。彼は、Notion AIにあらかじめ用意されているプロンプトの修正に日々を費やしています。これにより私は、生成AIの驚異的なパワーを活用して仕事と生活を向上させる方法を説明できるようになりました。

注： この投稿の全てのプロンプトと応答の原文（英語）はNotion AIで実行されましたが、ここで解説する原則は、どの標準的な大規模言語モデル（LLM）でも同様に機能するはずです。

Notion AI、ChatGPT、Llamaなどの大規模言語モデル（LLM）は、数百万件の書籍やWebページなどに相当する膨大な量の言語で構成されるデータセットを使用します。そして、これらの数十億の文章に含まれる各単語（または単語の一部）をトークンに変換し、トークンがそのデータセット内で他のトークンと連続して使用される頻度に基づき、すべてのトークンをランク付けします。

AIモデルにプロンプトを送信すると、AIモデルはこれらのランキングを使用してリクエストを検討し、理想的な応答と考えられるものを送り返します。シンプルなプロンプトの場合、このプロセスはかなり簡単なように思えます。

しかし、LLMは創造的な応答を生成するためにトークンのランキングから逸脱することがあり、そのためLLMは「生成AI」と呼ばれています。そしてそのアウトプットは、少し不気味なものになることがあります。

言語モデルのトークンランキング戦略はどのようにして複雑な言語能力と会話能力を生み出すのでしょうか？この点は、今でも活発な研究分野です。しかし、その能力を活用する方法を学ぶために、このプロセスを完全に理解する必要はありません。

生成AIモデルは、正確なフレーズにのみ効果的に応答するSiriやGoogleアシスタントとは異なります。膨大な量の会話でトレーニングされた言語モデルは、人々がどのように会話し、テキストメッセージを送り合うかのニュアンスを全て理解しています。人間に話すように話しかけると、より良い（より人間的な）反応が得られます。

リクエストに関連する全ての詳細について説明しつつも、プロンプトはできるだけシンプルにします。言葉が明確であればあるほど、モデルが言葉を誤解する可能性は低くなります。これらについては後ほど詳しく説明します。

あなたが「…しないでください」と言うと、LLMは「しない」を無視して「行う」ことに集中し、あなたが回避するよう指示したと思っている行動を取る可能性があります。そのため、次のように指示することが推奨されます。

悪い例：不完全なリストは含めないでください。

良い例：完全なリストのみ含めてください。

LLMと話す方法について説明したので、次に話す内容について説明します。ここでは「典型的な市場アナリストが助けを求めそうなリサーチプロジェクト」という前提で解説を進めますが、学校の勉強から大晦日のディナーパーティーに最適なメニューの組み立て方まで、何でもAIに質問することができます。いずれも、同じ原則が適用されます。

では、あなたはスポーツ用品会社の市場アナリストで、新しいキャンプ用品を発売するのに最適な米国の都市に関するリサーチレポートを書く必要があるとしましょう。どのように質問すればよいでしょうか？

あなたのモデルに市場アナリストの仕事をさせたいなら、モデルの役割に言及することから始めてください。

奇妙に思われるかもしれませんが、これがうまくいくコツです。LLMは人間の言語について訓練されます。モデルが市場アナリストであると仮定するようにモデルに指示すると、実際の市場アナリストに関連付けられたトークンパターンが強調されます。こうして考えると、モデルにアイデンティティを与えることはそれほど奇妙なことではありません。このように、

モデルがプロンプトに反応する前に伝えるのは実に奇妙なことですが、これがうまく働くのです。

言語モデルはトークンを一度に1つずつ理解します。1つ1つのトークンが重要であるため簡潔さが重要ですが、リクエストが曖昧な場合、正しく解釈されるとは限りません。

この思慮深い応答は、意味のある応答を提供するのに十分な情報をモデルにほとんど与えていないことを丁寧に指摘しています。それに応じて調整しましょう。

おっと、レポートでは都市を指定するのでしたね。

プロンプトを少し調整すると、AIの応答に大きな変化が生じることに気づきましたか？大幅な調整で何が生まれるのか不思議に思うことでしょう。

指示を明確にすることでAIの応答が希望どおりのものに近づく様子から、最も重要なヒントを得ることができます。

ここまでのプロンプトは非常に短いものでしたが、LLMは膨大な量のデータを処理できます。つまり、プロンプトを書くのが上手になれば、より多くのことを尋ねることができるということです。Notion AIがChatGPTのようなLLMよりも優れている点は、白紙ではなく情報が既に存在するページで、AIに「上記のガイドラインに基づいて...」や「これらの都市に関する最新の統計については、上記の表をチェックしてください」などと指示できることです。

また、モデルが抱える可能性のある問題や、モデルが下す必要のある決定を予測する、明確な文をプロンプトに追加することもできます。

ここで、一考に値する結果が得られました。AIは、デンバー、シアトル、オースティン、ミネアポリスの4つの都市を選択しました。年間降雪量が6インチ以上の都市のみが必要であると付け加えると、AIはシアトルとオースティンを削除し、アンカレッジとバーリントンを追加して、各都市の総降雪量を強調するように理論的根拠を変更しました。

しかし、これは本当に理想的なリストなのでしょうか？ニューヨーク市では年間23インチの雪が降ります。キャンプ用品を売るためには、ニューヨーク市よりもアンカレッジを重視すべきなのでしょうか？

ここに、プロンプトの記述に関する教訓がいくつかあります。

その教訓の1つが、言語モデルは予測不可能で、間違いを犯すこともあるということです。AIによると、アンカレッジは「全米で最も降雪量の多い都市（年間平均101インチ）」だそうです。私が検索してみると、アンカレッジの年間平均降雪量は77インチでした。アメリカで最も降雪量の多い都市はニューヨーク州バッファローで、年間110インチ以上です。そして実際、数日後にモデルに同じ質問をすると、より正確な結果を返してくれました。

コンピューター科学者は、生成AIモデルが定期的に誤った結果を生成する傾向を「ハルシネーション（幻覚）」と呼んでいます。モデルを最も得意とする方向に戻すことで、時折狙いが逸れる傾向を防ぐことができます。

これまでのところ、AIにインターネットから情報を収集するように依頼してきました。しかし、LLMの最も強力なスキルは言語です。つまり、言語を理解し、扱い、変更し、改善することです。

AIは、キャンペーンで焦点を当てるべき都市の選択に役立ちました。最終レポートでは、各都市に関する情報を洗練して結論を仕上げるよう依頼しましょう。"Few-Shot Example"（モデルが受け取るインプットと、モデルに生成させたいアウトプットの例）を使用したプロンプトを与えることで、どのような結果を返せばよいかを示します。次に、レポートする都市に関するメモを追加します。

いかがですか？しばらく時間がかかりましたが、モデルを使用してインターネットを調べて提案を行い、選択した情報を取り込んで作業可能な文書に変換する方法を理解しました。AIは人口の数字も正しく計算しました！

しかし、AIが出してきたソルトレイクシティの基本データを確認したところ、都市を取り巻く山々には年間約500インチの雪が降ることが指摘されていないことに気付きました。これは要約に含められているべきデータに思われます。

ここで、あなたはプロンプトの記述に関する2つ目の教訓について考えていることでしょう。「これは非常に大変な作業である」ということです。人間は何万年もの間、相互にコミュニケーションをとってきました。言語モデルとのコミュニケーションの研究は、始まってからまだ数か月しか経っていません。AIとのコミュニケーション方法について、正しいかどうかを判断するのは困難です。プロンプトを無限に調整することで、最適な成果を得ることはできるのでしょうか？

はい、可能です。これは人工知能の利用に関する重要なポイントです。努力すればするほど、より多くのメリットが得ることができます。AIは私たちの仕事を消去しません。AIは私たちの能力を補完し、私たちの努力を補い、単独では決して到達できなかった場所に私たちを連れて行ってくれます。

そしてもちろん、私たちは皆、まだAIを使い始めたばかりです。明日のAIは驚くべきことを実行できるようになることが期待されます。可能性は無限大です。活用法を学び未来に備えましょう。