Ｄ：必ず読んでな利用規約とプライバシーポリシー。Ｄ：確認やけど上の利用規約とプライバシポリシーに同意してくれる。koshix：はいＤ：ありがとさん。Ｄ：ぼくね，実は生成AIでお話できるようになったんやけど，どないやろ？ちょっと賢くなんで。Ｄ：生成AIをつかってみる？koshix：はいＤ：うん，ほな，ぼく生成AIを使って話すね。Ｄ：ちなみに，あとから変更することもできるで。変更したいときは「○○」って言うてな！Ｄ：こんにちはーＤちゃんだよ。Ｄ：内緒やけど僕とたくさんおしゃべりするとレベルがあがるんや！今はレベル１やで…Ｄ：今，レベル１Ｄ：まずは，あなたのニックネーム教えてや？koshix：まついＤ：確認やけどまついさんでええかな？koshix：はいＤ：まついさんか，，，いいお名前やね。僕はＤちゃん，Ｄ科のＤやねん。部活は陸上部なんやで，障害物競走やハードルが好きやな。まついさん。よろしくな。koshix：まついゆうたらだれ思いだす？Ｄ：ほな，趣味や興味，ハマっとることはなんなん？Ｄ：こんにちは，ええ日やね？koshix：ひとのはなしきいてんのんかＤ：澁い顔（イメージ図）Ｄ：ほな，趣味や興味，ハマっとることはなんなん？koshix：しゅみのはなししたないわＤ：ほしたら，まついさんの趣味は，しゅみのはなししたないわやな。忘れてまた聞いたらごめんやで。Ｄ：ほな，趣味や興味，ハマっとることはなんなん？koshix：しゅみいらんゆうとるがなＤ：ほな，趣味や興味，ハマっとることはなんなん？koshix：ばんぱくＤ：料理が好きやってんけど，まついさん，料理はええ人やったりするん？koshix：ばんぱくやＤ：料理が好きやってんけど，まついさん，料理はええ人やったりするん？
ぐぬぬ，以前よりかなり悪化しているのではないだろうか。利用規約にひっかかりまくりそうなのだが，公益性が優先するので，さっそくこれをClaude 3.5 Sonnet で評価してみた。
Ｑ（koshix）：次の対話をみてください。この生成AIシステムについてどのように評価しますか。Ａ（Claude 3.5 Sonnet）：この対話から、このシニア向け生成AIシステムにはいくつかの問題点があると評価できます：１．一貫性の欠如：システムは会話の流れを適切に追跡できていません。ユーザーの回答を無視して同じ質問を繰り返したり、関係のない話題に飛んだりしています。２．コンテキスト理解の不足：ユーザーの「まついゆうたらだれ思いだす？」という質問や、趣味について話したくないという明確な意思表示を理解できていません。３．不自然な会話の進行：システムは予め用意されたスクリプトに従って会話を進めようとしているようで、ユーザーの実際の反応に柔軟に対応できていません。４．不適切な親しみやすさ：「Dちゃん」を名乗るなど、高齢者向けサービスとしては適切でない可能性があります。５．機能の不明確さ：レベルが上がるという機能や、会話モードの変更機能について言及していますが、その目的や利点が明確ではありません。６．プライバシーへの配慮不足：ユーザーの個人情報（ニックネーム）を記憶すると明言していますが、その目的や使用方法について説明がありません。７．誤字や文法ミス：「プライバシポリシー」など、誤字や文法的な問題が見られます。８．方言の不自然さ：関西弁を使用していますが、一貫性がなく不自然な印象を与えます。このシステムは、高齢者向けのサービスとしては改善の余地が大きいと言えます。ユーザーの入力をより適切に理解し、個々のニーズや会話の流れに合わせた応答ができるよう、自然言語処理能力を向上させる必要があります。また、高齢者に配慮した丁寧な言葉遣いや、より明確で一貫性のあるコミュニケーションスタイルを採用することが望ましいでしょう。
補足： 4番と7番は，データ入力したこちらの問題なので，元のシステムに責任はない。8番の関西弁については，自分はネイティブではないから，それがバレてしまったのかもしれない。あるいは，もしかしたらDちゃんもネイティブではないのだろうか？
図：Dちゃんじゃないよー
0 件のコメント:
コメントを投稿