今AI機能を使ったサービスの開発しているがその中で困ったりすることがあったので残しておく。
常に結果が安定しない
これから書く内容の全てでこの問題が根本に影響を受けている。AIモデルはほぼ期待した結果が出ているが、稀に期待していないレスポンスが返却されることがある。この今までのシステムの前提と大きく違うことが大きく影響している。
普通のシステムと同じ結果が出ると思われる
最初はAIを使った補助的な機能として開発されていたのだが、いつの間にかメイン機能想定で組まれるようになった。確かにビジネス視点で言えばAIを補助的に使うサービスよりも全面に打ち出した方がいいのは理解できる。
ただ全面に打ち出したからといって技術的に問題が急に解決するわけではない。期待値だけが上がりいつの間にか結果が常に安定している訳ではないことが置いてけぼりになっている。
通常のアプリケーション開発との兼任
AI機能とは別に通常のアプリケーション開発も行っている。そのためAI機能の改善に常に時間を割いているわけではない。そのため改善したいことはあるが他の作業も並行しているのでAI機能に対しての要望が出たとしても、そもそものAI機能を開発するための土台が出来ていないので大変である。
関係者でAIについて知識・開発レベルでの差を感じる
AI使ってこういうことをやりたいという要望を受ける。ただ紐解いてみるとそれってかなり難しいと感じることがある(例えばAIを使って全自動のような)。そこを丁寧にコミュニケーションするのが大変である。というよりも、前提の知識の隔たりがあるので説明するのが大変である。
また期待しないレスポンスが起きた場合にすぐにプロンプトの修正を直接指示されるのも大変である。今のプロンプトを改善して問題が果たして解決されるのか、改善した結果逆に悪くならないのかなどの評価が難しいからだ。もちろんプロンプトを評価する手法もあるが、その評価する仕組みをちゃんと整備していない。 そのためHuman loopではないけど、手動でフォールバックの方法もあるが直接プロンプトの修正を指示されるのがキツい。
期待値が高い
SNSでも海外のベンダーやサービスで新しく出来ることが増えた、また新しい手法が増えたことによってどんどん期待値が上がっている。でも前提として個人単位で使った場合が多い。例えば上記のプロンプト改善だって個人レベルであれば評価云々よりもどんどん改善した方がいいとは自分も思っている。でも複数人が使う前提のサービスでかつメイン機能であればそれは難しい。
さらに海外ベンダーが宣伝する内容だってベストパフォーマンスのことが多いし、こんなすごいサービス出来ているんだから、自分たちも出来ると言われても人員も資金も全然違う前提を無視していることが多い。
まだ自分は携わっていないが本格的なAIエージェントの実装はかなり難易度が高い。ちょっと技術書を読んだ感想レベルであるがこれを作るのも運用していくのも大変そうだなと感想になった。
要件定義が雑になった
AIエージェントで開発が高速になった反面要件定義や指示が雑になっていくことを感じる(自分だけ?)
もちろんAIエージェントの活用によって開発スピードは上がるが、この要件定義が雑になることによってそんなにスピードが出ていない。また雑な要件定義は雑なコードとPull Requestが増えるので人で書いていた時よりも技術負債が増えている。別にAIエージェントだから技術負債が増えてもそこまで問題無いという考えの人も増えているが自分は反対である。コンテキストが無駄に増えるのでAIエージェントの精確さもどんどん低下するからだ。
というよりもAIエージェント関係なく間違った方向に進んでいるなら高速に開発が出来るかどうか関係なくゴミしか出来ない。しかも別にやってみなければ分からなかったという問題でもなく、1時間ぐらい調査や考えれば回避出来た問題が多いのでより徒労を感じる。
これは現場の問題ではあるけど要件定義が雑になった組織が増えたのではと思う。
雑に最近思っていることを書いてみた。
過渡期ならではの問題でもある。個人的にはAIに対して期待値が高すぎるのと、仮に可能だったとしてもそれに対応できる人も資金も不足しているため