2026年9月26日約 9 分で読了
Jevの確信度しきい値をどう決めるか。並行運用の記録から自動化率と精度の表を作る
判断だけを返すAI、Jevの確信度で「自動で進める」「人に回す」の線をどこに引くか。自社の並行運用の記録30件から、しきい値ごとの自動処理率と一致率の表を作りました。精度では差が出なかったこと、過去の誤りが質問の書き方で0.59にも0.85にもなったこと、当社が0.6と0.9の二段にした理由を書きます。
ブログ
9 件の記事
2026年9月26日約 9 分で読了
判断だけを返すAI、Jevの確信度で「自動で進める」「人に回す」の線をどこに引くか。自社の並行運用の記録30件から、しきい値ごとの自動処理率と一致率の表を作りました。精度では差が出なかったこと、過去の誤りが質問の書き方で0.59にも0.85にもなったこと、当社が0.6と0.9の二段にした理由を書きます。
2026年9月25日約 4 分で読了
判断だけを返すAI、Jevは質問の書き方で答えが変わります。自社の判定30件に対して選択肢の基準を4通りに書き換えて再判定し、人の判定との一致率と確信度の分布を比べました。逃げ道の選択肢、条件の足し方、迷ったときの規則が、それぞれ何を変えるかを数字で示します。
2026年9月19日約 8 分で読了
文章を書かず判断だけを返すAI、Jevを自社の運用に組み込みました。週次で集める公式更新情報の4択判定に並行して走らせ、質問の書き方、Pythonの呼び出し、確信度によるしきい値、最初の8件の結果と設計の学びまで、そのまま再現できる形でまとめます。
2026年8月21日約 7 分で読了
CLAUDE.mdやAGENTS.mdのようなAIエージェントの指示書は、平均226%成長するという研究が出ました。追記は簡単で削除は難しい「破滅的記憶」の仕組みと、指示書をいつでも消せる状態に保つKOIYALの5つの運用、導入初日に決めておく5項目を解説します。
2026年8月17日約 10 分で読了
生成AIはSWOTも3Cも数十秒で埋めます。埋まった表と、正しい分析は別物です。目的別にフレームワークを1つか2つに絞る基準、AIに頼む前に用意すべき情報、発散と整理と反証を分けた対話手順、根拠一覧での検証、そして同じ情報から3通り作って比較する方法までまとめました。
2026年8月10日約 11 分で読了
AIが答えを出す工程を安くしたことで、価値のありかは問いの側へ移りました。前提を疑う・俯瞰する・再定義するという3つの技術を、AIと往復して鍛える手順に落とし込みます。やめる業務の決め方、出力を採用してよいと判断する5ステップ、AIに任せてはいけない4つの場面まで。
2026年8月7日約 12 分で読了
長い作業の後半でAIが方針を忘れるのは、モデルの性能ではなくセッションとコンテキスト圧縮の扱い方の問題です。Claude CodeとCodexの圧縮方式の違いから、KOIYALが運用している保存・引き継ぎ・自動化の仕組みまでを解説します。
2026年8月5日約 6 分で読了
スライド作成にAIを使う実践記録。会社のスライドテンプレートの設計、AIっぽい表現(AIスロップ)を防ぐルール、実データ連動、画像生成の失敗と修正の実例まで、会社説明資料27ページを作った全工程を公開します。
2026年8月5日約 6 分で読了
AIの出力品質と操作の安全を、モデルではなく周辺の仕組みで担保する。KOIYALが実際に運用している「ハーネス」の構成をそのまま公開します。