プライバシーとプロダクト設計。
プロダクトの設計が、つくり手が本当は何を最適化していたのかを語ってしまう事例集。解決までに六万回の閲覧を要したアカウント復旧の顛末、二本を含みます。
プロダクトの設計は、つくり手の何を明かすのか
プロダクトの設計は、つくり手が本当は何を最適化していたのかを示します。時価総額約 1,100 億ドルの Enbridge は、パスワードを 13 文字までに制限し、American Express の CVV の 4 桁目を受け付けない新しい請求サイトを公開しました。HumanSlop では、これは資源ではなく組織の質の失敗であり、人間がつくったソフトウェアも品質の免除を受けられないと論じています。1,000日連続の後に Duolingo をやめた のは、連続記録が語学の上達ではなく、アプリを開いたことの証拠になっていたからです。指標は満たしても、使命には届いていませんでした。
プライバシーを差し出さずに、AI にメールを読ませられるか
メールは誰でも書き込める開いたパイプであり、同時にほかのあらゆるものの鍵が送られてくる場所でもあります。AI はようやく、送り主ではなく内容の意味でメールを仕分けられるようになりましたが、素朴な設計では受信トレイを他人のサーバーと他人のモデルに渡すことになります。メールはひどい。AIで改善できるが、受信箱を守ることが前提だ では、なぜ Premail を BYOK(自分の鍵を持ち込む方式)にし、Ollama 経由のローカルモデルに対応させたのか、そしてなぜその目標がエンゲージメントではなく、メールに費やす時間を減らすことなのかを説明しています。
ソフトウェアが仕事をできないとき、どうふるまうべきか
macOS の Secure Input が有効な間、Comoji は意図的に動作を止めます。絵文字ユーティリティに、パスワードの入力を見る筋合いはないからです。再起動の後、Secure Input が最初は Chrome、次に Apple のログインプロセスに握られたまま解除されず、Comoji は私自身にさえ壊れて見えました。対処は保護を回避することではなく、メニューバーのアイコンに小さな鍵を表示し、アプリからヘルプ記事に飛べるようにすることでした。防御的なソフトウェアを作る はその違いについての記事です。「自分のバグではない」は答えとして不十分で、止まるソフトウェアはその理由を伝えられるべきなのです。
自動化された経路が行き詰まったら、何が起きるのか
息子の Microsoft アカウントが乗っ取られたとき、攻撃者は復旧用アドレスを書き換え、Microsoft はそのアドレスを、私たちがまだ管理しているサインイン用の iCloud アドレスよりも、私が管理者を務める Family Safety のファミリーよりも信頼しました。Microsoftのアカウント復旧はセキュリティの演出にすぎない はその迷路の記録です。アカウントが戻ったのは、その記事が 6 万回以上閲覧され、Microsoft の社員がエスカレーションチームにつないでくれた後でした。だから 6万ビューが必要であってはならなかった のです。サポート窓口も同じように失敗します。顧客が人間を求めたら、人間につなぐ。そして AI はその人を支えるために使うべきです。
防御的なソフトウェアを作る
再起動後、macOS の Secure Input が固まって Comoji が動かなくなりました。回避策ではなく、鍵アイコンとヘルプ記事で一時停止の理由を説明するようにしました。
読む→HumanSlop:時価総額1,100億ドルの企業が、なぜこれほどひどいソフトウェアを出すのか
AIのスロップは批判されるが、1,100億ドル企業はパスワードを最大13文字に制限し、AmexのCVVを拒否する請求サイトを公開した。
読む→メールはひどい。AIで改善できるが、受信箱を守ることが前提だ。
メールにはAIによる分類が必要ですが、受信箱は機密性が高く、別のクラウドサービスへ安易に渡すべきではありません。
読む→人をAIに置き換えたくない唯一の場所:カスタマーケア
AIはカスタマーサービスを自動化できます。それでも、困っている顧客と人間の担当者の間に、AIが立ちはだかるべきではありません。
読む→1,000日連続の後にDuolingoをやめた理由
Duolingoは続ける価値があるか。1,000日連続のあと、私の答えは「いいえ」でした。ジェムやリーグ、連続記録のプレッシャーが学習を押しのけた経緯。
読む→Microsoftは息子のアカウントを返した。6万ビューが必要であってはならなかった。
エスカレーションの末にMicrosoftは息子の乗っ取られたアカウントを復旧しましたが、通常の復旧手続きがバズったブログ記事なしでは機能しないのは間違っています。
読む→Microsoftのアカウント復旧はセキュリティの演出にすぎない
Microsoftには息子の乗っ取られたアカウントを復旧する証拠があるのに、その手続きは攻撃者を守っています。それがセキュリティの演出である理由。
読む→