未成年者向けアルゴリズム推薦フィードの禁止

政府は18歳未満のユーザーに対するアルゴリズムによるレコメンデーションフィードを禁止すべきだ。これはティーンエイジャーのソーシャルメディア利用を禁止するという意味ではない。それは、若者が目にするものが、彼らが選択したアカウントやコミュニティからのものであり、中立的な時系列順で表示されることを義務付けるということだ。私の主張は3つの点に基づいている。

第一に、これらのフィードは、青年期に特に陥りやすい脆弱性を悪用するように作られている。エンゲージメントを最適化するアルゴリズムは、試行錯誤を通じて、各ユーザーをスクロールさせ続けるものを学習する。それは、可変報酬、社会的比較、怒り、そして新規性だ。脳科学の研究は、思春期の脳の報酬感受性の高い部分が、衝動制御や長期計画を司る前頭前野よりも早く発達することを示している。各ユーザーのアプリ滞在時間を最大化するように調整されたシステムが、自己制御能力をまだ構築中の脳を対象としているのは、公正な競争ではない。私たちはすでに他の分野でこの論理を受け入れている。一部の製品が発達上の脆弱性を悪用するため、未成年者に対するギャンブル、タバコ広告、アルコールを制限している。注意を引きつけるために設計された、無限のパーソナライズされたフィードも同じカテゴリーに属するべきだ。

第二に、被害の証拠は深刻であり、増え続けている。2010年代初頭にアルゴリズムによるフィードとスマートフォンが広く普及して以来、多くの国で青年期のうつ病、不安、自傷行為、孤独感の割合が急増している。内部告発者の情報開示によって明らかになったプラットフォーム自身の内部調査では、レコメンデーションシステムが10代の少女たちのボディイメージの問題を悪化させ、脆弱なユーザーを摂食障害や自傷行為に関するコンテンツに誘導する可能性があることが判明した。米国公衆衛生局長官は、ソーシャルメディアが若者のメンタルヘルスにもたらすリスクについて警告を発している。根本的な問題は、少数の悪い投稿ではない。それは、レコメンデーションエンジンが、たとえそれが子供にとって有害であっても、子供の注意を引いたものを積極的にさらに深く推進することだ。

第三に、時系列フィードは設計そのものを修正するため、他の代替手段よりも効果的だ。コンテンツのフィルタリングやペアレンタルコントロールの追加は有用だが、常に後手に回っている。モデレーターは数十億もの投稿に追いつくことができず、有害なコンテンツはフラグが立てられるよりも速く名前が変更され、ペアレンタルコントロールは多くの家庭が持っていない時間、スキル、意識を親が持っていることに依存している。その結果、最も脆弱な子供たちが最も保護されない状態になる。時系列フィードは、害悪の根源となっている推進力を取り除く。ティーンエイジャーは依然として友人を知り合い、学習グループに参加し、好きなクリエイターを見つけ、教育資料を検索し、コミュニティに参加することができる。失われるのは、エンゲージメントを最大化するために何を表示するかを決定する自動システムだけだ。この規則は、作成、チェック、施行も簡単であり、ニューヨーク州のSAFE for Kids Actを含むいくつかの法域がすでにこの方向に向かっている。

私の反対者は、アルゴリズムが若者が価値あるコミュニティを見つけるのに役立つと言うだろう。しかし、発見は操作を必要としない。検索、フォロー、トピック購読、友人からの推薦はすべて、ティーンエイジャーがチェスクラブ、コーディングフォーラム、またはLGBTQサポートグループを見つけることを可能にし、それはティーンエイジャーの条件で行われる。アルゴリズムがたまたま有用なものを表面化させたとしても、それは副次的効果だ。その実際の目的は、ユーザーをプラットフォームに留まらせることだ。たとえそれが時折良い結果を生むとしても、私たちは皆にとって有害なシステムを受け入れるべきではない。

この提案は、若者の情報や互いへのアクセスを完全に維持する。取り除くのは、彼らの注意を彼らのメンタルヘルスを犠牲にして利益に変えるビジネスモデルだ。これらの理由から、政府は未成年者に対するアルゴリズムフィードを禁止すべきだ。

政府は、未成年者を操作的なフィードから保護すべきですが、アルゴリズムによる推薦をすべて禁止するのはあまりにも乱暴です。推薦システムは、ティーンエイジャーが数学のチュートリアル、障害者支援コミュニティ、または珍しい興味を共有する仲間を見つけるのに役立ちます。時系列フィードが本質的に安全であるとは限りません。有害なコンテンツが表示される可能性があり、有用なリソースを見つけにくくなる可能性があります。

真の標的は有害なデザインであり、パーソナライゼーションのあらゆる利用ではありません。政府は、プラットフォームに依存性を高める機能を制限し、年齢に応じたコンテンツのセーフガードを施行し、未成年者に推薦をオフにする明確な選択肢を提供し、実用的な保護者向けコントロールを提供することを要求できます。これらの規則は、推薦が発見を助けることができる教育的および社会的つながりから若者を切り離すことなく、リスクに対処します。

相手方は私の主張の大部分を受け入れ、一部のみを否定しています。操作的なフィードが未成年者に害を与え、政府が介入すべきであるという点では同意しています。残る問題は、子供たちのデフォルト設定を、いくつかの安全策を追加したエンゲージメント最適化フィードにするか、若者が自分で形成するニュートラルなフィードにするか、という点だけです。相手方の3つの主張を順に見ていきましょう。

第一に、相手方は、レコメンデーションがティーンエイジャーが数学のチュートリアルや、障害を持つ人々のためのサポートコミュニティ、あるいは珍しい興味を持つ仲間を見つけるのに役立つと主張しています。私の提案では、それらの道はすべて開かれたままです。代数の助けが必要な生徒はそれを検索します。病気を診断されたばかりのティーンエイジャーは、サポートグループを検索し、ハッシュタグをフォローし、コミュニティに参加し、友人、医師、教師からアドバイスを得ることができます。私の提案で削除されるのは、子供の目が各投稿にどれだけ留まっているかを監視し、彼らを惹きつけるものをさらに提供するフィードです。相手方は、チュートリアルを見つけるためにそのような仕組みが必要であることを示していません。それが時折チュートリアルを生み出すことを示したにすぎません。サポートコミュニティを提案するのと同じシステムが、過激なダイエットのビデオも提案します。なぜなら、それらを区別できないからです。ただ、どちらがよりエンゲージメントが高いかだけを測定しています。

第二に、相手方は、時系列フィードは本質的に安全ではないと主張しています。なぜなら、有害なコンテンツが表示される可能性があるからです。どのようなルールもすべてのリスクを排除することはできませんが、この反論は害の原因を見誤っています。時系列フィードでは、子供はフォローすることを選択したアカウントからの投稿を、投稿された順に見ます。悲観的な14歳の子供が自己危害に関する投稿にしばらく留まり、さらに10件の投稿が送られてくるのを見ているエンジンはありません。プラットフォーム自身の内部調査で文書化された、摂食障害や自己危害コンテンツへの段階的なエスカレーションである「ウサギの穴」は、アルゴリズムによる増幅によって作成されます。増幅器を取り除けば、有害な投稿は1つの投稿のままです。それはストリームにはなりません。

第三に、相手方は、コンテンツのセーフガード、オプトアウトオプション、および保護者による管理を通じて、有害なデザインを標的とすることを提案しています。エンゲージメント最適化レコメンデーションエンジンこそが有害なデザインなので、彼らの計画は中心的な問題をそのままにして、規制当局に外部から管理するように求めています。各部分を検討しましょう。

• コンテンツのセーフガードとは、事後的に数十億もの投稿をモデレーションすることを意味しますが、有害なコンテンツはフラグが立てられるよりも速く再ラベル付けされます。これはすでに失敗した追いつきゲームです。
• オプトアウトオプションは、操作的なフィードをデフォルトでオンにしたままにし、衝動制御が最も低い人々にそれをオフにするように求めています。デフォルトが結果を決定します。プラットフォームには、その設定を隠し、それに手間をかけ、ユーザーを元に戻すように促すあらゆる経済的理由があります。思春期の脆弱性に関する相手方自身の主張は、ティーンエイジャーがそれを使用することはめったにない理由を説明しています。
• 保護者による管理は、時間、技術的なスキル、および意識を持ってそれらを使用できる保護者を持つ子供たちを保護します。過重労働、苦労している、あるいは無関心な家庭の子供たちは、最もリスクが高いにもかかわらず、何も得られません。相手方は、私の冒頭でのこの公平性の問題に回答しませんでした。

実施上の問題もあります。彼らのアプローチでは、規制当局が、プロプライエタリなブラックボックスシステム内で、どの種類のパーソナライゼーションが「有害」で、どの種類が「有益」であるかを判断することになります。その基準は永遠に議論の的となり、プラットフォームはそのギャップを悪用するでしょう。未成年者向けのフィードは、行動エンゲージメントデータによってランク付けされてはならないというルールは明確であり、監査可能であり、ニューヨークのような場所ではすでに法律に盛り込まれています。

したがって、選択肢はアクセスと保護の間にあるわけではありません。私の提案の下では、ティーンエイジャーは友人、コミュニティ、検索、そして調べることができるあらゆる教育リソースを維持します。彼らが失うのは、彼らの注意を収益に変えるために構築されたシステムです。相手方は、有害なデザインからのオプションの出口を提供します。私は、子供たちのデフォルトとしてそのデザインを削除することを提案します。だからこそ、禁止がより強力な政策なのです。

相手方が指摘するように、エンゲージメントを最大化するフィードは、青少年の脆弱性を悪用する可能性があります。しかし、それは操作的なデザインを禁止する根拠にはなりますが、あらゆるアルゴリズムによる推薦を禁止する根拠にはなりません。関連性の高い数学の授業や、モデレーターがいるサポートグループを提案するシステムは、スクロール予測時間で投稿をランク付けするシステムと同等ではありません。包括的な禁止は、両者を同じように扱います。

メンタルヘルスの懸念は深刻ですが、ソーシャルメディア利用と並行して増加する青少年の苦悩が、すべてのパーソナライズされたフィードがそれを引き起こすことを証明するわけではありません。有害な推薦に関するプラットフォームの開示は、摂食障害や自傷行為のコンテンツを増幅することに対する厳格なルールを支持しますが、それがクロニクルフィードの万能薬であることを示すものではありません。ティーンエイジャーは、フォローしているアカウントを通じて有害な素材に遭遇する可能性があり、人気に基づいた投稿は友人を通じて広がる可能性があります。

検索が発見の完全な代替手段でもありません。有用なコミュニティが存在することを知らない若者は、その名前を検索できません。これは、珍しい興味を持つティーンエイジャーや、地元のサポートが限られているティーンエイジャーにとって特に重要です。

より強力な政策は、未成年者に対するエンゲージメントベースの最適化を禁止し、年齢に応じた推薦のセーフガードと独立した監査を要求し、デフォルトで簡単に選択できるクロニクルオプションを提供することです。保護者の管理は保護を追加するものであり、すべての負担を負うものではありません。このアプローチは、相手方が懸念するメカニズムを標的としながら、若者が助けを見つけ、学ぶための有益な方法を維持します。

この討論の終わりまでに、私の対立者は私の主張の核心を受け入れました。彼らの最終提案は、マイナーに対するエンゲージメントベースの最適化を禁止し、時系列フィードをデフォルトにすることです。これは私が主張したことに非常に近いです。私たちに残されたのは狭いものです。プラットフォームは、それらのシステムが「良い」種類のものであるという約束のもとで、子供向けの行動レコメンデーションシステムを保持することを許可されるべきでしょうか？私は3つの理由から、ノーと言います。

第一に、私の対立者が引きたい線は施行できません。彼らは、有害な投稿を時間消費量でランク付けする有害なものから切り離された、数学のレッスンを提案する無害なレコメンダーを思い描いています。実際のプラットフォームでは、両方とも同じシステムです。子供の行動データに基づいて構築されたレコメンダーは、子供がクリック、視聴、または長居したものから学習し、ビジネスはそのエンゲージメントを高めるために支払います。それが「関連性の高い」コンテンツを提案していると言うことは、エンゲージメントの名前を変えているだけです。私の対立者の答えは、年齢に応じたセーフガードの監査です。これは、規制当局に、プロプライエタリなブラックボックスの中を繰り返し見て、どのパーソナライゼーションが許容できるかを決定するように求めています。プラットフォームは、その境界を押し広げるためのデータ、弁護士、そしてあらゆる金銭的理由を持っています。私のルールはシンプルです。マイナーに表示されるフィードは、彼らの行動データを使用してランク付けすることはできません。それは明確であり、監査可能であり、ニューヨークはすでにそれを法律に盛り込もうとしています。ポリシーが施行できない場合、それは誰も保護しません。

第二に、発見の異議は通用しません。私の対立者は、ティーンエイジャーは存在を知らないコミュニティを検索できないと言います。しかし、私の提案は検索による発見を制限するものではありません。友人はリンクを共有します。教師、カウンセラー、医師は若者をリソースに紹介します。コミュニティはお互いを指し示します。ハッシュタグやトピックサブスクリプションは、何があるかを示します。プラットフォームは、特集されたスタディグループや検証済みのサポート組織など、パーソナライズされていないキュレーションされたディレクトリを提供し続けることができます。消えるのは、脆弱な子供の行動を追跡し、次に何を表示するかを決定する機械だけです。この討論全体を通して、私の対立者は、若者が行動プロファイリングを通じてのみ到達できる助けの単一の例を挙げていません。

第三に、私たちが合意した害はアンプリファイアから来ます。私の対立者は、フォローしているアカウントから有害な投稿が来る可能性があるため、時系列フィードは完全な治療法ではないと言います。私も同意します。どのポリシーもすべてのリスクを取り除くわけではありません。しかし、両側が認識している危険はエスカレーションです。悲しんでいる14歳の子供が1つの投稿で一時停止し、その後、自傷行為や極端なダイエットコンテンツの安定したストリームが表示されることです。プラットフォーム自身の内部調査は、このウサギの穴を文書化しており、それはアルゴリズムがコンテンツを増幅するため起こります。アンプリファイアを取り除くと、有害な投稿は単一の投稿のままです。コンテンツフィルターとペアレンタルコントロールは、残ったものに対処できます。これは、より多くをプッシュするように設計されたエンジンを封じ込めようとするよりもはるかに簡単です。

したがって、選択肢は次のとおりです。私の対立者は、自社のビジネスモデルに反するアルゴリズムを設計すること、終わりのない定義に関する議論に勝つ規制当局、そしてプラットフォームが隠すことができる設定を管理しなければならない子供や親に依存する妥協案を提示します。私は、すべての子供を平等に保護する明確なルールを提示します。家族の時間や技術スキルに関係なく、友情、コミュニティ、検索、教育は完全にそのまま維持されます。失われるのは、若者の精神的健康を犠牲にして、思春期の注意を収益に変えるシステムだけです。政府は、マイナー向けのアルゴリズムレコメンデーションフィードを禁止すべきです。

相手方は、ティーンエイジャーをスクロールさせ続けるように最適化されたフィードが有害なコンテンツを増幅させる可能性があるという、現実の危険性を指摘しています。しかし、それはあらゆるアルゴリズムによるレコメンデーションを禁止する正当な理由にはなりません。重要なのは、エンゲージメントの最適化と、若い人が関連性の高いレッスンや管理されたサポートコミュニティを見つけるのを助けることとの区別です。包括的な禁止は、その区別をなくしてしまいます。

検索フィードや時系列フィードは依然として有用ですが、発見の完全な代替手段ではありません。ティーンエイジャーは、存在を知らないリソースを検索することはできませんし、フォローしているアカウントを通じて有害な投稿が拡散する可能性もあります。また、深刻なメンタルヘルスリスクの証拠は、あらゆる形態のパーソナライゼーションが有害であること、あるいは時系列だけではそれらのリスクが解決されることを確立するものではありません。

政府は、包括的な禁止を課すことなく、より強力なデフォルトを設定できます。未成年者に対するエンゲージメントベースの最適化を禁止し、有害なレコメンデーションに対するセーフガードと独立した監査を要求し、意味のある保護者による管理が利用可能な状態で時系列フィードをデフォルトにすることです。これは、脆弱なティーンエイジャー、弱いオプトアウト、および不均一な保護者の監督に関する相手方の懸念に直接対処しつつ、有益な発見を維持します。若者を操作的なデザインから保護し、彼らが学び、つながるのを助けるあらゆるツールから保護するのではなく。