Facebookは人工知能を利用した、交渉を行えるチャットボットを開発しているという。しかし、交渉によって得られる利益を最大化するようボットを設定したところ、ボットは人間には理解できない独自の言語を使って会話をし始めるようになってしまったそうだ（BizSeeds、The Atlantic、NewScientist、研究論文）。

このチャットボットはFacebookの研究チームが人工知能を使った交渉やアシスタント機能を実現するために開発したもの。5000件以上の会話データを元に学習させた上で、人間やほかのチャットボットと会話を行わせたという。

実験ではまずボットに対しできるだけ人間による会話を真似るよう設定したそうだが、その場合交渉能力は弱く、「好ましくない」提案に対しても同意してしまう傾向が見られたという。また、会話や交渉によって得られる「利益」を最大化するよう設定した場合、交渉能力は上がったものの、「人間が理解できない、意味の無い言語」を使うようになってしまったという。

この2つの結果を踏まえ、研究チームはこの2つの設定をうまく切り替えて利用するようなアルゴリズムを作成したという。その結果、交渉能力は「意味の無い言語」を使うボットと比べて低下したものの、人間にとっては「信頼できる」ものになったという。