entropy of a process with only two probable values
情報理論において、二値エントロピー関数(にちエントロピーかんすう、binary entropy function)は もしくは のように表記され、確率 の1値または2値ベルヌーイ過程の情報エントロピーとして定義される。数学的には、ベルヌーイ試行は0か1の排他的な2値のみをとりうる確率変数 のとき であり、 のエントロピーは(シャノン単位で)次のように与えられる。 , ここで、 は 0 とする。この式中の対数は通常、底を2とする。二進対数も参照されたい。 のとき、二値エントロピー関数は最大値をとる。これは偏りのないコイントスに対応する。 は単一の実数を引数としてとり、確率分布や確率変数を引数とするエントロピー関数 とは区別される。二値エントロピー関数を と表記する場合もある。しかし、 も と表記することがあるため、混同に注意が必要である。
Abstract from DBpedia / Wikipedia · CC BY-SA
Discovered by embedding cosine similarity (sentence-transformers MiniLM, 384-dim).