最近の記事
- 2026/02/27
- AI プレシジョン患者がん移植ゼブラフィッシュシステム(PDXZ)の革新性
- 2026/02/12
- 『ゼブラフィッシュ創薬®』生体 MieKomachi１０５種類
- 2026/02/02
- 「ゼブラフィッシュ創薬®」PDXZの展開
- 2026/02/02
- 患者がん移植ゼブラフィッシュシステム(PDXZ)による 創薬スクリーニングと臨床治験応用
- 2026/01/21
- AI プレシジョン患者がん移植ゼブラフィッシュ(PDXZ)セミナー
- 2026/01/20
- 『ゼブラフィッシュ創薬®』生体 MieKomachi
- 2025/12/26
- 260121 AIプレシジョンPDXZセミナーのご案内
- 2025/12/11
- PDXZは、創薬スクリーニングを革新する。
- 2025/12/10
- 2026年1月21日(水)AIプレシジョンPDXZzoomセミナー
- 2025/12/09
- PDXZの放射線増感作試験 (Radio-sensitization)
| 2023/04/17 |
|
BERT and Transformer
BERTはBidirectional Encoder Representations from Transformersの略で、Transformerのエンコーダ部分を双方向に学習させた自然言語処理モデルです。TransformerはAttention Is All You Needという論文で提案された、RNNやCNNを使わずにAttentionメカニズムだけでシーケンスを処理するモデルです。Transformerはエンコーダとデコーダから構成されており、エンコーダは入力シーケンスを隠れ状態に変換し、デコーダは隠れ状態と出力シーケンスの一部を使って次の単語を予測します。BERTはTransformerのエンコーダだけを使って、入力シーケンスの一部の単語をマスクして予測するタスクや、二つの文が連続しているかどうかを判定するタスクを学習します。これにより、BERTは入力シーケンスの両側の文脈を同時に捉えることができます。BERTの特徴は、事前学習したモデルをさまざまな自然言語処理タスクに転移学習できることです。例えば、テキスト分類や質問応答などのタスクにおいて、BERTは最先端の性能を達成しています。
関連リンク
