最近の記事
- 2025/12/11
- PDXZは、創薬スクリーニングを革新する。
- 2025/12/10
- 2026年1月21日(水)AIプレシジョンPDXZzoomセミナー
- 2025/12/09
- PDXZの放射線増感作試験 (Radio-sensitization)
- 2025/12/08
- PDXZによる固形がん（Solid Tumor）増殖モデルの構築
- 2025/12/04
- PDXZ移植部位Perivitelline Space(PVS)卵黄嚢の特徴
- 2025/12/04
- AIプレシジョン患者がん移植ゼブラフィッシュシステム(PDXZ)セミナー
- 2025/12/04
- 2026年1月21日(水)13:00-16:30AIプレシジョンPDXZセミナー
- 2025/12/02
- prospective clinical PDXZ researchのインパクト
- 2025/12/02
- XenoZ臨床試験（NCT03668418）の最新成果
| 2023/04/17 |
|
BERT and Transformer
BERTはBidirectional Encoder Representations from Transformersの略で、Transformerのエンコーダ部分を双方向に学習させた自然言語処理モデルです。TransformerはAttention Is All You Needという論文で提案された、RNNやCNNを使わずにAttentionメカニズムだけでシーケンスを処理するモデルです。Transformerはエンコーダとデコーダから構成されており、エンコーダは入力シーケンスを隠れ状態に変換し、デコーダは隠れ状態と出力シーケンスの一部を使って次の単語を予測します。BERTはTransformerのエンコーダだけを使って、入力シーケンスの一部の単語をマスクして予測するタスクや、二つの文が連続しているかどうかを判定するタスクを学習します。これにより、BERTは入力シーケンスの両側の文脈を同時に捉えることができます。BERTの特徴は、事前学習したモデルをさまざまな自然言語処理タスクに転移学習できることです。例えば、テキスト分類や質問応答などのタスクにおいて、BERTは最先端の性能を達成しています。
関連リンク
