著者のManu Suryavansh氏は機械学習エンジニアとしてキャリアを積んだ後、2020年1月からAppleでデータサイエンティストとして勤めています。同氏がMediumに投稿した記事『2019年はBERTとTransformerの年だった』では、近年の自然言語処理の動向がBERTを中心軸として ...

以下の記事を参考に書いてます。 「TF」で始まらない「Huggingface Transformers」のモデルクラスはPyTorchモジュールです。推論と最適化の両方でPyTorchのモデルと同じように利用できます。 テキスト分類のデータセットでモデルをファインチューニングする一般的 ...

Transformerは、自然言語処理（NLP）における画期的なモデルであり、BERTやGPTなどの多くの最新AIモデルの基盤となっています。本記事では、TensorFlowを使用してTransformerモデルを構築し、テキスト分類タスクを実装する方法を紹介します。 Transformerの基本概念 ...

著者のDale Markowitz氏はGoogleクラウド部門に所属するGoogle社員で、最近ではGoogle主催の開発者会議Google I/O 2021で「機械学習のよくある問題の発見と解決」というセッションを担当しました。同氏がMediumに投稿した記事『Transformer解説：GPT-3、BERT、T5の背後にある ...

Googleが自然言語モデル「BERT」における高精度な多言語埋め込みを可能にする「Language-agnostic BERT sentence embedding model (LaBSE)」を発表しました。LaBSEは109もの言語を事前学習しており、学習データにない言語でも高精度な処理を行うことが可能です。