os 「ゼロから作るDeep Learning 」でエラー「ModuleNotFoundError: No module named ‘dataset.mnist’」が発生した時の対応方法
「ゼロから作るDeep Learning 」のこちらのサンプルコードを実行した際に起きたエラーの原因と対応についてまとめました。原因原因はモジュール検索パスの一覧に「..」と追加されていたためでした。対応以下のコードを修正しました。修正前s...
python
os python os.path.join()とpathlib.Path()を使ってパス名を組み立てる
「os.path.join()」はPythonの標準ライブラリであるosモジュールの関数です。ファイルパスを適切に結合するために使用されます。複数のパス要素を受け取り、それらを一つのパスとして結合します。この関数を使うことで、異なるオペレー...
python hstack()の使い方
hstack()は、NumPyやSciPyで使用される複数の行列（または配列）を水平方向（列方向）に結合するための関数です。サンプルコード複数の特徴量ベクトルの結合TF-IDF特徴量、テキスト特徴量、Word2Vec特徴量、文の長さ特徴量な...
kaggle 【エラー】AssertionError: Torch not compiled with CUDA enabledが発生した時の対処方法
kaggleのコンペに参加した時にノートブックでGPUの選択をしておらず、タイトル記載のエラーが発生し、実際に対応した内容です。【解決方法】Session optionsタブのACCELERATORプルダウンで「GPU T4 x2」を選択選...
python gensim.models.word2vecメソッドの使い方
word2vecとは？Word2Vecとは、単語をベクトルで表現する手法です。Mikolov らが 2013 年の論文 (Efficient Estimation of Word Representations in Vector Spac...
python gensim.utilsモジュールのsimple_preprocessメソッドの使い方
gensimとは？テキストデータの前処理を効率的に行うことができるオープンソースライブラリです。使用シーンWord2Vecの前処理simple_preprocessメソッドでできることテキストに対して、以下の前処理を行います。短い・長い単語...
python スクレイピングで指定したURLのHTMLをhtmlファイルに出力する
prettify()を使用して整形したテキストをhtmlファイルに出力します。スクレイピングしたいサイトの構造を確認するために最初に行うべき処理です。dodaの求人情報について解析した際のコードです。from urllib.request ...
python urlparseを扱う上で気を付けるべきこと
Pythonのurlparseメソッドを使ったURL解析の基本について解説します。netlocの認識方法や相対URLの扱い方、スクレイピングの実例も紹介します。
list pythonでlistを拡張する方法
自然言語処理でリストを拡張する処理が使われていました。そこで、どのような使い方をするのか調べてみました。サンプルコード1：リストにリストを追加# 例1: 単純なリストの拡張list1 = [1, 2, 3]list2 = [4, 5, 6]...
pip microsoftのdeberta-v3-baseを使い方メモ
kaggleのコンペに参加した時に自然言語処理の扱い方について全く分からなかったため、最初に確認したことについてまとめました。1. ライブラリのインストールpip install transformers torch sentencepie...