erdoctor

python code

ランダムフォレスト

決定木を組み合わせたランダムフォレストという手法を試してみましょう。性能が高く、過学習に陥りにくく、スケーラビリティに優れている（並列実行が可能）という特徴があります。アンサンブル学習とランダムフォレストとはアンサンブル学習 とは複数のアル...
2022.03.03
python code
python code

クロスバリデーション

これまでに2つのハイパーパラメーターが登場しました。LogisticRegressionのCDecisionTreeClassifierのmax_depthクロスバリデーションを使って、最適なハイパーパラメーターを求めましょう（ハイパーパラ...
2022.03.03
python code
python code

決定木解析：過学習

ノイズを使ったモデルは、トレーニングデータにはよく当てはまりますが、テストデータにはあまり当てはまりません。この状態が、過学習です。モデルは複雑にするほど、過学習の傾向が出ます。決定木では、max_depthオプションでモデルの複雑さを変更...
2022.03.03
python code
日記

効率よく生きることのススメ

最近は筋トレにはまっている。地域の体育館でおじいちゃん、おばあちゃんと一緒に筋トレしていたんだけど、奥さんがジム通いしたそうだったので、夫婦で利用できる安いジムを契約しました。筋トレはモチベーションを保つために、Youtube見たり、筋トレ...
2022.03.01
日記
python code

次元削除：主成分分析

自然言語処理で使われる文書や、画像処理で使われる画像などから生成されるデータは、1サンプルが高次元になることが多いです。高次元のデータは、複雑な処理になったり計算時間がかかったりします。全ての情報が必要かというと、重要性の低い情報も多く含ま...
2022.03.01
python code
python code

クラスタリングの結果を画で確認

クラスタリングの結果を図で確認しましょう。RecruitとCustomの散布図、ShirtとAccessoryの散布図をみてみましょう。また、各クラスターごとに、各属性の傾向を箱ひげ図でみてみましょう。#前回のプログラムの読込%run2.i...
2022.03.01
python code
python code

クラスタリングについて

クラスタリングを学習することによって、顧客を特徴によって分割できます。うまく分割できれば、それぞれ別のモデルを作って精度を上げられます。クラスタリング（clustering）とは、機械学習の1種でデータ間の類似度にもとづいて、データをグルー...
2022.03.01
python code
python code

手書き文字の画像を認識する

importpandasaspd#データの読み込みdf=pd.read_csv('./input/mnist.csv.zip')df.head()#1行目のデータをとりだしd=df.iloc[0,:-1].to_numpy()#1行のデータ...
2022.02.28
python code
python code

文章から抽出して判定する

以下のようにして、DataFrame dfの文章の列textを特徴行列に変換できます。fromsklearn.feature_extraction.textimportCountVectorizercv=CountVectorizer()X...
2022.02.28
python code
python code

機械学習の演習

結果の標準偏差、モデルセレクションについてimportpandasaspddf=pd.read_csv('./input/bank.csv')#名義尺度を除くdf=df.drop(labels=["職種","結婚","学歴","連絡手段",...
2022.02.22
python code
次のページ