PC・プログラミング

PC・プログラミング

pandasによる外れ値の可視化と扱い方

元データとスクリプトpandasによる外れ値の可視化import pandas as pdimport matplotlib.pyplot as plt# CSVファイルの再読み込みdf = pd.read_csv('daily_weather_and_power_consump...
0
PC・プログラミング

sudachipyで「生の文章」に形態素解析をするには「表記ゆれ対策」が必要

sudachipyで『食べログ』のレビューを形態素解析してみたが「表記ゆれ」が多くて使い物にならなかった 『食べログ』に掲載されている「クチコミ」の内、その店の料理を具体的にほめているレビューを見つけて、それを「どれくらい具体的に書かれていて、これから初めて店に行く人にとって有用...
0
PC・プログラミング

sudachipyでユーザー辞書をビルドして使うまでのまとめ

インストール anaconda3環境を前提とする。 sudachipyのデフォルト辞書はsudachidict-coreになっているので、とりあえず入れておくと「辞書がないよエラー」がでない。conda install sudachipy# 辞書のインストールconda inst...
0
PC・プログラミング

Seleniumを使うときの基本設定Tipsまとめ

Seleniumを使うときの基本設定Tipsまとめ seleniumを使うときに「大体どんなスクリプトにも入れる基本設定」をまとめてみた。 サンプルコードはpythonだが、他言語でもseleniumは同じなので使えるはず。ChromeDriverManagerで自動でChrom...
0
PC・プログラミング

git-bash上のanaconda3が/cygdrive以下を参照してcondaコマンドが使えないときの対処

anaconda3が/cygdrive以下を参照してcondaコマンドが使えない git-bash上で使っているanaconda3が、ある日突然「/cygdrive以下」を参照してしまい、condaコマンドが使えなくなる問題が起きた。# anaconda3はユーザー以下にインスト...
0
PC・プログラミング

sudachipy(v0.6.10)でユーザー辞書をビルドするまでのトラブルシュートメモ

公式ドキュメントsudachipyのバージョン等 anaconda環境で動かしているsudachipy(v0.6.10)。$ pip show sudachipyName: SudachiPyVersion: 0.6.10Summary: Python version of Su...
0
PC・プログラミング

sudachipy(v0.6.10)のユーザー辞書のフォーマットとサンプル

sudachipy(v0.6.10)のユーザー辞書のフォーマットとサンプルsudachipy(v0.6.10)向け$ pip show sudachipyName: SudachiPyVersion: 0.6.10Summary: Python version of Sudach...
0
PC・プログラミング

無駄なAI開発を防ぐ!目的に応じた強いAIと弱いAIの選び方

勉強がてら『食べログ』のレビューを「良いレビュー」と「クソレビュー」に分類するプロジェクトを立ち上げた 機械学習の勉強がてら、そういうプロジェクトを始めた。データ集めのスクレイピングツールは以下の通りで、ここからいよいよ機械学習(クラスタリング=分類)に入る。 このプロジェクトを...
0
PC・プログラミング

environment.ymlで実行に必要なライブラリを一括でインストールしたanaconda環境を作れる

environment.ymlの設定 こんな感じで、そのスクリプトの実行に必要なライブラリがたくさんある場合、いちいち1つずつインストールしていくのはあまりに面倒くさい。。import osfrom dotenv import load_dotenvimport timeimpo...
0
PC・プログラミング

CloudflareのパブリックDNS(1.1.1.1)を使うようにしてみた@Windows11

Windows11PCを手に入れたのでCloudflareのパブリックDNS(1.1.1.1)を使うようにしてみた 以下の影響にて。設定方法CloudflareのパブリックDNS(1.1.1.1)IPv4プライマリ 1.1.1.1セカンダリ 1.0.0.1IPv6プライマリ 26...
0