カテゴリ: Python

browser_use で、Selenium Remote Grid をヘッドフルに使うサンプルコードです。サンプルコードでは、ブラウザウインドウのビューポートサイズの指定も行っています。

browser-use を使って Web サービスにログインした際に発行される、httponly=true のセッションクッキーを取得する方法です。

Python3.13 で、自己署名証明書を使っているサーバーにリクエストする際の httpx.ConnectError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: Basic Constraints of CA cert not marked critical (_ssl.c:1020) のエラーの回避方法です。

違いとしては ThreadPoolExecutor を使うか ProcessPoolExecutor を使うかの違いのみ。

Django のユニットテストの assertEqual メソッドを見てみると、第一引数は first, 第二引数が second と命名されており、それぞれの変数に用途の違いは無いように見える。

Python3.12 環境を構築するため、Pipenv で仮想環境を新しく構築している際、`pipenv install` をした時に AttributeError: module 'pkgutil' has no attribute 'ImpImporter'. Did you mean: 'zipimporter'? エラーが出る場合の確認事項と対応方法

AliExpress で、ESP32 で検索すると出てくる ESP-WROOM-32 搭載の開発ボードで、基盤に「HW-394」と書いてあるものを買った時のメモ。

Mac OS Sononoma で、Rasberry PI Pico や RP2040 を載せてるマイコンボードの開発をしようとして、 ファイルを RP2040 にコピーした時に、Input/output error や Error code -36 となる場合の解消方法です。

Python で、MySQLdb を使おうとした時に symbol not found in flat namespace '_mysql_affected_rows' のエラーが出た場合の対応方法

npm install fibers ( node-fibers ) をインストールしようとして ValueError: invalid mode: 'rU' while trying to load binding.gyp となる場合、node-gyp/gyp/pylib/gyp/input.py をエディタで修正して U を消しちゃうといいと思います。

Python で、文字列から4バイト文字を消すコードです。

シーケンス \b のバックスペースで、プリントした文字を消すことができる。

python fabric 等、paramiko を使って SSH サーバに接続する際、バージョンが古いと Authentication (publickey) failed. エラーが発生します。

現在インストールされている Chrome のバージョンにマッチする chromedriver をダウンロードするスクリプトを書いた

Python で簡単なデーモンアプリを作る時などに使う、ロガーをコードで作る時のコードのメモです。

Mac で、ディレクトリ名を出力しようとした時に、濁点が独立した1文字になってしまう場合があります。Unicode の NFC と NFD の正規化の違いによるものです。 unicodedata.normalize で直せます。

pipenv install で、 python3.10 環境を作ろうとして RuntimeError: location not created nor specified が出た場合、python3.9 環境の pipenv を使っている場合があるので、python3.10 環境に pipenv をインストールすると良いです。

今まで、Alpine Linux + uWSGI で Django のイメージを作ることが多かったのですが、Alpine Linux で Python を実行すると遅い問題があります。Docker のイメージの構成を、Alpine -> Debian、HTTPサーバを uWSGI -> Daphne + WhiteNoise に変更したメモです。

Pipenv 等のバージョンロックシステムを使い、Alpine Linux の Docker イメージで Python 環境を構築しようとすると、インストールがうまくいかず躓く場合が多くあります。 Rust で cryptography をインストールする方法がうまくいかない(もしくは、遅いので避けたい) 場合、pipenv で cryptography はインストールせず、apk でインストールするとうまくいきます。

Python Selenium でサイトを開いて、Google ログインするスクリプト

Intel Mac だと pipenv lock で問題なくロックファイルができるのに、M1 ( Apple Silicon ) ( ARM ) Mac だとエラーが出てロックファイルが作れなかった。arch -x86_64 zsh して、ロゼッタ上で x86_64 をエミュレーションする状態にしてから、pipenv lock するとうまくいった。

Alpine Linux で google-crc32c==1.1.3 をインストールしようとすると出る #include <crc32c/crc32c.h> のエラーの回避方法。 ERROR: Failed building wheel for google-crc32c となったり error: command 'gcc' failed with exit status 1 となる場合。環境変数 CRC32C_PURE_PYTHON=1 を設定すると良い

elasticsearch.exceptions.UnsupportedProductError: The client noticed that the server is not a supported distribution of Elasticsearch が出る場合。Python の elasticsearch ライブラリが 7.14 で、AWS の OpenSearch / Elasticsearch に接続すると出る。

Python で xml.etree import ElementTree を使って XML を作って Post するコードの紹介。

Python なので Pyppeteer。 puppeteer のJSでもほぼ同じ感じになるはず。 エレメントが消えるまで待機するコードの紹介です。

Pipfileで [packages] ... Werkzeug = "<1.0.0" と指定しているのに、 pipenv install --system --skip-lock --dev --deploy を行うと 1.0.1 がインストールされてしまった。

Alpine の Dockerfile 内の Pipenv install が失敗する。 cryptography 3.4.1 のインストールで、 ERROR: Could not build wheels for cryptography which use PEP 517 and cannot be installed directly で失敗している。

今まで動いていた Django プロジェクトを、久しぶりに起動すると version_info, _mysql.version_info, _mysql.__file__ NameError: name '_mysql' is not defined というエラーが出て起動しない場合。

cookies = { cookie['name']: cookie['value'] for cookie in driver.get_cookies()}response = requests.get( url, headers={'User-Agent': self.user_agent}, cookies=cookies) 追記: zipを展開

Amazon からCSV をダウンロードすると、BOMつきTSVのことがある。

1. もし、証明書が der 形式なら pem にしておく

ソースからビルドするのが簡単

いつも焦るので書いておく

サーバ上で permission denied になっちゃうことがよくあるので

Python 3, Django 1.9

SSL証明書の有効期限を timedelta で取得

今までは、threading.Thread を使ってオレオレスレッドプールなんかを書いてたりしましたが、Pythonに用意されてないはずがないと思って探してみたら multiprosessing.pool.Pool がそれでした。超簡単にプロセスプールが作れる。今までの俺は何だったんだ。

multiprocessing.pool.Pool 使えばよかった orz

Selenium を、ヘッドレス Linux上で、Python から起動する方法です。

Traceback (most recent call last): File "/Applications/Develop/PyCharm.app/helpers/pycharm/django_test_manage.py", line 51, in &lt;module&gt; django.setup() ... File "/usr/local/Cellar/python3/3.4.1/Frameworks/Python.framework/Versions/3.4/lib/python3.4/importlib/__init__.py", line 109, in import_module return _bootstrap._gcd_import(name[level:], package, level) File "&lt;frozen importlib._bootstrap&gt;", line 2254, in _gcd_import File "&lt;frozen importlib._bootstrap&gt;", line 2237, in _find_and_load File "&lt;frozen importlib._bootstrap&gt;", line 2226, in _find_and_load_unlocked File "&lt;frozen importlib._bootstrap&gt;", line 1200, in _load_unlocked File "&lt;frozen importlib._bootstrap&gt;", line 1129, in _exec File "&lt;frozen importlib._bootstrap&gt;", line 1471, in exec_module File "&lt;frozen importlib._bootstrap&gt;", line 321, in _call_with_frames_removed ... File "/usr/local/Cellar/python3/3.4.1/Frameworks/Python.framework/Versions/3.4/lib/python3.4/ssl.py", line 97, in &lt;module&gt; import _ssl # if we can't import it, let the error propagate ImportError: dlopen(/usr/local/Cellar/python3/3.4.1/Frameworks/Python.framework/Versions/3.4/lib/python3.4/lib-dynload/_ssl.so, 2): Symbol not found: _SSLv2_method Referenced from: /usr/local/Cellar/python3/3.4.1/Frameworks/Python.framework/Versions/3.4/lib/python3.4/lib-dynload/_ssl.so Expected in: /usr/local/opt/openssl/lib/libssl.1.0.0.dylib in /usr/local/Cellar/python3/3.4.1/Frameworks/Python.framework/Versions/3.4/lib/python3.4/lib-dynload/_ssl.so こんなエラーが出るようになった。

設定項目が見つけられなかったので、モンキーパッチでやる

pip install pillow で

起動すると、ファイル一覧がエディタに表示されるので、 修正して保存する。

ロガーっぽいクラスを書きたくて、「ジェネレータとクラス、どちらで書いたほうが読みやすいだろう?」と思ったので書き比べ。

MacOS Lion に変えて環境構築をしていたら、iPython実行時に

GTKの箇所はかなり自信ない

# -*- coding: utf-8 -*-

# -*- coding: utf-8 -*-

# -*- coding: utf-8 -*-