カテゴリ: Python

browser_use で、Selenium Remote Grid をヘッドフルに使うサンプルコードです。サンプルコードでは、ブラウザウインドウのビューポートサイズの指定も行っています。

Selenium で Firefox を扱うとき、起動引数の `--headless` や `-profile` の扱いで pitfall になるポイント。`selenium.webdriver.FirefoxOptions` の使い方。

Python3.13 で、自己署名証明書を使っているサーバーにリクエストする際の httpx.ConnectError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: Basic Constraints of CA cert not marked critical (_ssl.c:1020) のエラーの回避方法です。

Selenium の Chromium / ChromeDriver を Docker 内で動かすときに、`--remote-debugging-port` (CDP port) を外部に公開して接続する書き方。

Django のユニットテストの assertEqual メソッドを見てみると、第一引数は first, 第二引数が second と命名されており、それぞれの変数に用途の違いは無いように見える。

Python3.12 環境を構築するため、Pipenv で仮想環境を新しく構築している際、`pipenv install` をした時に AttributeError: module 'pkgutil' has no attribute 'ImpImporter'. Did you mean: 'zipimporter'? エラーが出る場合の確認事項と対応方法

AliExpress で、ESP32 で検索すると出てくる ESP-WROOM-32 搭載の開発ボードで、基盤に「HW-394」と書いてあるものを買った時のメモ。

Mac OS Sononoma で、Rasberry PI Pico や RP2040 を載せてるマイコンボードの開発をしようとして、 ファイルを RP2040 にコピーした時に、Input/output error や Error code -36 となる場合の解消方法です。

Python の MySQLdb を import すると `symbol not found in flat namespace '_mysql_affected_rows'` が出る問題と対処法。

`npm install fibers` (node-fibers) が `ValueError: invalid mode: 'rU'` で失敗する場合の対処。Python の `setup.py` が新しい Python で deprecate された flag を使っているので、Python 3.10 以下を使う。

macOS の Finder で開いているファイルやフォルダの絶対パスを、Service (Quick Action) でクリップボードにコピーする設定方法。

ESP32 開発ボード ( HW-394 / WROOM-32 ) に CircuitPython を書き込んで Python で I/O 制御する手順。bootloader モードと REPL 接続まで。

python fabric 等、paramiko を使って SSH サーバに接続する際、バージョンが古いと Authentication (publickey) failed. エラーが発生します。

現在インストールされている Chrome のバージョンにマッチする chromedriver をダウンロードするスクリプトを書いた

OpenVPN サーバを構築して、特定セグメントの全クライアントを VPN 経由で結ぶ設定方法。サーバ証明書発行から `client.ovpn` 配布まで。

macOS の WebKit (WKWebView や Safari) でファイルアップロード時に `multipart/form-data` の境界が崩れる問題のデバッグと回避策。

`pipenv install` で `RuntimeError: location not created nor specified` が出るときの対処。`pipenv --rm` でいったん venv を削除して再作成する。

Django の Docker イメージを Alpine + uWSGI 構成から Debian + Daphne (ASGI) 構成に切り替える理由と、Dockerfile / Kubernetes マニフェストの書き換え例。

Alpine Linux の Docker イメージで Python の `cryptography` を pip install するときに必要な `apk add` パッケージ一式と、よくあるビルドエラーの対処。

Python Selenium でサイトを開いて、Google ログインするスクリプト

M1 (Apple Silicon) Mac で `pipenv lock` が失敗するときの対処。`grpcio` や `cryptography` のビルドが arm64 で通らないことが原因なので、Rosetta やバージョン固定で回避する。

Alpine Linux の Docker イメージで Python の `google-crc32c` 1.1.3 以上を pip install するとビルドが失敗する問題と、CFLAGS で SSE4.2 を明示して回避する方法。

Mac の USB メモリを FAT32 + MBR でフォーマットする手順。`diskutil eraseDisk` の引数で MBR を明示する方法。

GoAccess を使って、古い解析ツール (Webalizer / Analog) から Apache / nginx のアクセスログ解析を置き換える設定例とサンプル出力。

Python なので Pyppeteer。 puppeteer のJSでもほぼ同じ感じになるはず。 エレメントが消えるまで待機するコードの紹介です。

Pipfileで [packages] ... Werkzeug = "<1.0.0" と指定しているのに、 pipenv install --system --skip-lock --dev --deploy を行うと 1.0.1 がインストールされてしまった。

Mac の Quick Look や Finder で Display Link 経由ディスプレイに表示すると画面が再描画されない問題への対処。

今まで動いていた Django プロジェクトを、久しぶりに起動すると version_info, _mysql.version_info, _mysql.__file__ NameError: name '_mysql' is not defined というエラーが出て起動しない場合。

Selenium WebDriver で取得したログイン済みセッションのクッキーを `requests` に渡して、ブラウザ越しでないとダウンロードできないファイルを取得する方法。

Amazon からCSV をダウンロードすると、BOMつきTSVのことがある。

1. もし、証明書が der 形式なら pem にしておく

ソースからビルドするのが簡単

いつも焦るので書いておく

Django のセッション切り替えで、ログイン中のユーザーを別ユーザーに「なりすまし」してデバッグする実装。`request.session['_auth_user_id']` の差し替え。

Python 3 + Django で Shift-JIS (CP932) の CSV をダウンロードレスポンスとして返す方法。StringIO に Unicode で書いてから cp932 で一括変換する実装パターン。

SSL証明書の有効期限を timedelta で取得

Python の `multiprocessing.Pool` (ProcessPoolExecutor) を使って、CPU バウンドな処理を簡単に並列化する書き方とよくあるハマりどころ。

multiprocessing.pool.Pool 使えばよかった orz

Selenium を、ヘッドレス Linux上で、Python から起動する方法です。

Mac の python3 で `import requests` 時に `_ssl` モジュールが見つからないエラーが出た場合の対処法。pyenv で Python を OpenSSL とリンクし直して再ビルドする。

設定項目が見つけられなかったので、モンキーパッチでやる

pip install pillow で

起動すると、ファイル一覧がエディタに表示されるので、 修正して保存する。

ロガーっぽいクラスを書きたくて、「ジェネレータとクラス、どちらで書いたほうが読みやすいだろう?」と思ったので書き比べ。

MacOS Lion に変えて環境構築をしていたら、iPython実行時に

GTKの箇所はかなり自信ない

# -*- coding: utf-8 -*-

# -*- coding: utf-8 -*-

# -*- coding: utf-8 -*-