> uv python pin 3.8.7 > uv sync error: Failed to download https://github.com/indygreg/python-build-standalone/releases/download/20210103/cpython-3.8.7-x86_64-pc-windows-msvc-shared-pgo-20210103T1125.tar.zst Caused by: Request failed after 3 retries Caused by: error sending request for url (https://github.com/indygreg/python-build-standalone/releases/download/20210103/cpython-3.8.7-x86_64-pc-window
LLMアプリ開発プラットフォームのDifyでは、ワークフローのコードブロックでPythonコードを実行できます。 この記事では、このコード内でboto3やnumpyなど任意のライブラリを呼び出す方法をまとめます。セルフホストのDify向けです。 Difyコードブロックの例 Difyのコード実行の仕組み 前提知識として、Difyのコード実行の仕組みを簡単におさらいします。 Difyでは、PythonやNode.jsのコードをDify Sandboxという独自のサンドボックス内で実行します。 Dify、特にSaaS版では、ユーザーがDifyのサーバー上で悪意のあるコードを実行する可能性があるため、こうしたセキュリティ対策が必要となります。対策がない場合、例えばDifyのサーバーから重要な情報を窃取したり、Difyサーバーのネットワーク・AWS IAM権限 (あれば) を悪用したりといったリスク
はじめに こんにちは。ついにジム通いを始めて四六時中筋肉痛を感じながら過ごしているイワツカです。 最近はLLM（大規模言語モデル）とRAG（検索拡張生成）を用いて企業内ドキュメントを活用する取り組みが多く見受けられます。 ドキュメントは基本PDFで保存されているため、PDFからテキストを抽出して、検索対象にすることが必要です。 そこで今回は、PythonでPDFからテキストを抽出するためのライブラリを比較して、どれが良いのか検証しました。 はじめに 概要 実装 PyMuPDF pdfplumber unstructured 比較結果 テキスト抽出 サンプル1のテキスト抽出結果 サンプル2のテキスト抽出結果 表の抽出 サンプル3の表抽出結果 サンプル4の表抽出結果 検証結果 まとめ 概要 今回はPDF読み取りライブラリとして、PyMuPDF、pdfplumber、unstructuredの3
Pythonのリンター･コード整形ツール Ruff を開発している Astral から、Pythonのパッケージツール uv の大型アップデート(uv v0.3)の知らせが届きました。 発表されたブログには「uv: Unified Python packaging(訳:統一されたPythonパッケージング)」とあり、READMEには以下の一文があります。 A single tool to replace pip, pip-tools, pipx, poetry, pyenv, virtualenv, and more. https://astral.sh/blog/uv-unified-python-packaging プロジェクトのランタイムのバージョン管理(pyenv/.python-version)、プロジェクト固有の環境(virtualenv)、パッケージ管理(pip/poetry
題名の結論だけ知りたい方は、解決法の節をご覧ください。 Streamlit とは 一次情報 https://www.streamlit.io/ を見て頂くと、Streamlit がどのようなもので、何が便利かがよく分かります。と書いて終わってしまうと私の出番がないので、本節の残りはご興味があればどうぞ 私はこれまで、データの集計をする際に Pandas, Jupyter, Flask などをよく使っていたのですが、つい先日 Streamlit を知って触れてみたところ、とても取り扱いが軽快で気に入りました。 例えば、ちょっとRDBやREST風APIなど複数ソースから収集したデータを加工してプレゼンテーションしたい。アウトプットにはBootstrapとJQueryをほんのり当ててリッチ風にプレゼンテーションしたい。なんていう事があると思います。 これをFlaskで作ろうとすると、環境としての
About the Open Edition The 3rd edition of Python for Data Analysis is now available as an “Open Access” HTML version on this site https://wesmckinney.com/book in addition to the usual print and e-book formats. This edition was initially published in August 2022 and will have errata fixed periodically over the coming months and years. If you encounter any errata, please report them here. In general
作業メモ。モダン Python 速習。 AI 周りのツールを動かしていたら TypeScript だけでやるには無理が出てきたので、久しぶりに Python の環境構築をする。 具体的には TestGen LLM を動かしたい。 Python はたまに触るけど、基本 2.x 時代の知識しかない。 基本的にこの記事を読みながら、細かいアレンジをしている。 追記 rye が ruff と pytest を同梱してるので rye fmt, rye check, rye test で良かった uvicorn を叩くより、 fastapi-cli を使って起動したほうが良さそうので変更 基本方針: Rye に全部任せる 良く出来てると噂に聞いたので、 rye に任せる。 自分が Python が苦手な点は pip を下手に使うと環境が汚れていく点で、基本的に rye で閉じて管理させる。システムの
問題 今回は以下のような文字列を json.loads() してみたときにおきた問題があったときの対応をまとめました。 sample_text = '{"key": "value \t value"}' 再現させる >>> import json >>> sample_text = '{"key": "value \t value"}' >>> >>> json.loads(sample_text) Traceback (most recent call last): File "<stdin>", line 1, in <module> File "/home/www/.pyenv/versions/3.6.5/lib/python3.6/json/__init__.py", line 354, in loads return _default_decoder.decode(s) Fil
要約: Flake8 + Black + isort はもうすべて Ruff だけで置き換えられる。 PythonのLinterとして、すでに Ruff を使われている方も多いと思います。Ruffは Rust で実装された高速なPython用Linterで、従来よく使われていた Flake8 に比べて数十倍短い時間で処理が終わるほか、Flake8の主要なプラグインの代替も初めから搭載されています（Lintルール一覧）。 その成功が約束されている（？）ためか、Ruff の知名度がまだ低いころから GitHub Actions公式のPythonチュートリアルは早々に Flake8 を Ruff に置き換えていました。 そして、2023年10月末にリリースされた v0.1.2 あたりから、ついにLintだけでなく、コードフォーマット（コード整形）の機能も正式に搭載されました。公式のブログ記事はこ
プログラムがメモリを使い始め、どこに問題があるかを調べようとすることがあります。 こんなとき役に立つ、さまざまなツールがあります。ここでは、 Pympler lib の、asizeof というシンプルなツールをご紹介したいと思います。 Pymplerには、Pythonオブジェクトのメモリ動作を測定、監視、分析するための2つの追跡手段があります。 muppyとClass Trackerです。 これが、メモリの漏れを調べるのに、役立ちます。 純粋なPythonオブジェクトのサイズだけを返す、組み込みの sys.getsizeof（）というメソッドがあります。 例えば、このように使います。 >>> import sys >>> sys.getsizeof(None) 16 >>> sys.getsizeof([]) 64 >>> sys.getsizeof('a') 50 >>> sys.get
Settings¶ This is an exhaustive list of settings for Gunicorn. Some settings are only able to be set from a configuration file. The setting name is what should be used in the configuration file. The command line arguments are listed as well for reference on setting at the command line. Note Settings can be specified by using environment variable GUNICORN_CMD_ARGS. All available command line argume
これは二段構えの構成を持っています。この二段構えを正確に検出し、テキストを理解することが望ましいです。 Unstructuredを使うPythonのライブラリであるUnstructuredを試してみましょう。 参考記事 導入は非常に簡単です。 pip install 'unstructured[pdf]' 実装も簡単です。 解析コード： from unstructured.partition.pdf import partition_pdf pdf_elements = partition_pdf("pdf/7_71_5.pdf") 表示コード： for structure in pdf_elements: print(structure) 結果： 残念ながら、2段組のカラムを正確に検出することはできませんでした。 Grobidを使うGrobidは、peS2oというオープンアクセス論文のコ
先日 "Python の「仮想環境」を完全に理解しよう" というスライドを公開したらかなり反響がありました。 Python の開発環境の構築は、正直言ってかなり複雑だと思います。 pip・venv・pyenv・Pipenv などなど、似たような名前・似たような役割のツールがたくさん登場して、最初は全然意味が分かりません。 慣れればなんとかなるのですが、慣れるまではかなり苦しいです。 このようにとても難解であるにも関わらず、Python は機械学習などでよく使われることから、避けられないことも多いです。 そこでこの記事には、「そもそも Python の開発環境にはどんな観点があるんだ？このツールはなにを解決してくれるんだ？」という話をまとめます。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
