3,272


768

ディレクトリのすべてのファイルを一覧表示するにはどうすればよいですか?

Pythonでディレクトリのすべてのファイルをリストし、それらを `list`に追加するにはどうすればよいですか?

25 Answer


3,215


https://docs.python.org/2/library/os.html#os.listdir [os.listdir()]は、ディレクトリにあるすべてのもの(ファイルとディレクトリ)を取得します。

_just_ファイルが必要な場合は、https://docs.python.org/2/library/os.path.html#module-os.path [os.path]を使用してこれをフィルターすることができます。

from os import listdir
from os.path import isfile, join
onlyfiles = [f for f in listdir(mypath) if isfile(join(mypath, f))]

または、https://docs.python.org/2/library/os.html#os.walk [os.walk()]を使用して、アクセスするディレクトリごとに2つのリストを生成できます-ファイルとディレクトリに分割しますあなたのために。 最上位のディレクトリのみが必要な場合は、最初のディレクトリを壊すことができます

from os import walk

f = []
for (dirpath, dirnames, filenames) in walk(mypath):
    f.extend(filenames)
    break

そして最後に、その例が示すように、あるリストを別のリストに追加するには、https://docs.python.org/3/tutorial/datastructures.html#more-on-lists [.extend()]を使用するか、

>>> q = [1, 2, 3]
>>> w = [4, 5, 6]
>>> q = q + w
>>> q
[1, 2, 3, 4, 5, 6]

個人的には、 `.extend()`を好みます


1,291


パターンマッチングと拡張を行うhttps://docs.python.org/library/glob.html [glob]モジュールの使用を好みます。

import glob
print(glob.glob("/home/adam/*.txt"))

クエリされたファイルのリストを返します:

['/home/adam/file1.txt', '/home/adam/file2.txt', .... ]


604


import os
os.listdir("somedirectory")

「somedirectory」内のすべてのファイルとディレクトリのリストを返します。


447


Python 2および3でファイルのリストを取得する

'' '' '

ここで短いビデオを作成しました:_http://pythonprogramming.altervista.org/how-to-get-all-the-file-in-a-directory/ [image:https://i.stack.imgur。 com / WJeCC.png [image、width = 20] Python:ディレクトリ内のファイルのリストを取得する方法] _

'' '' '

  • os.listdir()*

または…​.. 現在のディレクトリ内のすべてのファイル(およびディレクトリ)を取得する方法(Python 3)

Python 3の現在のディレクトリにファイルを置く最も簡単な方法はこれです。 とても簡単です。 os`モジュールと listdir() `関数を使用すると、そのディレクトリ(およびディレクトリ内にある最終的なフォルダにファイルがありますが、サブディレクトリにはファイルがありません。ウォーク-後で説明します)。

>>> import os
>>> arr = os.listdir()
>>> arr
['$RECYCLE.BIN', 'work.txt', '3ebooks.txt', 'documents']

'' '' '

  • globを使用*

同じタイプのファイルまたは共通のファイルを選択するのがグロブの方が簡単だとわかりました。 次の例を見てください:

import glob

txtfiles = []
for file in glob.glob("*.txt"):
    txtfiles.append(file)

リスト内包表記の使用

import glob

mylist = [f for f in glob.glob("*.txt")]

os.path.abspathを使用してフルパス名を取得する

お気づきのように、上記のコードにはファイルの完全なパスがありません。 絶対パスが必要な場合は、 os.listdir()`から取得したファイルを引数として、 `_getfullpathname`と呼ばれる os.path`モジュールの別の関数を使用できます。 後で確認するように、フルパスを使用する方法は他にもあります(mexmexで示唆されているように、_getfullpathnameを `abspath`に置き換えました)。

>>> import os
>>> files_path = [os.path.abspath(x) for x in os.listdir()]
>>> files_path
['F:\\documenti\applications.txt', 'F:\\documenti\collections.txt']

'' '' '

`walk`を使用して、あるタイプのファイルのフルパス名をすべてのサブディレクトリに取得する

これは、多くのディレクトリ内のアイテムを見つけるのに非常に役立ち、名前を覚えていないファイルを見つけるのに役立ちました。

import os

# Getting the current work directory (cwd)
thisdir = os.getcwd()

# r=root, d=directories, f = files
for r, d, f in os.walk(thisdir):
    for file in f:
        if ".docx" in file:
            print(os.path.join(r, file))
  • os.listdir():現在のディレクトリ内のファイルを取得(Python 2)*

Python 2では、現在のディレクトリ内のファイルのリストが必要な場合は、引数を「。」として指定する必要があります。またはos.listdirメソッドのos.getcwd()。

>>> import os
>>> arr = os.listdir('.')
>>> arr
['$RECYCLE.BIN', 'work.txt', '3ebooks.txt', 'documents']

ディレクトリツリー内を移動するには

>>> # Method 1
>>> x = os.listdir('..')

# Method 2
>>> x= os.listdir('/')

ファイルの取得:特定のディレクトリ内のos.listdir()(Python 2および3)

>>> import os
>>> arr = os.listdir('F:\\python')
>>> arr
['$RECYCLE.BIN', 'work.txt', '3ebooks.txt', 'documents']

os.listdir()を使用して特定のサブディレクトリのファイルを取得します

import os

x = os.listdir("./content")

os.walk( '。')-現在のディレクトリ

>>> import os
>>> arr = next(os.walk('.'))[2]
>>> arr
['5bs_Turismo1.pdf', '5bs_Turismo1.pptx', 'esperienza.txt']

globモジュール-すべてのファイル

import glob
print(glob.glob("*"))

out:['content', 'start.py']

next(os.walk( '。'))およびos.path.join( 'dir'、 'file')

>>> import os
>>> arr = []
>>> for d,r,f in next(os.walk("F:\_python")):
>>>     for file in f:
>>>         arr.append(os.path.join(r,file))
...
>>> for f in arr:
>>>     print(files)

>output

F:\\_python\\dict_class.py
F:\\_python\\programmi.txt

next(os.walk( 'F:\')-フルパスを取得-リスト内包表記

>>> [os.path.join(r,file) for r,d,f in next(os.walk("F:\\_python")) for file in f]
['F:\\_python\\dict_class.py', 'F:\\_python\\programmi.txt']
  • os.walk-フルパスを取得-サブディレクトリ内のすべてのファイル*

x = [os.path.join(r,file) for r,d,f in os.walk("F:\\_python") for file in f]

>>>x
['F:\\_python\\dict.py', 'F:\\_python\\progr.txt', 'F:\\_python\\readl.py']

os.listdir()-txtファイルのみを取得

>>> arr_txt = [x for x in os.listdir() if x.endswith(".txt")]
>>> print(arr_txt)
['work.txt', '3ebooks.txt']

glob-txtファイルのみを取得

>>> import glob
>>> x = glob.glob("*.txt")
>>> x
['ale.txt', 'alunni2015.txt', 'assenze.text.txt', 'text2.txt', 'untitled.txt']

globを使用してファイルの完全なパスを取得する

ファイルの絶対パスが必要な場合:

>>> from path import path
>>> from glob import glob
>>> x = [path(f).abspath() for f in glob("F:\*.txt")]
>>> for f in x:
...  print(f)
...
F:\acquistionline.txt
F:\acquisti_2018.txt
F:\bootstrap_jquery_ecc.txt

globのその他の使用

ディレクトリ内のすべてのファイルが必要な場合:

>>> x = glob.glob("*")

os.path.isfileを使用してリスト内のディレクトリを回避する

import os.path
listOfFiles = [f for f in os.listdir() if os.path.isfile(f)]
print(listOfFiles)

> output

['a simple game.py', 'data.txt', 'decorator.py']

(Python 3.4)からのpathlibの使用

import pathlib

>>> flist = []
>>> for p in pathlib.Path('.').iterdir():
...  if p.is_file():
...   print(p)
...   flist.append(p)
...
error.PNG
exemaker.bat
guiprova.mp3
setup.py
speak_gui2.py
thumb.PNG

リスト内包表記を使用する場合

>>> flist = [p for p in pathlib.Path('.').iterdir() if p.is_file()]
  • pathlib.Path( "。")の代わりにpathlib.Path()のみを使用することもできます。

pathlib.Path()でglobメソッドを使用します

import pathlib

py = pathlib.Path().glob("*.py")
for file in py:
    print(file)

出力:

stack_overflow_list.py
stack_overflow_list_tkinter.py

os.walkですべてのファイルを取得する

import os
x = [i[2] for i in os.walk('.')]
y=[]
for t in x:
    for f in t:
        y.append(f)

>>> y
['append_to_list.py', 'data.txt', 'data1.txt', 'data2.txt', 'data_180617', 'os_walk.py', 'READ2.py', 'read_data.py', 'somma_defaltdic.py', 'substitute_words.py', 'sum_data.py', 'data.txt', 'data1.txt', 'data_180617']

nextでファイルのみを取得し、ディレクトリ内を歩く

>>> import os
>>> x = next(os.walk('F://python'))[2]
>>> x
['calculator.bat','calculator.py']

nextでディレクトリのみを取得し、ディレクトリ内を歩く

>>> import os
>>> next(os.walk('F://python'))[1] # for the current dir use ('.')
['python3','others']

`walk`ですべてのサブディレクトリ名を取得する

>>> for r,d,f in os.walk("F:\_python"):
...  for dirs in d:
...   print(dirs)
...
.vscode
pyexcel
pyschool.py
subtitles
_metaprogramming
.ipynb_checkpoints

Python 3.5以降のos.scandir()

>>> import os
>>> x = [f.name for f in os.scandir() if f.is_file()]
>>> x
['calculator.bat','calculator.py']

# Another example with scandir (a little variation from docs.python.org)
# This one is more efficient than os.listdir.
# In this case, it shows the files only in the current directory
# where the script is executed.

>>> import os
>>> with os.scandir() as i:
...  for entry in i:
...   if entry.is_file():
...    print(entry.name)
...
ebookmaker.py
error.PNG
exemaker.bat
guiprova.mp3
setup.py
speakgui4.py
speak_gui2.py
speak_gui3.py
thumb.PNG
>>>

'' '' '

Ex. 1:サブディレクトリにはいくつのファイルがありますか?

この例では、すべてのディレクトリとそのサブディレクトリに含まれるファイルの数を探します。

import os

def count(dir, counter=0):
    "returns number of files in dir and subdirs"
    for pack in os.walk(dir):
        for f in pack[2]:
            counter += 1
    return dir + " : " + str(counter) + "files"

print(count("F:\\python"))

> output

>'F:\\\python' : 12057 files'

例2:ディレクトリから別のディレクトリにすべてのファイルをコピーする方法

特定の種類のファイル(デフォルト:pptx)をすべて検索して、新しいフォルダーにコピーするコンピューター内の順序を作成するスクリプト。

import os
import shutil
from path import path

destination = "F:\\file_copied"
# os.makedirs(destination)

def copyfile(dir, filetype='pptx', counter=0):
    "Searches for pptx (or other - pptx is the default) files and copies them"
    for pack in os.walk(dir):
        for f in pack[2]:
            if f.endswith(filetype):
                fullpath = pack[0] + "\\" + f
                print(fullpath)
                shutil.copy(fullpath, destination)
                counter += 1
    if counter > 0:
        print("------------------------")
        print("\t==> Found in: `" + dir + "` : " + str(counter) + " files\n")

for dir in os.listdir():
    "searches for folders that starts with `_`"
    if dir[0] == '_':
        # copyfile(dir, filetype='pdf')
        copyfile(dir, filetype='txt')


> Output

_compiti18\Compito Contabilità 1\conti.txt
_compiti18\Compito Contabilità 1\modula4.txt
_compiti18\Compito Contabilità 1\moduloa4.txt
------------------------
==> Found in: `_compiti18` : 3 files

Ex. 3:txtファイル内のすべてのファイルを取得する方法

すべてのファイル名でtxtファイルを作成する場合:

import os
mylist = ""
with open("filelist.txt", "w", encoding="utf-8") as file:
    for eachfile in os.listdir():
        mylist += eachfile + "\n"
    file.write(mylist)

例:ハードドライブのすべてのファイルを含むtxt

"""We are going to save a txt file with all the files in your directory.
We will use the function walk()

"""

import os

# see all the methods of os
# print(*dir(os), sep=", ")
listafile = []
percorso = []
with open("lista_file.txt", "w", encoding='utf-8') as testo:
    for root, dirs, files in os.walk("D:\\"):
        for file in files:
            listafile.append(file)
            percorso.append(root + "\\" + file)
            testo.write(file + "\n")
listafile.sort()
print("N. of files", len(listafile))
with open("lista_file_ordinata.txt", "w", encoding="utf-8") as testo_ordinato:
    for file in listafile:
        testo_ordinato.write(file + "\n")

with open("percorso.txt", "w", encoding="utf-8") as file_percorso:
    for file in percorso:
        file_percorso.write(file + "\n")

os.system("lista_file.txt")
os.system("lista_file_ordinata.txt")
os.system("percorso.txt")

1つのテキストファイル内のC:\\のすべてのファイル

これは、以前のコードの短縮版です。 別の位置から開始する必要がある場合は、ファイルの検索を開始するフォルダーを変更します。 このコードは、完全なパスを持つファイルで500.000行未満のテキストを含む50 MBのテキストファイルをコンピューターに生成します。

import os

with open("file.txt", "w", encoding="utf-8") as filewrite:
    for r, d, f in os.walk("C:\\"):
        for file in f:
            filewrite.write(f"{r + file}\n")

特定の種類のファイルを検索する機能

import os

def searchfiles(extension='.ttf'):
    "Create a txt file with all the file of a type"
    with open("file.txt", "w", encoding="utf-8") as filewrite:
        for r, d, f in os.walk("C:\\"):
            for file in f:
                if file.endswith(extension):
                    filewrite.write(f"{r + file}\n")

# looking for ttf file (fonts)
searchfiles('ttf')


148


ファイルのリストのみ(サブディレクトリなし)を取得する1行のソリューション:

filenames = next(os.walk(path))[2]

または絶対パス名:

paths = [os.path.join(path,fn) for fn in next(os.walk(path))[2]]


113


ディレクトリとそのすべてのサブディレクトリから完全なファイルパスを取得する

import os

def get_filepaths(directory):
    """
    This function will generate the file names in a directory
    tree by walking the tree either top-down or bottom-up. For each
    directory in the tree rooted at directory top (including top itself),
    it yields a 3-tuple (dirpath, dirnames, filenames).
    """
    file_paths = []  # List which will store all of the full filepaths.

    # Walk the tree.
    for root, directories, files in os.walk(directory):
        for filename in files:
            # Join the two strings in order to form the full filepath.
            filepath = os.path.join(root, filename)
            file_paths.append(filepath)  # Add it to the list.

    return file_paths  # Self-explanatory.

# Run the above function and store its results in a variable.
full_file_paths = get_filepaths("/Users/johnny/Desktop/TEST")

'' '' '

  • 上記の関数で指定したパスには3つのファイルが含まれていました。 これらはルートディレクトリにあり、別のサブフォルダは「SUBFOLDER」と呼ばれます。次のようなことができるようになりました。

  • リストを印刷する print full_file_paths

  • ['/Users/johnny/Desktop/TEST/file1.txt'、 '/ Users / johnny / Desktop / TEST / file2.txt'、 '/ Users / johnny / Desktop / TEST / SUBFOLDER / file3.dat']

必要に応じて、次のコードのように、コンテンツを開いて読んだり、拡張子が「.dat」のファイルのみに注目したりできます。

for f in full_file_paths:
  if f.endswith(".dat"):
    print f

/ Users / johnny / Desktop / TEST / SUBFOLDER / file3.dat


69


バージョン3.4以降、これには組み込みの_iterators_があり、http://docs.python.org/3/library/os.html#os.listdir [os.listdir()]よりもはるかに効率的です。

http://docs.python.org/3/library/pathlib.html [pathlib]:バージョン3.4の新機能

>>> import pathlib
>>> [p for p in pathlib.Path('.').iterdir() if p.is_file()]

PEP 428によると、http://docs.python.org/3/library/pathlib.html [`pathlib`の目的]ライブラリは、ファイルシステムのパスとユーザーがそれらに対して行う一般的な操作を処理するクラスの単純な階層を提供することです。

http://docs.python.org/3/library/os.html#os.scandir [os.scandir()]:バージョン3.5の新機能

>>> import os
>>> [entry for entry in os.scandir('.') if entry.is_file()]

http://docs.python.org/3/library/os.html#os.walk [os.walk()]はhttp://docs.python.org/3/library/os.htmlを使用することに注意してください。バージョン3.5のhttp://docs.python.org/3/library/os.html#os.listdir [os.listdir()]の代わりに#os.scandir [os.scandir()]、およびhttp://www.python.org/dev/peps/pep-0471/[PEP 471]によると、その速度は2〜20倍に増加しました。

以下のShadowRangerのコメントを読むこともお勧めします。


47


adamk’s answerが本当に好きで、同じ名前のモジュールから `glob()`を使用することを提案しています。 これにより、 `*`でパターンマッチングを行うことができます。

しかし、他の人々がコメントで指摘したように、 glob()`は一貫性のないスラッシュの方向につまずく可能性があります。 それを助けるために、 `os.path`モジュールで join() expanduser() 関数を、そしておそらく os`モジュールで `getcwd()`関数を使用することをお勧めします。

例として:

from glob import glob

# Return everything under C:\Users\admin that contains a folder called wlp.
glob('C:\Users\admin\*\wlp')

上記はひどいです-パスはハードコードされており、ドライブ名とパスにハードコードされている \ sの間でのみWindowsで動作します。

from glob    import glob
from os.path import join

# Return everything under Users, admin, that contains a folder called wlp.
glob(join('Users', 'admin', '*', 'wlp'))

上記の方がうまく機能しますが、フォルダ名「ユーザー」に依存します。これは、Windowsでよく見られ、他のOSではあまり見られません。 また、特定の名前「admin」を持つユーザーに依存しています。

from glob    import glob
from os.path import expanduser, join

# Return everything under the user directory that contains a folder called wlp.
glob(join(expanduser('~'), '*', 'wlp'))

これは、すべてのプラットフォームで完全に機能します。

プラットフォーム間で完全に機能し、少し異なることを行う別の素晴らしい例:

from glob    import glob
from os      import getcwd
from os.path import join

# Return everything under the current directory that contains a folder called wlp.
glob(join(getcwd(), '*', 'wlp'))

これらの例が、標準のPythonライブラリモジュールにあるいくつかの関数のパワーを理解するのに役立つことを願っています。


41


予備メモ

  • _file_との間には明確な違いがありますが 質問テキストの_directory_用語、ディレクトリは実際には特殊なファイルであると主張する人もいるかもしれません

  • ステートメント:「ディレクトリのすべてのファイル」は2つに解釈できます。 方法:

    1. すべての*直接*(またはレベル1)の子孫*のみ*

    2. ディレクトリツリー全体のすべての子孫( サブディレクトリ)

  • 質問されたとき、私は_Python * 2 * _が _LTS_バージョン、ただし、サンプルコードは_Python * 3 。5 *)_によって実行されます(可能な限り_Python 2_に準拠したままにします。また、投稿する_Python_に属するコードは、 * v3.5.4 *から

    • 特に指定しない限り)。 それは別のものに関連する結果をもたらします 質問のキーワード:「* list *に追加」:

  • _Python 2.2_より前のバージョンでは、シーケンス(反復可能)はほとんどが リスト(タプル、セットなど)で表されます

  • _Python 2.2_では、* generator *の概念 (https://wiki.python.org/moin/Generators[[Python.Wiki]:Generators])-https://docs.python.org/3/reference/simple_stmts.html#the-yield-statementの厚意により提供[[Python 3]:yieldステートメント])-導入されました。 時間の経過とともに、ジェネレーターの対応するものがリストを返したり、機能したりする関数に対して表示されるようになりました

  • _Python 3_では、ジェネレーターがデフォルトの動作です

  • リストを返すことが依然として必須かどうかはわかりません(またはジェネレーターは 同様に行います)が、ジェネレーターを_list_コンストラクターに渡すと、ジェネレーターからリストが作成されます(また、消費されます)。 以下の例は、https://docs.python.org/3/library/functions.html#map [[Python 3]:* map *(_ function、iterable、…​)] +の違いを示しています _ __

>>> import sys
>>> sys.version
'2.7.10 (default, Mar  8 2016, 15:02:46) [MSC v.1600 64 bit (AMD64)]'
>>> m = map(lambda x: x, [1, 2, 3])  # Just a dummy lambda function
>>> m, type(m)
([1, 2, 3], )
>>> len(m)
3

_ _

+

+ _ _

>>> import sys
>>> sys.version
'3.5.4 (v3.5.4:3f56838, Aug  8 2017, 02:17:05) [MSC v.1900 64 bit (AMD64)]'
>>> m = map(lambda x: x, [1, 2, 3])
>>> m, type(m)
(, )
>>> len(m)
Traceback (most recent call last):
  File "", line 1, in
TypeError: object of type 'map' has no len()
>>> lm0 = list(m)  # Build a list from the generator
>>> lm0, type(lm0)
([1, 2, 3], )
>>>
>>> lm1 = list(m)  # Build a list from the same generator
>>> lm1, type(lm1)  # Empty list now - generator already consumed
([], )

_ * 例は、_root_dir_というディレクトリに基づいており、 次の構造(この例は_Win_用ですが、_Lnx_でも同じツリーを使用しています):+ _

E:\Work\Dev\StackOverflow\q003207219>tree /f "root_dir"
Folder PATH listing for volume Work
Volume serial number is 00000029 3655:6FED
E:\WORK\DEV\STACKOVERFLOW\Q003207219\ROOT_DIR
¦   file0
¦   file1
¦
+---dir0
¦   +---dir00
¦   ¦   ¦   file000
¦   ¦   ¦
¦   ¦   +---dir000
¦   ¦           file0000
¦   ¦
¦   +---dir01
¦   ¦       file010
¦   ¦       file011
¦   ¦
¦   +---dir02
¦       +---dir020
¦           +---dir0200
+---dir1
¦       file10
¦       file11
¦       file12
¦
+---dir2
¦   ¦   file20
¦   ¦
¦   +---dir20
¦           file200
¦
+---dir3

_ _

+

ソリューション

プログラム的アプローチ:

  1. [Python 3: os。* listdir *(_ path = '.')]
    _
    パスで指定されたディレクトリ内のエントリの名前を含むリストを返します。 リストは任意の順序であり、特別なエントリ「 '。'」および「 '..'」を含みません…​ __

    +

    _ _

>>> import os
>>> root_dir = "root_dir"  # Path relative to current dir (os.getcwd())
>>>
>>> os.listdir(root_dir)  # List all the items in root_dir
['dir0', 'dir1', 'dir2', 'dir3', 'file0', 'file1']
>>>
>>> [item for item in os.listdir(root_dir) if os.path.isfile(os.path.join(root_dir, item))]  # Filter items and only keep files (strip out directories)
['file0', 'file1']

_ _ より複雑な例(_code_os_listdir.py_):

import os
from pprint import pformat


def _get_dir_content(path, include_folders, recursive):
    entries = os.listdir(path)
    for entry in entries:
        entry_with_path = os.path.join(path, entry)
        if os.path.isdir(entry_with_path):
            if include_folders:
                yield entry_with_path
            if recursive:
                for sub_entry in _get_dir_content(entry_with_path, include_folders, recursive):
                    yield sub_entry
        else:
            yield entry_with_path


def get_dir_content(path, include_folders=True, recursive=True, prepend_folder_name=True):
    path_len = len(path) + len(os.path.sep)
    for item in _get_dir_content(path, include_folders, recursive):
        yield item if prepend_folder_name else item[path_len:]


def _get_dir_content_old(path, include_folders, recursive):
    entries = os.listdir(path)
    ret = list()
    for entry in entries:
        entry_with_path = os.path.join(path, entry)
        if os.path.isdir(entry_with_path):
            if include_folders:
                ret.append(entry_with_path)
            if recursive:
                ret.extend(_get_dir_content_old(entry_with_path, include_folders, recursive))
        else:
            ret.append(entry_with_path)
    return ret


def get_dir_content_old(path, include_folders=True, recursive=True, prepend_folder_name=True):
    path_len = len(path) + len(os.path.sep)
    return [item if prepend_folder_name else item[path_len:] for item in _get_dir_content_old(path, include_folders, recursive)]


def main():
    root_dir = "root_dir"
    ret0 = get_dir_content(root_dir, include_folders=True, recursive=True, prepend_folder_name=True)
    lret0 = list(ret0)
    print(ret0, len(lret0), pformat(lret0))
    ret1 = get_dir_content_old(root_dir, include_folders=False, recursive=True, prepend_folder_name=False)
    print(len(ret1), pformat(ret1))


if __name__ == "__main__":
    main()

+ : * 2つの実装があります。 * ジェネレーターを使用するもの(もちろんここでは役に立たないようです。 結果をすぐにリストに変換します) * クラシック(* old で終わる関数名) * 再帰が使用されます(サブディレクトリに入るため) * 実装ごとに2つの関数があります。 * _underscore _ *)で始まるもの:「private」( 直接呼び出されます)-すべての作業を行います * パブリックなもの(以前のラッパー): 返されたエントリからの初期パス(必要な場合)。 それはい実装ですが、この時点で私ができる唯一のアイデアです * パフォーマンスの面では、ジェネレーターは一般に少し高速です (_creation_と_iteration_の両方の時間を考慮して)、しかし、再帰関数でそれらをテストしませんでした。また、内部ジェネレーターを介して関数内で反復しています-パフォーマンスフレンドリがどれほど優れているかわかりません * さまざまな結果を得るために引数をいじってください

+
出力_ _

(py35x64_test) E:\Work\Dev\StackOverflow\q003207219>"e:\Work\Dev\VEnvs\py35x64_test\Scripts\python.exe" "code_os_listdir.py"
 22 ['root_dir\\dir0',
 'root_dir\\dir0\\dir00',
 'root_dir\\dir0\\dir00\\dir000',
 'root_dir\\dir0\\dir00\\dir000\\file0000',
 'root_dir\\dir0\\dir00\\file000',
 'root_dir\\dir0\\dir01',
 'root_dir\\dir0\\dir01\\file010',
 'root_dir\\dir0\\dir01\\file011',
 'root_dir\\dir0\\dir02',
 'root_dir\\dir0\\dir02\\dir020',
 'root_dir\\dir0\\dir02\\dir020\\dir0200',
 'root_dir\\dir1',
 'root_dir\\dir1\\file10',
 'root_dir\\dir1\\file11',
 'root_dir\\dir1\\file12',
 'root_dir\\dir2',
 'root_dir\\dir2\\dir20',
 'root_dir\\dir2\\dir20\\file200',
 'root_dir\\dir2\\file20',
 'root_dir\\dir3',
 'root_dir\\file0',
 'root_dir\\file1']
11 ['dir0\\dir00\\dir000\\file0000',
 'dir0\\dir00\\file000',
 'dir0\\dir01\\file010',
 'dir0\\dir01\\file011',
 'dir1\\file10',
 'dir1\\file11',
 'dir1\\file12',
 'dir2\\dir20\\file200',
 'dir2\\file20',
 'file0',
 'file1']

_ _

+
  1. [Python 3: os。* scandir *(_ path = '.')](Python 3.5 、バックポート:https://pypi.org/project/scandir[[PyPI]:scandir]) _ __ _path_で指定されたディレクトリ内のエントリに対応するhttps://docs.python.org/3/library/os.html#os.DirEntry[os.DirEntry]オブジェクトのイテレータを返します。 エントリは任意の順序で生成され、特別なエントリ「」、「」、「..」は含まれません。

https://docs.python.org/3/library/os.html#os.listdirの代わりにhttps://docs.python.org/3/library/os.html#os.scandir [scandir()]を使用する[listdir()]は、https://docs.python.org/3/library/os.html#os.DirEntry [os.DirEntry]オブジェクトのため、ファイルタイプまたはファイル属性情報も必要とするコードのパフォーマンスを大幅に向上させることができます。オペレーティングシステムがディレクトリのスキャン時に提供する場合、この情報を公開します。 os.DirEntryメソッドはすべてシステムコールを実行できますが、https://docs.python.org/3/library/os .html#os.DirEntry.is_dir [is_dir()]およびhttps://docs.python.org/3/library/os.html#os.DirEntry.is_file [is_file()]は通常、シンボリックのためのシステムコールのみを必要とします。リンクhttps://docs.python.org/3/library/os.html#os.DirEntry.stat [os.DirEntry.stat()]は常にUnixではシステムコールを要求しますが、Windowsではシンボリックリンクに対して1つだけ要求します。 _ _

+

+ _ _

>>> import os
>>> root_dir = os.path.join(".", "root_dir")  # Explicitly prepending current directory
>>> root_dir
'.\\root_dir'
>>>
>>> scandir_iterator = os.scandir(root_dir)
>>> scandir_iterator

>>> [item.path for item in scandir_iterator]
['.\\root_dir\\dir0', '.\\root_dir\\dir1', '.\\root_dir\\dir2', '.\\root_dir\\dir3', '.\\root_dir\\file0', '.\\root_dir\\file1']
>>>
>>> [item.path for item in scandir_iterator]  # Will yield an empty list as it was consumed by previous iteration (automatically performed by the list comprehension)
[]
>>>
>>> scandir_iterator = os.scandir(root_dir)  # Reinitialize the generator
>>> for item in scandir_iterator :
...     if os.path.isfile(item.path):
...             print(item.name)
...
file0
file1

__ + : * `os.listdir`に似ています * しかし、それはまた、より柔軟です(そしてより多くの機能を提供します)、より Python__ic(場合によっては高速)

+
  1. [Python 3: os。* walk *(_ top、topdown = True、onerror = None、followlinks = False_)]
    _ ツリーをトップダウンまたはボトムアップでたどって、ディレクトリツリーにファイル名を生成します。 ディレクトリ_toptop_自体を含む)をルートとするツリーの各ディレクトリに対して、3タプル( dirpath、` dirnames`、 filenames)が生成されます。 _

    +

    _ _

>>> import os
>>> root_dir = os.path.join(os.getcwd(), "root_dir")  # Specify the full path
>>> root_dir
'E:\\Work\\Dev\\StackOverflow\\q003207219\\root_dir'
>>>
>>> walk_generator = os.walk(root_dir)
>>> root_dir_entry = next(walk_generator)  # First entry corresponds to the root dir (passed as an argument)
>>> root_dir_entry
('E:\\Work\\Dev\\StackOverflow\\q003207219\\root_dir', ['dir0', 'dir1', 'dir2', 'dir3'], ['file0', 'file1'])
>>>
>>> root_dir_entry[1] + root_dir_entry[2]  # Display dirs and files (direct descendants) in a single list
['dir0', 'dir1', 'dir2', 'dir3', 'file0', 'file1']
>>>
>>> [os.path.join(root_dir_entry[0], item) for item in root_dir_entry[1] + root_dir_entry[2]]  # Display all the entries in the previous list by their full path
['E:\\Work\\Dev\\StackOverflow\\q003207219\\root_dir\\dir0', 'E:\\Work\\Dev\\StackOverflow\\q003207219\\root_dir\\dir1', 'E:\\Work\\Dev\\StackOverflow\\q003207219\\root_dir\\dir2', 'E:\\Work\\Dev\\StackOverflow\\q003207219\\root_dir\\dir3', 'E:\\Work\\Dev\\StackOverflow\\q003207219\\root_dir\\file0', 'E:\\Work\\Dev\\StackOverflow\\q003207219\\root_dir\\file1']
>>>
>>> for entry in walk_generator:  # Display the rest of the elements (corresponding to every subdir)
...     print(entry)
...
('E:\\Work\\Dev\\StackOverflow\\q003207219\\root_dir\\dir0', ['dir00', 'dir01', 'dir02'], [])
('E:\\Work\\Dev\\StackOverflow\\q003207219\\root_dir\\dir0\\dir00', ['dir000'], ['file000'])
('E:\\Work\\Dev\\StackOverflow\\q003207219\\root_dir\\dir0\\dir00\\dir000', [], ['file0000'])
('E:\\Work\\Dev\\StackOverflow\\q003207219\\root_dir\\dir0\\dir01', [], ['file010', 'file011'])
('E:\\Work\\Dev\\StackOverflow\\q003207219\\root_dir\\dir0\\dir02', ['dir020'], [])
('E:\\Work\\Dev\\StackOverflow\\q003207219\\root_dir\\dir0\\dir02\\dir020', ['dir0200'], [])
('E:\\Work\\Dev\\StackOverflow\\q003207219\\root_dir\\dir0\\dir02\\dir020\\dir0200', [], [])
('E:\\Work\\Dev\\StackOverflow\\q003207219\\root_dir\\dir1', [], ['file10', 'file11', 'file12'])
('E:\\Work\\Dev\\StackOverflow\\q003207219\\root_dir\\dir2', ['dir20'], ['file20'])
('E:\\Work\\Dev\\StackOverflow\\q003207219\\root_dir\\dir2\\dir20', [], ['file200'])
('E:\\Work\\Dev\\StackOverflow\\q003207219\\root_dir\\dir3', [], [])

_ _ + : * シーンの下では、 os.scandir(古いバージョンでは` os.listdir` バージョン) * サブフォルダーで繰り返し実行することにより、重荷を持ち上げます

+
  1. [Python 3: glob。* glob (_ pathname、、recursive = False_)](https://docs.python.org/3/library/glob.html#glob.glob[[Python 3]:glob。* iglob (_ pathname 、、recursive = False_)])+ _ _ _pathname_に一致するパス名の空の可能性のあるリストを返します。これはパス指定を含む文字列でなければなりません。 _pathname_は、絶対( / usr / src / Python-1.5 / Makefile`など)または相対( ../../ Tools / * / *。gif`など)のいずれかで、シェルスタイルのワイルドカードを含めることができます。 壊れたシンボリックリンクが結果に含まれます(シェルのように)。

  2. +

    • バージョン3.5で変更されました :“ *”を使用した再帰的なグロブのサポート。 _ _

      +

      _ _

>>> import glob, os
>>> wildcard_pattern = "*"
>>> root_dir = os.path.join("root_dir", wildcard_pattern)  # Match every file/dir name
>>> root_dir
'root_dir\\*'
>>>
>>> glob_list = glob.glob(root_dir)
>>> glob_list
['root_dir\\dir0', 'root_dir\\dir1', 'root_dir\\dir2', 'root_dir\\dir3', 'root_dir\\file0', 'root_dir\\file1']
>>>
>>> [item.replace("root_dir" + os.path.sep, "") for item in glob_list]  # Strip the dir name and the path separator from begining
['dir0', 'dir1', 'dir2', 'dir3', 'file0', 'file1']
>>>
>>> for entry in glob.iglob(root_dir + "*", recursive=True):
...     print(entry)
...
root_dir\
root_dir\dir0
root_dir\dir0\dir00
root_dir\dir0\dir00\dir000
root_dir\dir0\dir00\dir000\file0000
root_dir\dir0\dir00\file000
root_dir\dir0\dir01
root_dir\dir0\dir01\file010
root_dir\dir0\dir01\file011
root_dir\dir0\dir02
root_dir\dir0\dir02\dir020
root_dir\dir0\dir02\dir020\dir0200
root_dir\dir1
root_dir\dir1\file10
root_dir\dir1\file11
root_dir\dir1\file12
root_dir\dir2
root_dir\dir2\dir20
root_dir\dir2\dir20\file200
root_dir\dir2\file20
root_dir\dir3
root_dir\file0
root_dir\file1

_ _ + : * `os.listdir`を使用します * 大きなツリーの場合(特に_recursive_がオンの場合)、_ iglob_は 好む * 名前に基づいた高度なフィルタリングを許可します(ワイルドカードによる)

+
  1. [Python 3:class pathlib。* Path *(_ * pathsegments_)](Python 3.4 、バックポート:https://pypi.org/project/pathlib2[[PyPI]:pathlib2]) _ _

>>> import pathlib
>>> root_dir = "root_dir"
>>> root_dir_instance = pathlib.Path(root_dir)
>>> root_dir_instance
WindowsPath('root_dir')
>>> root_dir_instance.name
'root_dir'
>>> root_dir_instance.is_dir()
True
>>>
>>> [item.name for item in root_dir_instance.glob("*")]  # Wildcard searching for all direct descendants
['dir0', 'dir1', 'dir2', 'dir3', 'file0', 'file1']
>>>
>>> [os.path.join(item.parent.name, item.name) for item in root_dir_instance.glob("*") if not item.is_dir()]  # Display paths (including parent) for files only
['root_dir\\file0', 'root_dir\\file1']

_ _ + : * これが私たちの目標を達成するための_1つの方法です * パスを処理する_OOP_スタイルです * 多くの機能を提供します

+
  1. [Python 2:dircache.listdir(path)](Python * 2 *のみ)

    • しかし、 [GitHub:python / cpython-(2.7)cpython / Lib / dircache.py]、単なる(薄い)ラッパーキャッシュ付きの os.listdir

      def listdir(path):
          """List directory contents, using cache."""
          try:
              cached_mtime, list = cache[path]
              del cache[path]
          except KeyError:
              cached_mtime, list = -1, []
          mtime = os.stat(path).st_mtime
          if mtime != cached_mtime:
              list = os.listdir(path)
              list.sort()
          cache[path] = mtime, list
          return list
      +
  1. [man7: OPENDIR(3)] / [man7:READDIR(3)] / http://man7.org/linux/man- pages / man3 / closedir.3.html [[man7]:CLOSEDIR(3)] [Python 3:ctypes-A経由Python用外部関数ライブラリ](POSIX_固有)+ _ ctypesはPythonの外部関数ライブラリです。 C互換のデータ型を提供し、DLLまたは共有ライブラリの関数を呼び出すことができます。 これらのライブラリを純粋なPythonでラップするために使用できます。 _ + _code_ctypes.py:+

#!/usr/bin/env python3

import sys
from ctypes import Structure, \
    c_ulonglong, c_longlong, c_ushort, c_ubyte, c_char, c_int, \
    CDLL, POINTER, \
    create_string_buffer, get_errno, set_errno, cast


DT_DIR = 4
DT_REG = 8

char256 = c_char * 256


class LinuxDirent64(Structure):
    _fields_ = [
        ("d_ino", c_ulonglong),
        ("d_off", c_longlong),
        ("d_reclen", c_ushort),
        ("d_type", c_ubyte),
        ("d_name", char256),
    ]

LinuxDirent64Ptr = POINTER(LinuxDirent64)

libc_dll = this_process = CDLL(None, use_errno=True)
# ALWAYS set argtypes and restype for functions, otherwise it's UB!!!
opendir = libc_dll.opendir
readdir = libc_dll.readdir
closedir = libc_dll.closedir


def get_dir_content(path):
    ret = [path, list(), list()]
    dir_stream = opendir(create_string_buffer(path.encode()))
    if (dir_stream == 0):
        print("opendir returned NULL (errno: {:d})".format(get_errno()))
        return ret
    set_errno(0)
    dirent_addr = readdir(dir_stream)
    while dirent_addr:
        dirent_ptr = cast(dirent_addr, LinuxDirent64Ptr)
        dirent = dirent_ptr.contents
        name = dirent.d_name.decode()
        if dirent.d_type & DT_DIR:
            if name not in (".", ".."):
                ret[1].append(name)
        elif dirent.d_type & DT_REG:
            ret[2].append(name)
        dirent_addr = readdir(dir_stream)
    if get_errno():
        print("readdir returned NULL (errno: {:d})".format(get_errno()))
    closedir(dir_stream)
    return ret


def main():
    print("{:s} on {:s}\n".format(sys.version, sys.platform))
    root_dir = "root_dir"
    entries = get_dir_content(root_dir)
    print(entries)


if __name__ == "__main__":
    main()

+ : * libc_から3つの関数をロードします(現在の プロセス)およびそれらを呼び出します(詳細については、https://stackoverflow.com/questions/82831/how-do-i-check-whether-a-file-exists-using-python/44661513#44661513 [[SO]を確認してください:例外なくファイルが存在するかどうかを確認するにはどうすればよいですか? (@CristiFatiの回答)]-アイテム* _#4 . の最後のメモ。 このアプローチは、Python / C_エッジの非常に近くに配置されます * _LinuxDirent64_は、_struct dirent64_の_ctypes_表現です。 私のマシンからのhttp://man7.org/linux/man-pages/man0/dirent.h.0p.html[[man7]:dirent.h(0P)](_DT定数も同様):_Ubtu 16 x644.10.0-40-generic_および_libc6-dev:amd64)。 他のフレーバー/バージョンでは、構造体の定義が異なる場合があり、そうである場合は、ctypes_エイリアスを更新する必要があります。そうでない場合は、*未定義の動作*が生成されます * `os.walk`の形式でデータを返します。 気にしなかった 再帰的ですが、既存のコードから開始することは、非常に簡単なタスクです * すべてが_Win_でも実行可能です。データ(ライブラリ、関数、 構造体、定数、…​)違い+
*出力
_

[[email protected]:~/Work/Dev/StackOverflow/q003207219]> ./code_ctypes.py
3.5.2 (default, Nov 12 2018, 13:43:14)
[GCC 5.4.0 20160609] on linux

['root_dir', ['dir2', 'dir1', 'dir3', 'dir0'], ['file1', 'file0']]

_ _

+
  1. https://docs.activestate.com/activepython/3.1/pywin32/win32fileFindFilesW_meth.html[[ActiveState]: win32file.FindFilesW](Win_固有)+ Windows Unicode APIを使用して、一致するファイル名のリストを取得します。 API FindFirstFileW / FindNextFileW / Find close関数へのインターフェース。 _

    +

    _ _

>>> import os, win32file, win32con
>>> root_dir = "root_dir"
>>> wildcard = "*"
>>> root_dir_wildcard = os.path.join(root_dir, wildcard)
>>> entry_list = win32file.FindFilesW(root_dir_wildcard)
>>> len(entry_list)  # Don't display the whole content as it's too long
8
>>> [entry[-2] for entry in entry_list]  # Only display the entry names
['.', '..', 'dir0', 'dir1', 'dir2', 'dir3', 'file0', 'file1']
>>>
>>> [entry[-2] for entry in entry_list if entry[0] & win32con.FILE_ATTRIBUTE_DIRECTORY and entry[-2] not in (".", "..")]  # Filter entries and only display dir names (except self and parent)
['dir0', 'dir1', 'dir2', 'dir3']
>>>
>>> [os.path.join(root_dir, entry[-2]) for entry in entry_list if entry[0] & (win32con.FILE_ATTRIBUTE_NORMAL | win32con.FILE_ATTRIBUTE_ARCHIVE)]  # Only display file "full" names
['root_dir\\file0', 'root_dir\\file1']

__ + : * `win32file.FindFilesW`はの一部です [GitHub:mhammond / pywin32-Python for Windows(pywin32)拡張機能]、 WINAPI__sの_Python_ラッパー * ドキュメントのリンクは https://www.activestate.com [ActiveState]、_pywin32_公式ドキュメントが見つからなかったため

+
  1. トリックを行う(他の)サードパーティパッケージをインストールする

    • ほとんどの場合、上記の1つ(または複数)に依存します(おそらく わずかなカスタマイズ)

      +

ノート

  • コードは移植可能であることを意図しています(特定の エリア-マークされている)またはクロス:

  • プラットフォーム(Nix _、 Win_、)

  • _Python_バージョン(2、3、)

  • 複数のパススタイル(絶対、相対)が上記全体で使用されました 使用される「ツール」がこの方向に柔軟であることを示すための変形

  • os.listdir`と os.scandir`は_opendir_ / readdir / _closedir_を使用します (https://docs.microsoft.com/en-gb/windows/desktop/api/fileapi/nf-fileapi-findfirstfilew[[MS.Docs]:FindFirstFileW関数] / https://docs.microsoft.com/en -gb / windows / desktop / api / fileapi / nf-fileapi-findnextfilew [[MS.Docs]:FindNextFileW function] / https://docs.microsoft.com/en-gb/windows/desktop/api/fileapi/nf -fileapi-findclose [[MS.Docs]:FindClose function])(https://github.com/python/cpython/blob/master/Modules/posixmodule.c[[GitHub]:python / cpython-(マスター)経由cpython / Modules / posixmodule.c])

  • `win32file.FindFilesW`はそれらの(_Win_固有の)関数も使用します (https://github.com/mhammond/pywin32/blob/master/win32/src/win32file.i[[GitHub]:mhammond / pywin32-(master)pywin32 / win32 / src / win32file.i])

  • _get_dir_content(**#1 ._ *から)は、いずれかを使用して実装できます これらのアプローチの一部(より多くの作業が必要なものと、より少ない作業が必要なもの)

  • いくつかの高度なフィルタリング(ファイル_vs._ dirだけでなく) 完了:例 include_folders_引数は別のものに置き換えることができます(例: _filter_func)これは、引数としてパスをとる関数になります: filter_func = lambda x:True(これは何も除去しません)および__get_dir_content_の中では:` if not filter_func(entry_with_path):continue`(if関数は1つのエントリで失敗し、スキップされます)が、コードが複雑になるほど、実行に時間がかかります

  • * Nota bene!*再帰が使用されているので、 私のラップトップ(Win 10 x64)でテストしますが、この問題とはまったく関係がなく、再帰レベルが_(990

    1. 1000)範囲(_recursionlimit-1000(デフォルト))、私は得た スタックオーバーフロー :)。 ディレクトリツリーがその制限を超えている場合(私は_FS_の専門家ではないので、それが可能かどうかもわかりません)、それが問題になる可能性があります。 +また、この分野での経験がないため(_OS_レベルでスタックを増やす必要がある前にどれだけ増やすことができるか)_recursionlimit_を増やそうとしなかったことにも言及する必要がありますが、理論的には常に可能性があります失敗の場合、dirの深さが(マシン上で)可能な最大の_recursionlimit_より大きい

  • コードサンプルは、例示のみを目的としています。 それはそれを意味します エラー処理を考慮していませんでした(* try * / * except * / * else * / * finally *ブロックはないと思います)。そのため、コードは堅牢ではありません(理由は次のとおりです:シンプルかつ可能な限り短い)。 _production_の場合、エラー処理も追加する必要があります

その他のアプローチ

  1. _Python_をラッパーとしてのみ使用する

    • すべてが別のテクノロジーを使用して行われます

    • その技術は_Python_から呼び出されます

    • 私が知っている最も有名なフレーバーは、私が_システムと呼んでいるものです administrator_アプローチ:

    • Python(またはそれに関するプログラミング言語)を順番に使用します _shell_コマンドの実行(およびその出力の解析)

    • これをきちんとしたハックと考える人もいます

    • アクションとして、それはより不完全な回避策(gainarie)のようなものだと思います。 それ自体は_shell_(この場合は_cmd_)から実行されるため、_Python_とは何の関係もありません。

    • フィルタリング( grep /` findstr`)または出力フォーマットは 両側ですが、私はそれを主張するつもりはありません。 また、「subprocess.Popen」ではなく「os.system」を意図的に使用しました。
      _ _

(py35x64_test) E:\Work\Dev\StackOverflow\q003207219>"e:\Work\Dev\VEnvs\py35x64_test\Scripts\python.exe" -c "import os;os.system(\"dir /b root_dir\")"
dir0
dir1
dir2
dir3
file0
file1

_ _ +一般に、この方法は避ける必要があります。コマンドの出力形式が_OS_バージョン/フレーバー間でわずかに異なる場合、解析コードも同様に適合させる必要があるためです。ロケール間の違いは言うまでもありません)。


34


def list_files(path):
    # returns a list of names (with extension, without full path) of all files
    # in folder path
    files = []
    for name in os.listdir(path):
        if os.path.isfile(os.path.join(path, name)):
            files.append(name)
    return files