解析Python模組(Module)和套件(Package)的概念
文章推薦指數: 80 %
四、dir()函式(dir function). Python提供了一個內建函式dir(),用來顯示物件(Object)的 ...
跳到主要內容
解析Python模組(Module)和套件(Package)的概念
1月27,2020
PhotobyHelloquenceonUnsplash
當我們在開發大型應用程式時,如果沒有適當的組織程式碼,除了會降低開發的效率外,也不易於維護,所以模組(Module)化就顯得相當的重要,讓程式碼能夠透過引用的方式來重複使用,提升重用性(Reusable)。
但是隨著專案模組(Module)的增加,將難以管理及問題的追蹤,這時候就能將模組(Module)打包成套件(Package),利用其階層式的結構來彈性規劃模組(Module)。
本篇文章就帶大家瞭解Python模組(Module)及套件(Package)的重要觀念,包含:
什麼是模組(Module)
模組引用方式(Import)
什麼是套件(Package)
dir()函式(dirfunction)
將模組當作腳本來執行(ExecutingaModuleasaScript)
一、什麼是模組(Module)
模組(Module)就是一個檔案,包含了相關性較高的程式碼。
隨著應用程式的開發規模越來越大,我們不可能把所有的程式碼都寫在同一份Python檔案中,一定會將關聯性較高的程式碼抽出來放在不同的檔案中來形成模組(Module),主程式再透過引用的方式來使用。
所以模組(Module)可以提高程式碼的重用性(Reusable)且易於維護。
假設我們現在要開發一個部落格,主程式為app.py,在還沒有模組化時,程式碼可能長得像這樣:
#取得作者
defget_author():
return"Mike"
#取得電子郵件
defget_email():
return"[email protected]"
#新增文章
defadd_post(title):
pass
#刪除文章
defdelete_post(title):
pass
add_post()
author=get_author()
email=get_email()
各位應該可以想像,隨著部落格功能的增加,將所有程式碼都寫在 app.py主程式中會變得怎麼樣。
所以這時候就可以將相關性較高的功能進行模組化的動作。
以此範例來說,取得作者及電子郵件可以獨立出來建立一個關於模組(about.py),而新增及刪除文章則可以獨立出來為文章模組(post.py),專門處理文章相關的動作,如下範例:
about.py
#取得作者
defget_author():
return"Mike"
#取得電子郵件
defget_email():
return"[email protected]"
post.py
#新增文章
defadd_post(title):
pass
#刪除文章
defdelete_post(title):
pass
當然,模組(Module)除了可以包含函式(Function)外,也可以為類別(Class),我們以post.py為例:
classPost:
#建構式
def__init__(self):
self.titles=[]
#新增文章
defadd_post(self,title):
self.titles.append(title)
#刪除文章
defdelete_post(self,title):
self.titles.remove(title)
所以現在我們專案中有一個主程式app.py及兩個模組(Module),分別為about.py和post.py。
二、模組引用方式(Import)
我們將程式碼進行模組化後,主程式app.py要如何使用呢?首先,可以使用from-import語法,如下範例:
#引用模組中的特定物件
frompostimportPost
fromaboutimportget_author,get_email
p=Post()
p.add_post("PythonProgramming")
author=get_author()
email=get_email()
print(p.titles)#執行結果:['PythonProgramming']
print(author)#執行結果:Mike
print(email)#執行結果:[email protected]
from之後加上模組(Module)的檔名,注意沒有.py副檔名,接著import引用所需的物件。
當然,在import之後可以使用*來引用模組中的所有物件,但是這樣的寫法,可能會在引用的過程中,發生同名方法覆寫(MethodOverriding)的風險,所以建議引用所需要的物件即可。
另一種語法則是透過import語法,如下範例:
#引用整個模組
importpost
importabout
p=post.Post()
p.add_post("PythonProgramming")
author=about.get_author()
email=about.get_email()
print(p.titles)#執行結果:['PythonProgramming']
print(author)#執行結果:Mike
print(email)#執行結果:[email protected]
import之後加上模組(Module)的檔名,和上一個語法不一樣的地方是,此語法雖然引用整個模組(Module),但是在主程式中必須透過模組(Module)的名稱來存取其中的成員。
在主程式app.py中引用模組(Module),並且執行後,會發現多了一個pycache資料夾,如下圖:
這個資料夾中,可以看到包含了引用模組的已編譯檔案,當下一次執行主程式app.py時,Python編譯器看到已編譯的模組檔案,會直接載入該模組(Module),而省略編譯的動作,藉此來加速載入模組(Module)的速度。
當然Python編譯器在每一次執行時,會檢查來源模組及已編譯檔案的時間,當來源模組的時間較新,則代表該模組(Module)有經過修改,則Python編譯器會再編譯一次,更新已編譯檔案。
各位有沒有覺得奇怪,那為什麼沒有app.py的已編譯檔案,因為在此範例中,我們將app.py當作程式的進入點,所以每一次執行pythonapp.py指令時,Python編譯器都要進行編譯,所以沒有將app.py進行快取的動作。
三、什麼是套件(Package)
就是一個容器(資料夾),包含了一個或多個的模組(Module),並且擁有__init__.py檔案,其中可以撰寫套件(Package)初始化的程式碼。
我們將程式碼模組化後,專案中的模組(Module)就會越來越多,這時候就可以再將相似的模組(Module)組織為套件(Package)。
那要如何建立套件(Package)呢?
舉例來說,現在我們要將專案中的post.py及about.py模組(Module)打包為部落格套件(Package),首先,建立blog資料夾,接著在資料夾中新增__init__.py檔案,最後將post.py及about.py模組(Module)移至blog資料夾中,如下範例:
而在主程式app.py中引用套件(Package)的方式和模組(Module)大同小異,我們先來看from-import語法,如下範例:
#從套件中引用模組
fromblogimportpost
fromblogimportabout
p=post.Post()
p.add_post("PythonProgramming")
author=about.get_author()
email=about.get_email()
另一個引用套件(Package)的import語法如下範例:
#從套件中引用模組
importblog.post
importblog.about
p=blog.post.Post()
p.add_post("PythonProgramming")
author=blog.about.get_author()
email=blog.about.get_email()
四、dir()函式(dirfunction)
Python提供了一個內建函式dir(),用來顯示物件(Object)的屬性(Attribute)及方法(Method),我們利用此函式(Function)來看一下模組(Module)所擁有的屬性(Attribute)及方法(Method),如下範例:
#從blog套件引用about模組
fromblogimportabout
print(dir(about))
執行結果
從執行結果可以看到模組(Module)中有自建的get_author及get_email方法(Method),其餘的則是Python自動幫我們產生的,我們來看幾個常用的屬性(Attribute),如下範例:
#從blog套件引用about模組
fromblogimportabout
print(about.__name__)#模組名稱
print(about.__package__)#套件名稱
print(about.__file__)#模組的檔名及路徑
執行結果
五、將模組當作腳本來執行(ExecutingaModuleasaScript)
我們來看一個範例,在about模組(Module)中加上以下程式碼,並且執行該模組(Module),如下範例:
#取得作者
defget_author():
return"Mike"
#取得電子郵件
defget_email():
return"[email protected]"
print("aboutmodulename:",__name__)
#執行結果:aboutmodulename:__main__
而這時候換成執行app.py ,__name__屬性(Attribute)則為blog.about,我們就可以利用這個特性,撰寫腳本來彈性的控制當執行模組(Module)的檔案時,要進行哪些行為,而這些行為是在被其他模組(Module)引用時,不會被執行的,如下範例:
#取得作者
defget_author():
return"Mike"
#取得電子郵件
defget_email():
return"[email protected]"
if__name__=="__main__":
print("aboutmoduleinitialized.")
get_author()
範例中將about模組(Module)加上了判斷式,當執行about模組(Module)時,__name__屬性(Attribute)為__main__,所以會執行我們設定的任務,而這些任務是在執行主程式app.py時,不會被執行的,因為__name__屬性(Attribute)為blog.about。
六、小結
以上就是Python模組(Module)及套件(Package)的重要觀念,除了能夠提高程式碼的重用性(Reusable)外,也有利於未來的單元測試及維護。
在練習的過程中如果有遇到任何問題,歡迎留言分享。
如果您喜歡我的文章,請幫我按五下Like(使用Google或Facebook帳號免費註冊),支持我創作教學文章,回饋由LikeCoin基金會出資,完全不會花到錢,感謝大家。
有想要看的教學內容嗎?歡迎利用以下的Google表單讓我知道,將有機會成為教學文章,分享給大家😊https://forms.gle/UW8u9XddoY17HjaSA
你可能有興趣的文章
淺談Python類別(Class)
5個必知的PythonFunction觀念整理
解析Python物件導向設計的3種類型方法(Instance,Class,StaticMethod)
3個必須瞭解的Python屬性觀念
Python條件判斷
Python學習資源整理
分享
取得連結
Facebook
Twitter
Pinterest
以電子郵件傳送
其他應用程式
標籤
Python模組及套件
標籤:
Python模組及套件
分享
取得連結
Facebook
Twitter
Pinterest
以電子郵件傳送
其他應用程式
留言
瀚嶙2022年6月8日晚上10:04我最近在研究打包其實我覺得只能用relativeimport不然你打包後會沒辦法import回覆刪除回覆回覆吉格艾諾2022年6月23日上午11:56試過把三隻模組檔丟進本專案底下的一個子目錄,結果無法引用,再嘗試模仿其它程式語言,在引用語法裡帶上相對路徑,結果也是不能引用。
所以請教一下,如果像這種情況,該怎麼處理?回覆刪除回覆回覆新增留言載入更多…
張貼留言
這個網誌中的熱門文章
[Python爬蟲教學]7個Python使用BeautifulSoup開發網頁爬蟲的實用技巧
2月28,2020
PhotobyStanleyDaionUnsplash在實務上開發專案時,很多時候會利用其他網站的資料來進行分析或運用,而取得的方式除了透過網站所提供的API(ApplicationProgrammingInterface)外,也可以利用Python來開發爬蟲程式,將網頁的HTML內容下載下來,接著利用BeautifulSoup套件(Package),擷取所需的資訊。
本文將開發一個簡單的爬蟲程式,爬取「ETtoday旅遊雲」網頁,擷取桃園旅遊景點的標題資訊,如下圖:取自ETtoday的旅遊雲而在開發的過程中,常會需要搜尋HTML的節點,本文將分享幾個常用的方法,包含:BeautifulSoup安裝以HTML標籤及屬性搜尋節點以CSS屬性搜尋節點搜尋父節點搜尋前、後節點取得屬性值取得連結文字一、BeautifulSoup安裝BeautifulSoup是一個用來解析HTML結構的Python套件(Package),將取回的網頁HTML結構,透過其提供的方法(Method),能夠輕鬆的搜尋及擷取網頁上所需的資料,因此廣泛的應用在網頁爬蟲的開發上。
Beautifulsoup套件(Package)可以透過pip指令來進行安裝,如下範例:pipinstallbeautifulsoup4而要解析網頁的HTML程式碼前,還需要安裝Python的requests套件(Package),將要爬取的網頁HTML程式碼取回來,安裝方式如下:pipinstallrequests安裝完成後,首先引用requests套件(Package),並且透過get()方法(Method)存取ETtoday旅遊雲的桃園景點網址,如下範例:importrequestsresponse=requests.get("https://travel.ettoday.net/category/%E6%A1%83%E5%9C%92/")將網頁的HTML程式碼取回來後,接著引用BeautifulSoup
分享
取得連結
Facebook
Twitter
Pinterest
以電子郵件傳送
其他應用程式
8則留言
閱讀完整內容
[Pandas教學]資料分析必懂的PandasDataFrame處理雙維度資料方法
11月01,2020
PhotobySlidebeanonUnsplash現在有許多的企業或商家,都會利用取得的使用者資料來進行分析,瞭解其中的趨勢或商機,由此可見,資料分析越來越受到重視,而這時候,能夠懂得使用資料分析工具就非常的重要。
在上一篇[Pandas教學]資料分析必懂的PandasSeries處理單維度資料方法文章中,分享了PandasSeries資料結構用於處理單維度資料集的實用方法,而本文則要來介紹Pandas套件的另一個非常重要的資料結構,也就是DataFrame。
分享
取得連結
Facebook
Twitter
Pinterest
以電子郵件傳送
其他應用程式
3則留言
閱讀完整內容
[Python物件導向]淺談Python類別(Class)
1月02,2020
PhotobyBramNausonUnsplash在學習程式語言時,或多或少都有聽過物件導向程式設計(Object-orientedprogramming,簡稱OOP),它是一個具有物件(Object)概念的開發方式,能夠提高軟體的重用性、擴充性及維護性,在開發大型的應用程式時更是被廣為使用,所以在現今多數的程式語言都有此種開發方式,Python當然也不例外。
而要使用物件導向程式設計就必須對類別(Class)及物件(Object)等有一些基本的了解,包含了:類別(Class)物件(Object)屬性(Attribute)建構式(Constructor)方法(Method)我們先來看一下今天要來建立的類別:#汽車類別classCars:#建構式def__init__(self,color,seat):self.color=color#顏色屬性self.seat=seat#座位屬性#方法(Method)defdrive(self):print(f"Mycaris{self.color}and{self.seat}seats.")接下來就針對類別(Class)各個部分來進行介紹。
一、類別(Class)簡單來說,就是物件(Object)的藍圖(blueprint)。
就像要生產一部汽車時,都會有設計圖,藉此可以知道此類汽車會有哪些特性及功能,類別(Class)就類似設計圖,會定義未來產生物件(Object)時所擁有的屬性(Attribute)及方法(Method)。
而定義類別的語法如下:classclassname: statement首先會有class關鍵字,接著自定類別名稱,最後加上冒號。
類別名稱的命名原則習慣上使用Pascal命名法,也就是每個單字字首大寫,不得使用空白或底線分隔單字,如下範例:#範例一classCars:#範例二classMyCars:二、物件(Object)就是透過
分享
取得連結
Facebook
Twitter
Pinterest
以電子郵件傳送
其他應用程式
27則留言
閱讀完整內容
[Python教學]搞懂5個Python迴圈常見用法
12月04,2019
PhotobyScottWebbonUnsplash在撰寫程式的過程中,都有機會要重複執行一些相同的運算,但是重複撰寫好幾次同樣的運算看起來非常的沒有效率,所以在這個情況下我們通常會使用迴圈來幫我們完成,本篇就來介紹Python迴圈的使用方式,包含For-Loops、NestedLoops及while-Loops,並且說明用來控制迴圈流程的break及continue指令。
一、range()方法在開始介紹Python迴圈之前,先來說明一個在執行迴圈時常用的range()方法,主要用來幫我們產生數列,語法如下:range(起始值,結束值,遞增(減)值)使用說明:range(20):起始值預設從0開始,所以會產生0到19的整數序列。
range(10,20):起始值從10開始,所以會產生10到19的整數序列。
range(10,20,3):起始值從10開始,遞增值為3,所以會產生10,13,16,19的整數序列。
二、PythonFor-Loops敘述可以針對Iterable(可疊代的)物件來進行讀取,Python內建幾個常用的Iterable物件,像是String(字串)、List(串列)、Tuples(元組)、Dictionary(字典)等,往後會出文章詳細的介紹。
Pythonfor-loop的語法如下:在語法中,in的後方就是for-loop要讀取的目標物,這個目標物的為Iterable(可疊代的)物件,一次讀取一個元素,然後用item(自訂變數名稱)來接收每次讀取到的元素,執行區塊中的運算。
注意for-loop的結尾需加上冒號(:)及區塊中的運算式要有相同的縮排,範例如下:在範例中,for-loop的讀取目標物為一個字串,每一次讀取一個字母,並且用letter變數來接收,執行print()方法。
三、PythonNestedLoops(巢狀迴圈)簡單來說,就是迴圈中又有一層迴圈,我們來看一個範例: 這個巢狀迴
分享
取得連結
Facebook
Twitter
Pinterest
以電子郵件傳送
其他應用程式
4則留言
閱讀完整內容
[Python教學]5個必知的PythonFunction觀念整理
12月22,2019
PhotobySusanHoltSimpsononUnsplash在寫程式碼時有一個非常重要的觀念是DRY(Don’tRepeatYourself),意思是避免同樣的程式碼重複出現在很多個地方,除了可讀性很低外,也不易維護。
所以要適當的進行封裝,來達到程式碼的重用性(Reusable)。
今天要來教大家如何建構自己的 Python函式(Function),就是能夠讓你的程式碼被重複的使用(Reusable),並且提高維護性及可讀性。
其中有五個必須要知道的重要觀念,包含了:函式(Function)結構函式(Function)參數函式(Function)*args、**kwargs運算子函式(Function)種類函式(Function)變數範圍(Scope)一、函式(Function)結構首先Python函式的結構包含了def關鍵字、函式名稱、參數及實作內容,如下範例:函式名稱的命名習慣上會使用小寫字母,並且以底線來分隔單字。
參數用來接收外部資料,而實作的內容則是這個函式所要執行的任務,需注意縮排。
接下來就針對函式的各個部分進行詳細的說明。
二、函式(Function)參數參數簡單來說就是接收外部所傳來的資料,進而執行相關的邏輯運算。
參數個數取決於函式內部運算時所需的資料個數,所以在一般情況下,呼叫函式時一定要傳入相對的參數個數資料,否則就會出現例外錯誤,如下範例:函式的參數,又可分為:關鍵字參數(KeywordArgument):呼叫函式時,在傳入參數值的前面加上函式所定義的參數名稱,如下範例。
除了提高可讀性外,也可將此種參數打包成字典(Dictionary)資料型態,在等一下的xargs、xxargs運算子部分會來進行說明。
預設值參數(DefaultArgument):在函式定義的參數中,將可以選擇性傳入的參數設定一個預設值,當來源端有傳入該資料時,使用來源端的資料,沒有傳入時,則依照設定的預設值來進行運算,如下範例:範例中沒有傳入日期參數資料,所以函式使用預設值(2019
分享
取得連結
Facebook
Twitter
Pinterest
以電子郵件傳送
其他應用程式
張貼留言
閱讀完整內容
[Python+LINEBot教學]6步驟快速上手LINEBot機器人
6月28,2020
PhotobyYuraFreshonUnsplash每當朋友或家人要聚餐時,是不是總要花很長的時間尋找評價不錯的餐廳?不但要確認營業時間、消費價格及地點,還要觀看許多的美食文章才有辦法決定,這時候如果有人能夠明確提供幾間符合條件且有人氣的餐廳作為選擇,想必會省事許多。
所以筆者開發了一個美食的LINEBot小作品,透過對談的方式瞭解使用者所要尋找的餐廳條件後,利用Python網頁爬蟲取得目前正在營業的五間最高人氣餐廳資料,回覆給使用者作為參考。
為了要讓想學習的您能夠由淺入深,瞭解其中的實作過程,所以將會分成三篇文章來進行教學。
2020/06/30補充說明而在進行實作前,先來看一下LINEBot主要的執行架構,如下圖:使用者透過LINE發送訊息時,LINEPlatform將會進行接收,並且傳遞至我們所開發的LINEBot執行邏輯運算後,透過LINE所提供的MessagingAPI回應訊息給LINEPlatform,最後再將訊息傳遞給使用者。
其中MessagingAPI(ApplicationProgrammingInterface),就是LINE官方定義的回應訊息標準介面,包含Text(文字)、Sticker(貼圖)、Video(影片)、Audio(聲音)及Template(樣板)訊息等,完整的說明可以參考LINE的官方文件。
所以在我們的LINEBot回應訊息時,就要依據MessagingAPI定義的規範,傳入相應的參數後,MessagingAPI就會回應使用者相對的訊息類型。
簡單來說,就是LINEPlatform與LINEBot的溝通橋樑。
而本文就先以最基本的使用者發送什麼訊息,LINEBot就回應什麼訊息為例,讓讀者體會其中的運作方式,整體架構如下圖:在LINEBot的部分,使用Django框架來進行建置,並且透過MessagingAPI回應Text(文字)訊息。
在下一篇文章中,將會加入Python網頁爬蟲,取得美食網站的資訊回應給使用者。
本文的實作步驟包含:建立Provider建立MessagingAPIchannel設定LINEBot憑證開發LINEB
分享
取得連結
Facebook
Twitter
Pinterest
以電子郵件傳送
其他應用程式
49則留言
閱讀完整內容
[Pandas教學]5個實用的Pandas讀取Excel檔案資料技巧
12月06,2020
PhotobyLinkedInSalesNavigatoronUnsplash日常生活中,不免俗的都會有需要整理大量資料的需求,而最常用的文書軟體就是Excel,這時候該如何有效讀取Excel檔中的資料,進行額外的整理及操作呢?本文將以政府開放資料平台-歷年國內主要觀光遊憩據點遊客人數月別統計的資料內容為例,利用Python的Pandas套件,來和大家分享實務上最常見的Excel讀取操作,藉此來提升資料處理的效率。
分享
取得連結
Facebook
Twitter
Pinterest
以電子郵件傳送
其他應用程式
張貼留言
閱讀完整內容
[Python教學]PythonLambdaFunction應用技巧分享
12月29,2019
PhotobyFatosBytyqionUnsplashLambda函式,也就是匿名函式,不需要定義名稱,只有一行運算式,語法非常簡潔,功能強大,所以現代程式語言如Java、C#及Python等都支援Lambda函式,適用於小型的運算,Python的一些內建函式甚至使用它作為參數值的運算。
現在就來介紹如何在Python中使用Lambda函式與技巧吧,包含:Lambda語法與範例PythonLambda函式的應用Lambda函式vs一般函式(Function)一、Lambda語法與使用範例由於Lambda函式只有一行程式碼,所以在撰寫時有一些限制,我們來看一下它的語法:lambdaparameter_list:expression這邊教大家一個技巧,在撰寫Lambda函式時,於VisualStudioCode輸入lambda關鍵字,接著按下Tab鍵,就會自動產生範例中的語法,包含了三個部分:lambda關鍵字parameter_list(參數清單)expression(運算式)其中,parameter_list(參數清單)也就是Lambda函式的傳入參數,可以有多個,以逗號分隔。
而expression(運算式)則是針對傳入參數來進行運算,只能有一行運算式,不像一般函式(Function)可以有多行。
接下來,我們透過幾個範例來了解如何使用Lambda函式吧。
範例1:範例中將Lambda函式指派給一個變數,接著就可以透過此變數並傳入參數來進行呼叫。
範例2:Lambda函式支援IIFE(immediatelyinvokedfunctionexpression)語法,意思是利用 functionexpression的方式來建立函式,並且立即執行它,語法如下:(lambdaparameter:expression)(argument)範例中即是利用此語法在Lambda函式定義後,立即傳入參數執行。
範例3:透過此範例可以知道,當Lambda函式經定義
分享
取得連結
Facebook
Twitter
Pinterest
以電子郵件傳送
其他應用程式
7則留言
閱讀完整內容
[Python爬蟲教學]整合PythonSelenium及BeautifulSoup實現動態網頁爬蟲
5月31,2020
PhotobyLAURENGRAYonUnsplash相信大家都知道,取得資料後能夠進行許多的應用,像是未來的趨勢預測、機器學習或資料分析等,而有效率的取得資料則是這些應用的首要議題,網頁爬蟲則是其中的一個方法。
網頁爬蟲就是能夠取得網頁原始碼中的元素資料技術,但是,有一些網頁較為特別,像是社群平台,需先登入後才能進行資料的爬取,或是電商網站,無需登入,但是要透過滾動捲軸,才會動態載入更多的資料,而要爬取這樣類型的網頁爬蟲,就稱為動態網頁爬蟲。
該如何實作呢?本文將使用PythonSelenium及BeautifulSoup套件來示範動態網頁爬蟲的開發過程,重點包含:BeautifualSoupvsSelenium安裝Selenium及Webdriver安裝BeautifulSoupSeleniumget()方法Selenium元素定位Seleniumsend_keys()方法Seleniumexecute_script方法BeautifulSoupfind_all()方法BeautifulSoupgetText()方法一、BeautifualSoupvsSeleniumBeautifulSoup套件相信對於開發網頁爬蟲的人員來說,應該都有聽過,能夠解析及取得HTML原始碼各個標籤的元素資料,擁有非常容易上手的方法(Method),但是,對於想要爬取動態網頁資料來說,則無法達成,因為BeautifulSoup套件並沒有模擬使用者操作網頁的方法(Method),像是輸入帳號密碼進行登入或滾動捲軸等,來讓網頁動態載入資料,進行爬取的動作。
所以,這時候,就可以使用被設計於自動化測試的Selenium套件,來模擬使用者的動作,進行登入後爬取資料或滾動卷軸,並且能夠執行JavaScript程式碼,這些就是Selenium與BeautifulSoup套件最大不同的地方。
對於開發Python動態爬蟲來說,就可以結合Selenium套件以上的特點,讓網頁動態載入資料後,再利用BeautifulSoup套件簡潔的方法(Method),將所需的資料爬取下來。
本文就是利用這樣的概念,利用Selenium套件登入Facebook後,前往
分享
取得連結
Facebook
Twitter
Pinterest
以電子郵件傳送
其他應用程式
20則留言
閱讀完整內容
[Python爬蟲教學]有效利用Python網頁爬蟲爬取免費的ProxyIP清單
10月24,2021
PhotobyCytonnPhotographyonUnsplash在開發網頁爬蟲的過程中,是不是會擔心被偵測或封鎖,而爬不到所需的資料呢?有些大型網站為了保護網頁上的資料不被大量的爬取,會特別偵測像Python網頁爬蟲這種非人工的自動化請求,這時候Python網頁爬蟲使用相同的IP來發送請求就很容易被發現。
所以,如果有多組IP能夠讓Python網頁爬蟲在發送請求時輪流使用,就能夠大幅降低被偵測的風險。
而現在有許多網站上也有提供免費的ProxyIP,本文就以FreeProxyList網站為例,透過Python網頁爬蟲來蒐集上面的ProxyIP,製作我們的IP清單。
實作步驟包含:
分享
取得連結
Facebook
Twitter
Pinterest
以電子郵件傳送
其他應用程式
張貼留言
閱讀完整內容
關於創辦人
MikeKu
是一位喜歡旅遊的網頁工程師,由於對Python程式語言非常有興趣,所以創辦了「LearnCodeWithMike」網站,提供線上的Python「入門教學、爬蟲應用、資料分析與網頁開發」等主題的教學,透過小專案實作的方式來幫助初學者們學習Python程式語言,並且有能力開發屬於自己的應用程式。
瀏覽簡介
取得最新發佈的免費Python教學免費訂閱
文章分類
Django套件應用3
Django教學系列16
LINEBot應用教學6
Pandas教學系列22
Pandas資料清理8
Python初學入門13
Python爬蟲教學29
Python物件導向6
Python資料結構3
Python實戰應用5
Python模組及套件2
Python學習資源1
Scrapy教學系列13
顯示更多
顯示較少
Python推薦課程
TheCompletePythonCourse
Python-輕鬆學會寫程式
線上課程平台推薦
資料分析學習平台推薦
延伸文章資訊
- 110. Python 標準函式庫概覽— Python 3.10.6 說明文件
務必使用 import os 而非 from os import * 。這將避免因系統不同而有實作差異的 os.open() 覆蓋內建函式 open() 。 在使用 os 諸如此類大型模組時搭配...
- 2Python :: 簡介模組
在Python 中,一個.py 檔案就是一個模組, import 就是載入另一個.py ... 在上面看到除了自定義的屬性,還有一些內建的屬性,這之後有機會再深入介紹 ...
- 3Python常用的內建模組 - 程式人生
引用其他模組,包含python內建模組和其他第三方模組; 避免函式名和變數名等名稱衝突。 模組的匯入方式. import. 直接使用import語句匯入標準 ...
- 4解析Python模組(Module)和套件(Package)的概念
四、dir()函式(dir function). Python提供了一個內建函式dir(),用來顯示物件(Object)的 ...
- 5Python 101 基礎教學(9) - 模組module 與套件package
寫程式從來就是站在巨人的肩膀上。Python 提供了許多的內建模組便利我們加速開發,事半功倍。除此之外你可以用第三方的函式庫,你也可以自己造輪子, ...