Py / Python網頁資料擷取與分析班-筆記 8/23 番外-幾種解析xml的方式

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

import requests
html = requests.get("https://apiservice.mol.gov.tw/OdService/download/A17000000J-020057-rpR",verify=0)

import xmltodict
data = xmltodict.parse(html.text)
# print(data) #{'ass_hosp': {'認可醫療機構': [{'縣市別': '新北市', '醫療機構名稱': '國立臺灣大學醫學院附設醫院金山分院', '醫療機構地址': '新北市金山區五湖里玉爐路7號', '勞工健檢聯絡人': '蔡語恩', '連絡電話': '02-2498-9898#7500', '認可類別及有效期限': '一般健檢(1100101-1121231)', '備註': None},
# print(data["ass_hosp"]["認可醫療機構"]) #[{'縣市別': '新北市', '醫療機構名稱': '國立臺灣大學醫學院附設醫院金山分院', '醫療機構地址': '新北市金山區五湖里玉爐路7號', '勞工健檢聯絡人': '蔡語恩', '連絡電話': '02-2498-9898#7500', '認可類別及有效期限': '一般健檢(1100101-1121231)', '備註': None}, {'縣市別': '新北市', '醫療機構名稱': '中英醫療社團法人中英醫院', '醫療機構地址': '新北市板橋區文化路1段196號1-4樓', '勞工健檢聯絡人': '陳惠菁', '連絡電話': '02-22563584', '認可類別及有效期限': '一般健檢(1080101-1111231)、巡迴一般健檢(1080101-1111231)', '備註': '1. 依勞動部109年4月15日勞職授字第10902012992號函，為配合衛生福利部「109年度醫院評鑑及教學醫院評鑑作業順延1年」，辦理勞工巡迴體格及健康檢查類別之醫療機構原認可效期同時配合展延至110年12月31日。2. 依勞動部110年6月23日勞職授字第1100203157號函，因應嚴重特殊傳染性肺炎(COVID-19)疫情，認可效期展延1年。'},
# print(len(data["ass_hosp"]["認可醫療機構"])) #393
# print(data["ass_hosp"]["認可醫療機構"][392]["縣市別"]) #新北市
dataFrame=[]
cols=["縣市別","醫療機構名稱","醫療機構地址"]
index=[]
for i in range(0,len(data["ass_hosp"]["認可醫療機構"])):
    d1=data["ass_hosp"]["認可醫療機構"][i]["縣市別"]
    d2=data["ass_hosp"]["認可醫療機構"][i]["醫療機構名稱"]
    d3=data["ass_hosp"]["認可醫療機構"][i]["醫療機構地址"]
    # print(d1)
    # print(d2)
    # print(d3)
    dataFrame.append([d1,d2,d3])
    print(dataFrame)
    index.append(i+1)

import pandas as pd
df = pd.DataFrame(dataFrame,index,cols)
print(df)
df.to_excel("OdService.xlsx")

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

import requests
from bs4 import BeautifulSoup
html = requests.get("https://apiservice.mol.gov.tw/OdService/download/A17000000J-020057-rpR",verify=0)
sp = BeautifulSoup(html.text, "xml")
# print(sp.find_all("認可醫療機構")[1].text.split("\n"))

def not_empty(s):
    return s and s.strip()

data=[]
cols=["縣市別","醫療機構名稱","醫療機構地址"]
index=[]
for i in range(0,len(sp.find_all("認可醫療機構"))):
    #print(i)
    dOne = sp.find_all("認可醫療機構")[i].text.split("\n")
    #print(dOne)
    dOne = filter(not_empty,dOne)
    listOne=list(dOne)
    # print(listOne)
    # print(listOne[0])
    d1=listOne[0]
    d2=listOne[1]
    d3=listOne[2]
    data.append([d1,d2,d3])
    index.append(i+1)

import pandas as pd
df = pd.DataFrame(data,index,cols)
print(df)
df.to_excel("OdService2.xlsx")

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

import requests
html = requests.get("https://apiservice.mol.gov.tw/OdService/download/A17000000J-020057-rpR",verify=0)

import xml.etree.ElementTree as ET
root = ET.fromstring(html.text)
print(root.tag)           #ass_hosp
print(len(root))          #393
print(root[0].tag)        #認可醫療機構
print(root[0][0].tag)     #縣市別
print(root[0][0].text)    #新北市

dataFrame=[]
cols=["縣市別","醫療機構名稱","醫療機構地址"]
index=[]
for i in range(0,len(root)):
    d1=root[i][0].text
    d2=root[i][1].text
    d3=root[i][2].text
    # print(d1)
    # print(d2)
    # print(d3)
    dataFrame.append([d1,d2,d3])
    # print(dataFrame)
    index.append(i+1)

import pandas as pd
df = pd.DataFrame(dataFrame,index,cols)
print(df)
df.to_excel("OdService_0823-24.xlsx")

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44

import requests,io
html = requests.get("https://apiservice.mol.gov.tw/OdService/download/A17000000J-020057-rpR",verify=0)
# print(type(html.text))
f = io.StringIO(html.text)
# print(f.read())

import xml.etree.ElementTree as ET
obj = ET.parse(f)
print(type(obj))                   #ElementTree Objects
print(type(obj.getroot()))         #Element Objects
print(obj.getroot().tag)           #ass_hosp
print(obj.getroot()[0].tag)        #認可醫療機構
print(obj.getroot()[0][0].tag)     #縣市別
print(obj.getroot()[0][0].text)    #新北市

worker_root = obj.getroot()
# print(type(obj)) #ElementTree Objects

s="縣市別,醫療機構名稱,醫療機構地址\n"
for worker_row in worker_root:
    s+="{},{},{}\n".format(worker_row[0].text,worker_row[1].text,worker_row[2].text)
#print(s)
#轉存為csv
f2=open("worker_0823-25.csv","w",encoding="UTF-8")
f2.write(s)
f2.close()

cols=["縣市別","醫療機構名稱","醫療機構地址"]
data=[]
index=[]

# for youbike_row in youbike_root:   
#     data.append([youbike_row[0].text,youbike_row[1].text,youbike_row[2].text])
#     index.append(youbike_row[0].text)
#print(data)

for i in range(0,len(worker_root)):   
    data.append([worker_root[i][0].text,worker_root[i][1].text,worker_root[i][2].text])
    index.append(i+1)

import pandas as pd
df = pd.DataFrame(data,index,cols)
#print(df)
df.to_excel("worker_0823-25.xlsx")