Python用字串新增屬性

標題：Python用字串新增屬性

副標題：Python set attribute by string

今天用pydicom時，需要替Dataset(ds)新增屬性。

程式碼如下：

ds.PixelSpacing=[1, 1]

---

但是呢，這個專案的規畫人想透過json檔案中的屬性表動態新增屬性，所以需要用字串來新增屬性，該怎麼做呢。

可以將以上程式碼改成：

setattr(ds, 'PixelSpacing', [1,1])

這樣就可以用字串動態新增屬性了。

numpy的操作示範(待更新)

 #引入numpy套件

import numpy as np

 

#將串列轉成ndarray陣列

a=np.array([1,2,3,4,5,6,7,8,9,10,11,12])

#印出陣列的形狀

print(a.shape)

#(12,)

 

#印出a的內容

print(a)

#[ 1  2  3  4  5  6  7  8  9 10 11 12]

 

#將a轉成3*4的二維陣列

a.shape=3,4

#印出a的內容

print(a)

'''

[[ 1  2  3  4]

 [ 5  6  7  8]

 [ 9 10 11 12]]

'''

 

#將a轉成2*6的二維陣列

a=a.reshape(2,6)

#印出a的內容

print(a)

'''

[[ 1  2  3  4  5  6]

 [ 7  8  9 10 11 12]]

'''

#指定第[0,5]的數字為33

a[0,5]=33

print(a)

'''

[[ 1  2  3  4  5 33]

 [ 7  8  9 10 11 12]]

'''

#指定第[1,5]的數字為66

a[1,5]=66

print(a)

'''

[[ 1  2  3  4  5 33]

 [ 7  8  9 10 11 66]]

'''

 

#印出a的最大值、最小值、中位數

print(a.max(),a.min(),np.median(a))

#66 1 7.5

 

#矩陣運算，將a的所有數字加上5後乘以2

a=(a+5)*2

 

print(a)

'''

[[ 12  14  16  18  20  76]

 [ 24  26  28  30  32 142]]

'''

 

#印出有哪些數字大於30

print(a>30)

'''

[[False False False False False  True]

 [False False False False  True  True]]

'''

 

#印出大於30的數字

print(a[a>30])

#[ 76  32 142]

 

#將大於30的數字歸零

a[a>30]=0

print(a)

 

#將a由小到大排序

a=np.sort(a)

print(a)

'''

[[ 0 12 14 16 18 20]

 [ 0  0 24 26 28 30]]

'''

#建立0到59，間隔為10的陣列，並指派到b

b=np.arange(0,60,10)

print(b)

#[ 0 10 20 30 40 50]

 

#將一維陣列改成為二維陣列

b=b.reshape(-1,1)

print(b)

'''

[[ 0]

 [10]

 [20]

 [30]

 [40]

 [50]]

'''

 

#將上方的二維陣列加上[0, 1, 2, 3, 4, 5]

b=np.arange(0,60,10).reshape(-1,1)+np.arange(0,6)

print(b)

'''

[[ 0  1  2  3  4  5]

 [10 11 12 13 14 15]

 [20 21 22 23 24 25]

 [30 31 32 33 34 35]

 [40 41 42 43 44 45]

 [50 51 52 53 54 55]]

'''

 

#範例：若沒有轉成二維陣列就相加的情況

temp=np.arange(0,60,10)+np.arange(0,6)

print(temp)

#[ 0 11 22 33 44 55]

 

#選取中間(去除掉外框的部分)

print(b[1:-1,1:-1])

'''

[[11 12 13 14]

 [21 22 23 24]

 [31 32 33 34]

 [41 42 43 44]]

'''

#將中間歸零

b[1:-1,1:-1]=0

print(b)

'''

[[ 0  1  2  3  4  5]

 [10  0  0  0  0 15]

 [20  0  0  0  0 25]

 [30  0  0  0  0 35]

 [40  0  0  0  0 45]

 [50 51 52 53 54 55]]

'''

#待更新

parse_args()報錯:ipykernel_launcher.py: error: unrecognized arguments:

標題：

args = parser.parse_args報錯:ipykernel_launcher.py: error: unrecognized arguments。

或:

args = parser.parse_args報錯:An exception has occurred, use %tb to see the full traceback.

SystemExit: 2

===分隔線===

今天使用Python的args = parser.parse_args時遇到了以下錯誤：

錯誤內容如下：

ipykernel_launcher.py: error: unrecognized arguments

或

An exception has occurred, use %tb to see the full traceback.

SystemExit: 2

如何解決呢？

將 args = parser.parse_args()

改成 args = parser.parse_args(args=[])

改完重新執行程式後，錯誤就消失了。

用tkinter開視窗選擇要顯示的圖片及檔名

標題： 用tkinter開視窗選擇要顯示的圖片及檔名。

意思就是，可以在tkinter中開選擇視窗選擇要開啟的圖片，然後顯示圖片和檔名出來。

===分隔線===

今天要來使用tkinter顯示圖片和圖片，直接進入正題吧！

首先，載入以下套件：

import cv2

import numpy as np

import tkinter as tk

from PIL import Image, ImageTk

from tkinter import StringVar, IntVar

from tkinter.filedialog import askopenfilename

然後設定一個tkinter視窗，標題為圖片顯示，大小為450*700。

window = tk.Tk()

window.title('圖片顯示')

window.geometry('450x700')

接著定義一個函數：

def OpenFile():

    #這是圖片檔的路徑

    filename = askopenfilename()

    #用cv2載入圖片，我們不用imread，因為它不支援中文。

    img = cv2.imdecode(np.fromfile(filename,dtype=np.uint8), cv2.IMREAD_COLOR)

    #將cv2的BGR轉成RGB

    img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)

    #重新調整圖片大小

    img=cv2.resize(img,(450,280))

    #將img載入為PIL的格式。

    im = Image.fromarray(img)

    #將img載入到ImageTK中

    photo = ImageTk.PhotoImage(im)

    #設定labelimg為圖片作顯示(下方會提到)

    labelimg.configure(image=photo)

    labelimg.image = photo

    #設定text1為檔名作顯示(下方會提到)

    #filename.split("/")[-1]的意思是，將路徑的/前方砍掉，只留下檔名。

    text1.set(filename.split("/")[-1])

接著於函數下方(函數外面)設定tkinter的Button：

b2 = tk.Button(window, text='open', font=('Arial', 12), width=10, height=1, command=OpenFile)

b2.pack()

注意藍色處，意思就是按下去後執行剛剛的OpenFile函數。

設定剛才OpenFile函數中的text1，為顯示檔名的label。

text1 = StringVar()

label1 = tk.Label(window,textvariable=text1, text='1799', font=('Arial', 12), width=100, height=8)

label1.pack()

設定剛才OpenFile函數中的labelimg，它是顯示圖片用的。 

labelimg = tk.Label(window, image="")

labelimg.pack()

設定視窗為無限循環(一直保持開啟的狀態直到使用者關閉視窗)

window.mainloop()

由上整理出完整的程式碼如下：

import cv2

import numpy as np

import tkinter as tk

from PIL import Image, ImageTk

from tkinter import StringVar, IntVar

from tkinter.filedialog import askopenfilename

window = tk.Tk()

window.title('圖片顯示')

window.geometry('450x700')

def OpenFile():

    #這是圖片檔的路徑

    filename = askopenfilename()

    #用cv2載入圖片，我們不用imread，因為它不支援中文。

    img = cv2.imdecode(np.fromfile(filename,dtype=np.uint8), cv2.IMREAD_COLOR)

    #將cv2的BGR轉成RGB

    img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)

    #重新調整圖片大小

    img=cv2.resize(img,(450,280))

    #將img載入為PIL的格式。

    im = Image.fromarray(img)

    #將img載入到ImageTK中

    photo = ImageTk.PhotoImage(im)

    #設定labelimg為圖片作顯示

    labelimg.configure(image=photo)

    labelimg.image = photo

    #設定text1為檔名作顯示

    #filename.split("/")[-1]的意思是，將路徑的/前方砍掉，只留下檔名。

    text1.set(filename.split("/")[-1])

b2 = tk.Button(window, text='open', font=('Arial', 12), width=10, height=1, command=OpenFile)

b2.pack()

text1 = StringVar()

label1 = tk.Label(window,textvariable=text1, text='1799', font=('Arial', 12), width=100, height=8)

label1.pack()

labelimg = tk.Label(window, image="")

labelimg.pack()

window.mainloop()

現在來執行一次程式看看吧！

按下執行，可以看到一個視窗，有個按鈕。

按下open按鈕之後，有個對話視窗可以顯示欲選擇的圖片。

我們選擇的當然是頁面上唯一的一張立華奏彈鋼琴圖啦～

選擇了之後，就會看到我那張超讚的立華奏的圖被畫到tkinter的視窗上去了。

如果覺得立華奏很讚，或這篇文有幫助到你們的話，請留言或幫忙按個廣告吧。

您的支持是我寫文的最大動力。

如果失敗了，也請留言讓我知道，看看哪個環節出了問題，我有看到就會回。

希望這篇文有幫助到各位ξ( ✿＞◡❛)

在cv2中實現BGR轉LAB

 標題:在cv2中實現BGR轉LAB 或

在python cv2中進行正確的BGR2LAB 或

在python cv2中取得LAB

其實正確版要做兩個步驟，第一項是

步驟一:

img2=cv2.cvtColor (img, cv2.COLOR_BGR2LAB)

但是，轉出來的並不是正確的LAB。

步驟二:

還要再將LAB的L進行:L=L*100/255

再將LAB的A進行:A=A-128

再將LAB的B進行:B=B-128

記得型態要改成.astype('float')而非原來的uint8

如此一來便得到正確的BGR2LAB了。

解決matplotlab的TypeError: 'str' object is not callable.問題

 標題：解決matplotlab的TypeError: 'str' object is not callable.問題

今天在利用matplotlab畫圖時，編輯器報了以下錯誤：

TypeError: 'str' object is not callable.

如何解決呢，我們只要把內核關掉重開就行，如果不知道怎麼關內核，可以直接關閉程式後重開程式。

重開之後，圖已經可以畫了。

[免降版]解決object arrays cannot be loaded when allow_pickle=false問題

標題：[不用降版本]解決object arrays cannot be loaded when allow_pickle=false問題

今天在使用Python的np.load時發生以下錯誤：

object arrays cannot be loaded when allow_pickle=false

看網路上說需要降numpy的版本，那有沒有不需要降版本的解決方式呢？有的。

我們把np.load("file.npy")改成np.load("file.npy",allow_pickle=True)

然後再執行一次，npy檔已經可以載入了。

Python讀檔時發生PermissionError問題

最近用Python讀取csv檔時報了下面的錯誤：
PermissionError: [Errno 13] Permission denied: './PCA4.csv'

類似這種PermissionError的問題，十有八九都是因為有檔案還開著它。

所以我們看一下Excel是否開啟著這個csv檔，果然，是開著的，我們現在把它從Excel中關閉。

關閉之後，PermissionError的問題就解決了，csv檔也能正常存取。

[教學]釋放jupyter的GPU記憶體

目前在使用jupyter執行Tensorflow時發現，即使關閉了頁面，其記憶體與GPU的記憶體資源依然沒有釋放

如何解決呢

首先，進入檔案清單的頁面，按下Running

接著對要釋放記憶的工作按下shutdown，記憶體及GPU的資源就成功釋放了

[tf.keras]利用LSTM預測泵傳感器剩餘壽命(四)—驗證

在上一章節我們訓練完成了模型檔，並儲存為LSTM_result.h5的檔案，現在，我們在資料檔的同一個資料夾建立名為lstm_verification.py的檔案，並使用程式碼編輯器開啟它。

驗證前將引入以下套件：

import pandas as pd

import numpy as np

from tensorflow.keras.models import load_model

import copy

利用pandas讀取上一章節建立的正規化前資料。

valueList= pd.read_csv('./ValueList.csv')

利用pandas讀取一開始建立的訓練檔資料。

df2 = pd.read_csv('./test_sensor.csv')

利用drop移除不需要的欄位，並利用fillna將空白資料填滿0。

df2 = df2.drop(['timestamp','sensor_15','sensor_50','Unnamed: 0','machine_status'],axis=1)

df2 =df2.fillna(value=0)

建立正規化的函數，使用訓練時儲存的參數。

def normalize(train2):

    for i in train2:

        max11=valueList[i][0]

        min11=valueList[i][1]

        mean11=valueList[i][2]

        train2[i]= train2[i].apply(lambda x: (x - mean11) / (max11 - min11))

        train2[i][train2[i]>(max11 - mean11) / (max11 - min11)]=(max11 - mean11) / (max11 - min11)

        train2[i][train2[i]<(min11 - mean11) / (max11 - min11)]=(min11 - mean11) / (max11 - min11)

    return train2

建立反正規化函數，依然是使用訓練時儲存的參數。

def unnormalize(train):

  train2 = copy.deepcopy(train) 

  for i in range(len(train)):

      train2[i]=train[i]*(valueList['time_left'][0]-valueList['time_left'][1])+valueList['time_left'][2]

  return train2

資料的X刪除剩餘時間，而Y則是只保留剩餘時間。

def buildTrain(train):

  X_train, Y_train = [], []

  train2=train.drop(['time_left'],axis=1)

  #for i in range(train.shape[0]):

  X_train=np.array(train2.iloc[:][:]).tolist()

  Y_train=np.array(train.iloc[:]["time_left"]).tolist()

  return np.array(X_train), np.array(Y_train)

工具函數都訂好了之後，將資料除60再除24，能夠將分鐘換算成天，我們就以天為單位做驗證。

df2["time_left"]=df2["time_left"]/60/24

替驗證資料做正規化及上一章節提到過的動作。

test_norm =normalize(df2)

X_val, Y_val = buildTrain(test_norm)

X_val = X_val[:,np.newaxis]

載入訓練完成的模型。

model=load_model("LSTM_result.h5")

進行預測

prediction=model.predict(X_val)

count=0

prediction1=prediction

for i in range(prediction1.shape[0]):

    prediction1[i]=unnormalize(prediction[i])

Y_val1=unnormalize(Y_val)

for i in range(len(Y_val)):

    if prediction1[i][0][0]<=Y_val1[i]+0.5 and prediction1[i][0][0]>=Y_val1[i]-0.5:

        count=count+1

print(count/len(Y_val1))

最後驗證的準確度為：0.9955842595373986
意謂著，若以天為單位(正負誤差12小時)，訓練集跟驗證集的準確度差不多，都有99%的準確度。

[tf.keras]利用LSTM預測泵傳感器剩餘壽命(三)—訓練

我們在資料檔的同一個資料夾建立名為lstm_train.py的檔案，並使用程式碼編輯器開啟它。

訓練前將引入以下套件：

import pandas as pd

import numpy as np

from tensorflow.python.keras.models import Sequential

from tensorflow.python.keras.layers import Dense, Dropout, Activation, Flatten, LSTM, TimeDistributed, RepeatVector

from tensorflow.python.keras.layers.normalization import BatchNormalization

from tensorflow.python.keras.optimizer_v2.adam import Adam

from tensorflow.python.keras.callbacks import EarlyStopping, ModelCheckpoint

import matplotlib.pyplot as plt

from tensorflow.keras.models import load_model

import copy

利用pandas讀取上一章節建立的訓練檔資料。

df = pd.read_csv('./train_sensor.csv')

利用drop移除不需要的欄位，並利用fillna將空白資料填滿0。

df = df.drop(['timestamp','sensor_15','sensor_50','Unnamed: 0','machine_status'],axis=1)

df =df.fillna(value=0)

定義正規化函數，將資料正規化為：
(值-平均)/(對大值-最小值)

/def normalize(train):

  train_norm = train.apply(lambda x: (x - np.mean(x)) / (np.max(x) - np.min(x)))

  return train_norm

定義反正規化函數，目的是最後在驗證時要把正規化後的剩餘時間反轉回原來的數字。
註：valueList為之後才會宣告的物件。

def unnormalize(train):

  train2 = copy.deepcopy(train) 

  for i in range(len(train)):

      train2[i]=train[i]*(valueList['time_left'][0]-valueList['time_left'][1])+valueList['time_left'][2]

  return train2

這個是儲存正規化前資料用的csv檔，包含資料欄位的最大值、最小值、平均值。
註：如忽略此項動作，對驗證檔單獨驗證時會比較麻煩。

def save_normalize(df):

    ValueList=copy.deepcopy(df[:][:3])

    for i in df:

        max1=np.max(df[i][:])

        min1=np.min(df[i][:])

        mean1=np.mean(df[i][:])

        ValueList[i][0]=max1

        ValueList[i][1]=min1

        ValueList[i][2]=mean1

    ValueList.to_csv('./ValueList.csv')

這是切分函數，輸入數值(如0.1)將切割成90%的訓練資料及10%的驗證資料並回傳。

def splitData(X,Y,rate):

  X_train = X[int(X.shape[0]*rate):]

  Y_train = Y[int(Y.shape[0]*rate):]

  X_val = X[:int(X.shape[0]*rate)]

  Y_val = Y[:int(Y.shape[0]*rate)]

  return X_train, Y_train, X_val, Y_val

這是將訓練資料的X刪除剩餘時間，而Y則是只保留剩餘時間。

def buildTrain(train):

  X_train, Y_train = [], []

  train2=train.drop(['time_left'],axis=1)

  X_train=np.array(train2.iloc[:][:]).tolist()

  Y_train=np.array(train.iloc[:]["time_left"]).tolist()

  return np.array(X_train), np.array(Y_train)

shuffle函數則是將訓練資料洗牌(由於之前在Excel洗牌過了，所以也可忽略)。
註：np.random.seed相當重要，那代表亂數種子，可以用它來確保每次亂數結果相同，在模型儲存後重開視窗二度訓練時就能使這次的打亂跟上次一樣，否則第二次切分後的訓練集跟驗證集將跟第一次的切分混淆。

def shuffle(X,Y):

  np.random.seed(10)

  randomList = np.arange(X.shape[0])

  np.random.shuffle(randomList)

  return X[randomList], Y[randomList]

工具函數都訂好了之後，將資料除60再除24，能夠將分鐘換算成天，我們就以天為單位做訓練和驗證。

df["time_left"]=df["time_left"]/60/24

儲存正規化前的資料。

save_normalize(df)

將資料正規化，並讓X跟Y分離：
X為sensor的資料，Y為剩餘天數。

train_norm = normalize(df)

X_train, Y_train = buildTrain(train_norm)

將資料洗牌(可斟酌情況忽略)

X_train, Y_train = shuffle(X_train, Y_train)

將資料切分為訓練過程時的訓練，跟驗證(並非驗證檔的驗證)。

X_train, Y_train, X_val, Y_val = splitData(X_train, Y_train, 0.1)

提升X的維度。

X_train = X_train[:,np.newaxis]

X_val = X_val[:,np.newaxis]

建立model用的函數，我們疊了四層LSTM，損失函數為mse，優化器為adam。
註：這些並沒有標準答案，可以自己配置。

def buildOneToOneModel(shape):

  model = Sequential()

  model.add(LSTM(128, input_length=shape[1], input_dim=shape[2],return_sequences=True))

  model.add(LSTM(128, input_length=shape[1], input_dim=shape[2],return_sequences=True))

  model.add(LSTM(128, input_length=shape[1], input_dim=shape[2],return_sequences=True))

  model.add(LSTM(128, input_length=shape[1], input_dim=shape[2],return_sequences=True))

  model.add(TimeDistributed(Dense(1)))

  model.compile(loss='mse', optimizer="adam")

  model.summary()

  return model

定義繪製圖形函數，在訓練完後可以輸出訓練過程。

def plot1(history):

     N = np.arange(0, len(history['loss']))

     fig=plt.figure()

     fig.set_size_inches(18.5, 10.5)

     plt.plot(N, history['loss'], label = "train_loss")

     plt.plot(N, history['val_loss'], label = "val_loss")

     plt.xlabel("Epoch #")

     plt.ylabel("Loss")

     plt.legend()

     plt.savefig('loss.png', dpi=100)

     plt.close()

建立模型

model = buildOneToOneModel(X_train.shape)

我們使用，EarlyStopping做訓練時的callback，當發生訓練時loss不減反增10次時立即停止訓練。

callback = EarlyStopping(monitor="loss", patience=10, verbose=1, mode="auto")

這是執行訓練，放入X_train, Y_train分別為訓練的90%資料，validation_data是驗證的資料(10%)，epochs為訓練次數，batch_size為每批次訓練的樣本數，callbacks為剛剛指定的EarlyStopping。

history=model.fit(X_train, Y_train, epochs=300, batch_size=256, validation_data=(X_val, Y_val), callbacks=[callback])

訓練完後將執行這行，輸出訓練過程。

plot1(history.history)

接著讀取訓練前建立的資料檔案，它是正規化之前的最大值、最小值、平均值。

valueList= pd.read_csv('./ValueList.csv')

這是訓練完後對那10%的驗證進行的準確度評估，步驟是預測X_val的結果並儲入prediction並將其反正規化。
然後用迴圈一條一條確認真實結果跟預測的差別，在此範例，誤差半天的range就是24小時，所以以誤差半天作為驗證標準是合理的。

prediction=model.predict(X_val)

count=0

prediction1=prediction

for i in range(prediction1.shape[0]):

    prediction1[i]=unnormalize(prediction[i])

Y_val1=unnormalize(Y_val)

for i in range(len(Y_val)):

    if prediction1[i][0][0]<=Y_val1[i]+0.5 and prediction1[i][0][0]>=Y_val1[i]-0.5:

        count=count+1

print(count/len(Y_val1))  

驗證完後如果評估訓練結果成功，可以將結果儲存。

model.save("LSTM_result.h5")

以後要二次訓練或驗證時，只要將程式碼中的：
model = buildOneToOneModel(X_train.shape)
取代為：

model=load_model("LSTM_result.h5")

即可接續上次的模型繼續訓練或驗證。

=====執行結果=====
執行model.fit時應該會出現類似以下的畫面：

Model: "sequential"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
lstm (LSTM)                  (None, 1, 128)            92160     
_________________________________________________________________
lstm_1 (LSTM)                (None, 1, 128)            131584    
_________________________________________________________________
lstm_2 (LSTM)                (None, 1, 128)            131584    
_________________________________________________________________
lstm_3 (LSTM)                (None, 1, 128)            131584    
_________________________________________________________________
time_distributed (TimeDistri (None, 1, 1)              129       
=================================================================
Total params: 487,041
Trainable params: 487,041
Non-trainable params: 0
_________________________________________________________________
Train on 119836 samples, validate on 13315 samples
Epoch 1/300
119836/119836 [==============================] - 14s 113us/sample - loss: 0.0385 - val_loss: 0.0258
Epoch 2/300
119836/119836 [==============================] - 7s 58us/sample - loss: 0.0215 - val_loss: 0.0206
Epoch 3/300
119836/119836 [==============================] - 7s 56us/sample - loss: 0.0150 - val_loss: 0.0122
Epoch 4/300
119836/119836 [==============================] - 7s 58us/sample - loss: 0.0117 - val_loss: 0.0107
.
.
.
Epoch 185/300
119836/119836 [==============================] - 7s 55us/sample - loss: 1.9707e-05 - val_loss: 4.0432e-05
Epoch 186/300
119836/119836 [==============================] - 7s 55us/sample - loss: 1.9298e-05 - val_loss: 3.8655e-05
Epoch 187/300
119836/119836 [==============================] - 7s 55us/sample - loss: 9.7278e-05 - val_loss: 6.1180e-05
Epoch 00187: early stopping

訓練過程則會儲存成loss.png檔，可以看出沒有明顯的過擬合。

驗證時則會出現類似以下數字：
0.9960946301164101
這個數字代表準確度99.6%，但，我們還有一份切割20%的驗證檔，利用它評估比較準確，將於下一章節驗證。

另外，神經網路這種東西本來就有運氣成分在，所以執行結果跟本文的結果有微小的誤差是正常的。

[tf.keras]利用LSTM預測泵傳感器剩餘壽命(四)—驗證