【第19話】 EDC管理シートの考察

EDC管理シートについて研究するページです。

*万が一文中に解釈の間違い等がありましても、当社では責任をとりかねます。
 本文書の改訂は予告なく行われることがあります。

EDCに関する適合性調査の見直しとEDC管理シート

独立行政法人医薬品医療機器総合機構(以下、PMDA)は、平成25年3月27日に「EDCを利用した治験、製造販売後臨床試験及び使用成績調査に係る適合性調査等の実施手続きについて」と題する通知を発出した。
本通知はPMDAが、EDC(Electronic Data Capture)を利用した治験、製造販売後臨床試験及び使用成績調査(以下、治験等)に関する適合性調査を効果的かつ効率的に実施するため、調査事前提出資料として製薬企業等にEDCを利用した業務がどのように行われているかをまとめたEDC管理シートの作成、提出を求めるものである。
2009年10月から、PMDA信頼性保証部では、EDCを利用した治験等の資料を確認する際、「EDC調査チェックリスト(案)治験依頼者用」及び「EDC調査チェックリスト(案)医療機関用」を使用し、医薬品の承認申請資料に係る適合性書面調査及びGCP実地調査並びに医薬品の再審査及び再評価申請資料の適合性書面調査及びGPSP実地調査(以下「適合性調査」という。)を実施してきた。
本邦における適合性書面調査は、申請品目毎に実施されることになっている。したがって、これまでは過去に申請した品目で使用していたEDCシステムを、別の申請品目で使用した場合、再度調査を受けなければならなかった。
EDC管理シートは、これまでの重複した調査を省略するために考案されている。

EDC管理シートとは

EDC管理シートは、EDCを利用した業務のプロセスを効果的かつ効率的に確認することを目的として、「EDC調査チェックリスト(案)治験依頼者用」を見直したものである。
これにより、「EDC調査チェックリスト(案)治験依頼者用」は廃止となった。
ここで注意が必要なのは、EDC管理シートは、事前提出資料であって、調査当日のチェックリストではない。したがって、従前から使用されてきた「EDC調査チェックリスト(案)治験依頼者用」を置き換えたものではない。
EDC管理シートは、原則として平成25年10月1日以降に実施される適合性調査から、事前提出資料として提出が求められる。
事前提出資料のため、PMDAの調査担当者は、EDC管理シートを事前に精査し、手順書や発生する記録等の把握を行うものと思われる。
適合性書面調査当日は、EDC管理シートに基づき、作成されているはずの手順書、記録書や実施状況を調査することになる。
EDC管理シートは、EDCを利用した治験等について、データ等の品質確保に関するプロセスの概要等を記載するものである。
ちなみにPMDAによると、EDC管理シートは、適合性調査終了後やシステム、手順等の変更時等に、随時、更新・管理することにより、治験依頼者等の自己点検ツールとして活用することも可能であるとしている。

EDC管理シートの構成と記載方法

EDC管理シートは、運用手順シートと使用実績シートおよびそれらの改訂履歴から構成されている。
運用手順シートは、当該EDCシステムについて説明し、使用実績シートは、実施した治験を時系列に説明する。

  1. 運用手順シート

治験等で利用したEDCシステムの概要、業務委託の状況(該当する場合)、手順書の名称及び版、手順の概略及び発生する書類、治験等の実施中に発生したシステムの不具合及び運用手順の不遵守、従前の適合性調査において指摘された事項及びその改善状況等を記載する。
運用手順シートには、複数の治験等で同一の手順書が使用されている場合に記載する。治験毎で手順書が異なる場合は、運用手順シートにその旨を記載の上、手順書名等は、使用実績シートに記載する。

  1. 使用実績シート

EDCシステムを利用して実施した各治験等における利用状況の概要、業務委託契約、手順書の名称及び版、手順の概略及び発生する書類等を記載する。
運用手順シートに記載済みの情報(手順の概略、発生する書類等)は、使用実績シートには簡潔に記載すること。
使用実績シートには、適合性調査の調査対象申請資料に含まれる治験等(海外で実施された治験等も含む)の情報のみではなく、当該シートを活用した初回適合性調査以降に開始された、当該EDCシステムにより実施中の治験等(国内における治験等及び日本を含む国際共同治験等)の情報も記載しなければならない。
つまり、当該申請品目のみではないということである。未申請であっても、当該EDCシステムを使用し、現在実施中の他の治験等も記載しなければならないのである。
ただし、EDC管理シートを初めて提出した適合性調査以降に開始された治験等のみで構わない。
これには、国内における治験等及び日本を含む国際共同治験等を含むが、海外だけでの治験等は対象とならない。
EDC管理シートは、当該シートを活用した初回適合性調査の調査対象申請資料に含まれる治験等から記載を開始すること。
適合性調査時に繰り返し質問等される事項がある場合には、次回調査の際に提出するEDC管理シートに当該事項を追記することで、繰り返しの確認を避け、調査を効率的に受けることができる。
したがって、2回目以降のEDC管理シートの提出の際には、前回提出したEDC管理シートの内容を削除せず、変更があった項目のみ追記すること。
また、EDC管理シート作成にあたっては、過去の適合性調査における確認状況を明確にしておくこと。

EDC管理シートの適用範囲

EDC管理シートを用いた調査は、原則として、調査対象申請資料に含まれる治験等が以下の1)及び2)に該当する場合の、治験依頼者等に対する適合性調査に適用する。

  1. 治験等のデータ収集に際し、治験依頼者等が提供したEDCシステムが利用されている。

(例:治験依頼者等によって管理される症例報告書、患者日誌、製造販売後調査の調査票等の作成システム)

  1. 治験等のデータが、医療機関等から治験依頼者等(治験依頼者等から業務の委託を受けた者を含む。)に電磁的に提供されている。

なお、症例報告書等を紙媒体により保存する場合であっても、1)および2)に該当する場合には適用される。
また、治験等のデータ収集に際し、医療機関が管理するシステムが利用され、且つ、2)に該当する場合であっても、必要に応じて、EDC管理シートを用いた適合性調査を実施する。
医師主導治験の自ら治験を実施する者に対する適合性調査においては、原則としてEDC管理シートは使用しない。

EDC管理シートの作成及び提出

治験依頼者等は、EDC管理シートを作成し、調査直前提出資料又は事前提出資料として、加工可能なファイル形式でPMDAに提出する。
なお、ファイル名称については、EDC管理シートの記載上の注意事項を参照のこと。
PMDA調査担当者は、提出されたEDC管理シートを適合性調査の実施前に確認し、不明な点等について治験依頼者等に確認するとともに、必要に応じて修正及び再提出を依頼する。
なお、品質管理上、調査対象申請資料の評価等への影響が大きい不具合等が発生している場合には、治験依頼者等は、適合性調査実施前にPMDA調査担当者に連絡すること。

EDC管理シートの問題点

EDCシステム毎に作成する

EDC管理システムのコンセプトは、EDCシステムに手順書が紐付いていることを前提としていると思われる。つまりEDCシステムが異なれば、手順書も異なるという前提であろう。ところが、運用に関する手順書(例:セキュリティポリシー、ガイドライン等)は、システムに依存するものではないので、複数のEDCシステムを使用した場合は、重複して記載することになる。
適合性調査毎(つまり申請品目毎)ではなく、 EDCシステム毎に「EDC管理シート」を作成しなければならないので、注意が必要である。
例えば、1申請品目で、治験毎に複数のEDCシステムを使用した場合は、EDC管理シートを使用したEDCシステムの数分作成しなければならない。
例)1品目の治験で3種類のEDCシステムを使用した場合は、EDC管理シートを3枚作成しなければならない。

ER/ES指針およびGCP運用通知(第26条 第1項)に基づいている

EDC管理シートは、ER/ES指針およびGCP運用通知(第26条 第1項)の条文をチェックリストとして用いている。これでは、EDCに特化した適切な調査にはならない。
つまり、要件が大雑把すぎる。
EDCシステムを使用した治験等の信頼性全般を詳細にチェックするのであれば、平成19年11月1日 に日本製薬工業協会 医薬品評価委員会から出された「臨床試験データの電子的取得に関するガイダンス」等に沿うべきではないかと考える。

チェックリストではない

前述のとおり、EDC管理シートは事前提出資料である。したがって、適合性書面調査当日には、どのような調査が行われるのかは不明である。
従前のような「EDC調査チェックリスト(案)治験依頼者用」がないためである。
果たして調査担当者は、個別にチェックリストを作成し、それに基づいて調査を行うのであろうか。

当該申請に関する治験等のみとは限らない

前述のとおり、調査対象は、当該申請品目に関する治験等のみとは限らない。
特に注意が必要なのは、現在進行中の治験等で使用しているEDCシステムに関して、別の治験等で重大な不具合や問題が発生していた場合、それらに対処しているかどうかである。
PMDAの懸念は、当該EDCシステムの不具合等が、他の治験等にも影響することである。

記載方法がわかりにくい

適合性調査は申請品目毎に実施されるが、重複した調査を省略するための工夫が、かえってわかりにくい(記入しにくい)ものになってしまっている。
また運用手順シートと使用実績シートで、重複して記載する項目が少なからずあり、複雑である。

MS-Excelで作成されている

MS-Excel は、表計算ソフトでありワープロではないため、不適切である。
その理由として

  1. 印刷時にはみ出し、欠けが生じる可能性がある
  2. 変更履歴がとれない
  3. 目次が自動作成できない
  4. 検索機能が弱い

などがあげられる。
また、EDC管理シートは、繰り返し使用し追記していくことになっているが、いずれは膨大な表になってしまい、適切な印刷ができなることは自明である。

用語の定義がない

運用手順シートの「1. システムの概要」に、「リリース宣言」という項目があるが、これは何を記載するのであろうか。
筆者は、当該EDC システムの当該バージョンが、当該ベンダーによってリリースされた日を記載すると考えている。
また、運用手順シートには、「実施中」と「終了後」という用語が出てくるが、その定義がされていない。「実施中」とは、いつからいつまでを想定しているのだろうか。またいつから「終了後」となるのだろうか。
企業によっては、そのとらえ方が異なることが予想される。
筆者は、「実施中」はEDC システムのサーバに症例データが存在する期間で、「終了後」はpdf として症例データが出力された後と考えている。その方が、明確に区別がしやすいからである。
もちろん、終了後もpdf 化せずにEDC システムにそのまま症例データを保存しているケースがあるが、その場合の「実施中」と「終了後」の定義は、明確にしておかなければならない。

保存性に関して、終了後のみとなっている

「3.1.3. 電磁的記録の保存性」に関する記載欄が、終了後しかない。
e- 文書法、厚生労働省令第44 号、ER/ES 指針等が意図する保存とは、データをサーバに送信した際からその対象となる。
治験中の症例データの保存に関して、調査に含まれていないのは、不適切である。

電子署名に含まれる情報に関して、実施中と終了後の区別がない

電子署名に含まれる情報に関して、実施中と終了後の区別がない。実施中のEDCシステムで管理し、表示する電子署名の情報(署名者の氏名、署名が行われた日時)は、治験等が終了し、pdf化した際にも含まれていなければならない。

運用手順シートの記載方法

システムの概要
EDCシステムの名称
システム区分□ ASPサービス(会社名:           )
□ 社内構築
□ その他(                   )
使用目的□ 01症例報告書  
□ 02患者日誌  
□ 03製造販売後調査等の調査票  
□ 04その他(           )
システム全般のセキュリティ対策□ ASPサービスのセキュリティポリシー/手順を使用している
□ 社内のセキュリティポリシー/手順を使用している
□ その他(                   )

「EDCシステムの名称」には、使用したEDCシステムの名称を記載する。つまり、本EDC管理シートは、EDCシステム毎に作成することになる。
「システム区分」で、「社内構築」は何を意図するのであろうか。筆者は外国企業から質問を受けて、英訳する際に戸惑った経験がある。
ASP サービスであっても、入力画面、ロジカルチェック等を” 社内構築” することは当然あり得る。
おそらくASP サービスではなく、EDCシステムを自社で購入して、自社の管理するサーバで稼働させているということを意味していると思われる。そうであれば、「自社サーバ」という表記の方がわかりやすい。
もちろんEDCシステム自体を自社で開発しているケースもあるかも知れない。
「使用目的」の「04 その他」は、医療機関や中央検査機関から電子データ(eLabo)を入手した場合などを記載するものと思われる。
「システム全般のセキュリティ対策」の「ASP サービスのセキュリティポリシー/ 手順を使用している」と「社内のセキュリティポリシー/ 手順を使用している」の区別も難しい。
一般に、機能や仕組み等(SSL を使用するなど)に関しては、ASP 側が決定し、運用等(パスワードなど)に関しては製薬企業側で決定する。すなわち、両方にチェックが入ることになる。

  記入欄
EDCシステムのバージョン
(機能追加など大きなバージョンアップのみ記載する)
       
使用期間
(20xx/xx/xx~20xx/xx/xx)
リリース宣言
(20xx/xx/xx)
       
前回のバージョンとの相違点
※社内又はベンダ等から入手したバージョンリリース資料の概要を簡潔に記載する。新規導入の場合は記入不要。
       
システム導入時及びシステム変更が生じた場合のコンピュータ・システム・バリデーションの実施状況、又は、確認状況        

「EDCシステムのバージョン」では、「機能追加など大きなバージョンアップのみ記載する」とある。では、どの程度が大きなバージョンアップに相当するのであろうか。
おそらく、リビジョンのような細かい変更なものは記載せず、Ver.1.0からVer.1.1のようにマイナーバージョンが変更になると、記載する方が良いと思われる。
ここで問題は、自社では治験等の実施がなく、空いた期間のベンダー側のバージョンアップについてどのように記載するのかである。自社で使用していなかったバージョンは割愛しても構わないかも知れないが、Ver.4.2からVer.6.4のように記載した場合、前回のバージョンとの相違点について説明するのは難しくなってしまう。
「使用期間」も、判断が難しい。実際に治験等で使用していた期間を記載するのか、当該バージョンが業界で使用されていた期間なのかが不明確である。
前者の場合は、記載期間に空白が生じる可能性がある。
「リリース宣言」は、誰が“宣言”したことを意図するのであろうか。おそらく、当該EDCシステムの当該バージョンが、当該ベンダーによってリリースされた日を記載するものと思われる。
「システム導入時及びシステム変更が生じた場合のコンピュータ・システム・バリデーションの実施状況、又は、確認状況」は、当該EDCシステムのバリデーションについて記載する。
多くの場合、EDCシステム本体のバリデーションはEDCベンダーが実施するため、ベンダーオーディットにより確認した旨を記載することになる。
治験毎の設定(入力画面、ロジカルチェック等)に関するバリデーションは、次項の「治験等の情報の設定内容に関するバリデーションの手順」に記載する。

業務委託契約(EDCシステムの構築・運用、ヘルプデスクの運営等)

   記入欄 
※包括契約及び個別契約がある場合は、包括契約は本欄に、個別契約は「使用実績シート」に記載する。
※業務を委託した場合は、GCP省令第12条またはGPSP省令第10条に基づく契約が必要となるため留意のこと。
外部委託者名称①        
委託業務内容        
契約日・期間等 契約日 年 月 日
契約期間(自) 年 月 日
契約期間(至) 年 月 日
自動更新 □無 □有
契約日 年 月 日
契約期間(自) 年 月 日
契約期間(至) 年 月 日
自動更新 □無 □有
契約日 年 月 日
契約期間(自) 年 月 日
契約期間(至) 年 月 日
自動更新 □無 □有
契約日 年 月 日
契約期間(自) 年 月 日
契約期間(至) 年 月 日
自動更新 □無 □有
外部委託者名称②        
委託業務内容        
契約日・期間等 契約日 年 月 日
契約期間(自) 年 月 日
契約期間(至) 年 月 日
自動更新 □無 □有
契約日 年 月 日
契約期間(自) 年 月 日
契約期間(至) 年 月 日
自動更新 □無 □有
契約日 年 月 日
契約期間(自) 年 月 日
契約期間(至) 年 月 日
自動更新 □無 □有
契約日 年 月 日
契約期間(自) 年 月 日
契約期間(至) 年 月 日
自動更新 □無 □有

EDCシステムを構築したり運用するためには、複数の企業の支援を得ることになる。
例えば、構築、運用、ヘルプデスク、データマネージメント(SDV)などである。
したがって、この欄には、ベンダー、ASPサービス業者、CRO等で、EDCシステムにかかわる業務を委託した場合に記載することになる。
ただし、包括的な契約(つまり特定の治験等に限定しない契約)は本欄に記載し、個別契約(治験等毎に締結する契約)は「使用実績シート」に記載する。

電磁的記録利用のための要件

ER/ES指針3.1.

対応する要件

ER/ES指針3.1.
電磁的記録利用システムはコンピュータ・システム・バリデーションによりシステムの信頼性が確保されている事を前提とする。
GCP運用通知 第26条第1項3(1)
電子データ処理システムが、完全性、正確性、信頼性及び意図された性能についての治験依頼者の要件を満たしていることを保証し、文書化すること(すなわちバリデーションされること。)

バリデーションは、ER/ES指針でもGCP運用通知でも要求されている事項である。
ここで注意が必要なことは、“バリデーション”の定義である。
通常“バリデーション”という言葉を聞くと、ソフトウェアのバグ潰しのことと思いがちである。もちろんIT業界の定義ではそのとおりである。
製薬業界における“バリデーション”の定義は、少し異なる。GCP運用通知にあるように「意図された性能についての治験依頼者の要件を満たしていることを保証し、文書化すること」を“バリデーション”と呼ぶ。
つまり、ユーザー要求仕様書に記載された要求事項が、当該ソフトウェアに完全に反映されたかどうかを検証することを言う。
GCP運用通知では、Performanceを性能と訳しているので、意味が分かりづらいが、機能のことと理解すればよい。
ちなみに、ユーザー要求仕様書に記載された要求事項が、当該ソフトウェアに完全に反映されたかどうかを検証することを“Performance Qualification(PQ)”と呼ぶ。
なぜこのような検証が必要かというと、ユーザーがベンダーに伝えた要求が、正確に伝わっていない可能性があるからである。例えば、業界の用語の定義が異なったり、誤解などから仕様に齟齬が生じることがあるからである。
したがって、製薬企業でPQを実施する際には、ソフトウェアのバグ潰しを行うのではなく、ソフトウェアの機能が、完全にユーザー要求を満たしたことを検証し、文書化しておかなければならないのである。
当該ソフトウェアのバグ潰しは、その大部分を当該ベンダーに委ねるべきである。

要件項目記入欄
治験等の情報の設定内容に関するバリデーションの手順治験等の情報の設定内容に関するバリデーションの手順書
文書番号:
文書名:
版:
施行日:
前版からの変更点:
手順の概略及び発生する書類:

ここでは、EDCシステムを設定し、当該治験で使用できるようにするためのバリデーション手順書を記載する。つまり、治験等毎に実施するUATに関する手順書を記載する。
設定とは、入力画面設定、ロジカルチェック設定、帳票設定、その他が該当する。
EDCシステム本体のバリデーション(導入時、変更時)については、「1.システムの概要」に概略を記載すること。
文書番号は、当該手順書の番号を記載する。
文書名は、当該手順書の文書名つまりタイトルを記載する。
は、当該治験等が実施されていた当時に使用されていた手順書の版(バージョン)を記載する。現在の最新バージョンではないことに注意しなければならない。
施行日は、同様に当該治験等が実施されていた当時に使用されていた手順書の施行日を記載する。
前版からの変更点は、手順書の改訂の履歴に沿って、内容の加筆・修正について記載する。
手順の概略及び発生する書類は、手順書の内容、つまりアブストラクトを記載し、手順書に沿って業務を実施した際に作成することが規定されている記録(例:ユーザー要求仕様書、バリデーション計画書、テストログ、バリデーション報告書等)について記載する。

ER/ES指針3.1.1.
セキュリティ

対応する要件

ER/ES指針3.1.1.
(1)システムのセキュリティを保持するための規則、手順が文書化されており適切に実施されていること
GCP運用通知
第26条第1項3
(4)データのセキュリティ・システムを保持すること。
(6)データの修正を行う権限を与えられた者の名簿を作成し、管理すること

システムのセキュリティを確保するために、「規則」および「手順」の文書化が必要である。ここで、「規則」と「手順」は異なることに注意が必要である。
「規則」とは、ルール(例:パスワードは6 文字以上など)のことである。「手順」とは、「規則」を守らせるための順序であり、誰が、いつ、何をするかを記載する。
セキュリティには、物理的セキュリティ(入退室制限など)、論理的セキュリティ(パスワードなど)、ネットワークセキュリティ(ファイヤーウォールなど)などがある。またパスワードを紙に記載しておいたり、公言しないなど、人的なセキュリティにも配慮が必要である。
「適切」とは、適切な手順に従って、適切な人が、適切なタイミングで実施することである。
「実施」とは、実施し、実施した記録を作成することである。記録を作成するフォームを手順書に定義しておかなければならない。
「規則、手順が文書化される」とは、実施規定、作業手順等が文書として作成され、承認され、管理されることである。

「データの修正を行う権限を与えられた者の名簿」は、EDC管理シート中では「システムアクセス権限者リスト」と呼ばれている。一般には「アカウント管理表」という名で知られているものである。
「システムアクセス権限者リスト」は、紙媒体による症例報告書による治験の際に作成する「署名・印影一覧表」に相当する。

ER/ES指針3.1.1. 電磁的記録の真正性 電磁的記録が完全で、正確で、信頼できるとともに、作成、変更、削除の責任の所在が明確であること。
真正性を確保するためには、以下の要件を満たすことが必要である。
要件項目 記入欄
セキュリティを保持するための手段 端末・サーバ間通信の暗号化:
□ SSL(セキュア・ソケット・レイヤー)
□ VPN(仮想プライベートネットワーク )
□ その他(     ) 
本人認証:
□ ID/パスワード
□ ワンタイムパスワード
□ バイオメトリクス認証(指紋、網膜、静脈)
□ その他(            )

SSLは、セキュア・ソケット・レイヤーの略で、ネットスケープ社が開発したインターネット通信におけるプロトコルの1つである。通信の際に暗号化とデジタル署名の付与を自動的に行う。したがって、SSLを使用すれば、Part11やER/ES指針のオープンシステムの要件を満たすことになる。
一般に、インターネット上の通信では3つのリスクが生じる。

  • 盗聴
  • 改ざん
  • なりすまし

である。
暗号化することによって盗聴されにくくなり、デジタル署名を付与することによって改ざんやなりすましを防止することが可能になる。
VPNは、Virtual Private Networkの略である。しかしながら、EDCシステムの利用にVPNを使用することは費用面、設置工事面などから、あまり現実的ではない。

ワンタイムパスワードを単独で本人認証のために使用することは不適切である。なぜならば、ワンタイムパスワード発生装置を持っている者であれば、パスワードの入力が可能になり、本人であるかどうかの保証はできないからである。ID/パスワードと併用するのであれば、使用することは可能である。
またワンタイムパスワード発生装置を、治験責任医師等に配布することは現実的ではない。
バイオメトリクス認証は、日本語で生体認証と呼ばれる。指紋や網膜や静脈など、本人の生態に特有の特徴をもって本人認証を行うものである。バイオメトリックス認証も装置が必要となるため、治験責任医師等に配布することは現実的ではない。

要件項目記入欄
セキュリティを保持するための手順セキュリティ保持に関するポリシー、ガイダンス
文書番号:
文書名:
版:
施行日:
前版からの変更点:
手順の概略及び発生する書類:
セキュリティを保持するための手順ユーザーの登録申請からID/パスワードの交付、ユーザーの確認、登録したユーザーの削除のための手順書
文書番号:
文書名:
版:
施行日:
前版からの変更点:
手順の概略及び発生する書類:

セキュリティ保持に関するポリシー、ガイダンスは、セキュリティに関する、全般的なポリシーを記載したものである。
通常は、EDCシステム毎に作成することはあまりなく、企業で1冊作成することが多い。

【例示】セキュリティ保持に関するポリシー(またはガイダンス)

・EDCシステムを利用し、症例報告書を電子記録で作成するにあたっては、米国FDA規則「21 CFR Part 11(Electronic Records; Electronic Signatures)」及び厚生労働省通知「医薬品等の申請等における電磁的記録および電子署名の利用について」(ER/ES指針)を遵守しなければならない。
・EDCを利用する者は、電子記録および電子署名に関する教育を受講し、その教育記録を残さなければならない。
・教育を受講しない場合には、EDCを利用することができない。
・電子記録や電子署名を改ざんしたり、捏造したりしてはならない。
・他人のIDを使ってログインしたり、他人にIDを貸してはならない。
・誰かの代わりに入力するなど、代替行為は禁止。
・あらかじめ定められた場所、パソコンでEDCシステムを利用しなければならない。
・ログイン中は、離席してはならない。離席する場合は、必ずログオフをしなければならない。
・EDCシステムを利用するパソコンにセキュリティを侵害するようなソフトウェア(WINNY、パスワード自動入力ツールなど)をインストールしてはならない。
・EDCシステムでは、監査証跡により、データの作成、変更、削除の記録をシステムが自動的に記録しなければならない。
・監査証跡には、正確な時刻がタイムスタンプとして記録されなければならない。

ユーザーの登録申請からID/パスワードの交付、ユーザーの確認、登録したユーザーの削除のための手順書は、当該EDCシステムへのユーザー登録・変更・無効化の手順を記載する。
本手順は、EDCシステムやASP業者によって異なる。
一般原則として、当該EDCの操作方法やセキュリティに関する教育を受けていない者へは、アクセス権を付与(ユーザ登録)してはならない。
また異動や治験等の終了に伴い、アクセス権が不要になった場合は、アカウントを無効化しなければならない。この際、ユーザー登録を削除するのではないことに注意すること。
本手順書の作成に関しては、以下の要件等に留意すること。

  • ユーザー管理については、アカウント管理表で実施することを明記しておくこと。
  • 初期パスワードの発行方法(メールで知らせるなど)を規定しておくこと。
  • アクセス権(参照権限、変更権限、削除権限、電子署名権限)を、ルールに従って適切に付与しなければならないこと。

ちなみに、当該医療機関で最終症例が終了した際(LPO)などに、治験責任医師等のアクセス権を無効化する必要がある。しかしながら、ICH-GCPの原則から、治験依頼者は症例データを独占してはならないため、アクセス権を無効化する前に、症例報告書の写を当該医療機関に提供しなければならないことに留意しなければならない。

要件項目 記入欄
セキュリティを保持するための手順 ユーザーによるID/パスワードの使用に関する手順書
文書番号:
文書名:
版:
施行日:
前版からの変更点:
手順の概略及び発生する書類:
セキュリティに関するユーザーの教育訓練手順書
文書番号:
文書名:
版:
施行日:
    前版からの変更点:
手順の概略及び発生する書類:
その他
文書番号:
文書名:
版:
施行日:
前版からの変更点:
手順の概略及び発生する書類:

ユーザーによるID/パスワードの使用に関する手順書は、意図がわかりづらい。おそらく本手順書は、ユーザーに手渡すべきものを想定していると思われる。
そうであれば、手順書よりは「操作マニュアル」や「教育用資料」に含めておくことが望ましいと考えられる。
パスワードの管理は、厳重にしなければならず、他人に教えたり、紙に書いたり、ばれやすいパスワードを付けてはならない。

【例示】パスワードに関して操作マニュアル(または教育用資料)に記載する事項

1. IDコードは各個人に独自のものです。施設(複数の入力者)で1つということはあり得ません。
2. 初期パスワードのまま利用しないでください。EDCシステム利用開始時に初期パスワードを変更してください。
3. パスワードは、そのIDコードを利用する本人のみが知り得るものです。
4. パスワードを共有したり、他人に教えたりしてはなりません。
5. パスワードを記載した紙などをパソコンのそばに貼ったり、置いたりしてはいけません。
6. パスワードは○文字以上です。
7. パスワードは、英字だけでなく、数字も織り交ぜて作成してください。
8. パスワードは、大文字や小文字も織り交ぜて作成してください。
9. パスワードは、個人情報から容易に類推できる文字列(家族の名前、誕生日、電話番号等)は使用しないでください。
10. パスワードの有効期限は最長○日です。パスワードは、適宜変更してください。
11. パスワードを他人に知られたと感じた場合には、パスワードをすみやかに変更してください。
12. IDやパスワードが不正に使用されたと思われる場合は、すみやかにお知らせください。
13. パスワードを調査することはないので、そのような問い合わせには答えないでください。
14. パスワードを忘れた場合等は、当社担当者に連絡し、リセットしてもらってください。
15. パスワードは、当社社員およびシステム管理者も知りえるものではありません。
16. 可能な限り、他人に見えないようにパスワードを入力してください。
17. パスワードの入力を連続して○回失敗した場合は、ログインできなくなります。その際には、当社社員にお知らせください。

ちなみに、当該医療機関で最終症例が終了した際(LPO)などに、治験責任医師等のアクセス権を無効化する必要がある。しかしながら、ICH-GCPの原則から、治験依頼者は症例データを独占してはならないため、アクセス権を無効化する前に、症例報告書の写を当該医療機関に提供しなければならないことに留意しなければならない。

要件項目 記入欄
システムアクセス権限者リスト(データの入力・修正を行う権限を与えられた者の名簿) システムアクセス権限者リスト
実施中:
□紙面で管理
□システムにおいて電子的に管理
□その他の電磁的記録で管理

終了後(調査時に提示すること)
□紙面で管理
□システムにおいて電子的に管理
□その他の電磁的記録で管理

システムアクセス権限者リストは、アカウント管理表という名前で知られている。
「システムアクセス権限者リスト」は、治験責任医師、治験分担医師、CRC、モニター(CRA)、DM担当者など、当該EDCシステムにアカウントを持ち、データの修正権限を与えられたユーザーを管理するものである。
このリストでは、アクセス権限の付与・変更・削除等をリアルタイムに記録し、かつその履歴を管理しなければならない。
したがって、通常はExcelなどで管理することが多いと思われる。
紙面で管理は、ほぼあり得ないのではないかと思われる。つまり手書きで管理するということである。
システムにおいて電子的に管理は、当該EDCシステムが、「システムアクセス権限者リスト」を出力できるという意味であろう。しかしながら、アクセス権限の付与・変更・削除等をリアルタイムに記録し、かつその履歴を管理できるEDCシステムは存在しないのではないだろうか。
その他の電磁的記録で管理は、Excelなどで管理することを意図しており、最も多いパターンであると思われる。
ここで、実施中終了後という用語が出てくるが、用語の定義がなく、具体的なタイミングは不明確である。
終了後の「システムアクセス権限者リスト」は、適合性調査時に提示しなければならない。

監査証跡

対応する要件

ER/ES指針3.1.1.
(2)保存情報の作成者が明確に識別できること。また、一旦保存された情報を変更する場合は、変更前の情報も保存されるとともに、変更者が明確に識別できること。なお、監査証跡が自動的に記録され、記録された監査証跡は予め定められた手順で確認できることが望ましい。
GCP運用通知
第26条第1項3
(3)当該システムが、入力済みのデータを消去することなしに修正が可能で、データ修正の記録をデータ入力者及び修正者が識別されるログとして残せる(すなわち監査証跡、データ入力証跡、修正証跡が残る)ようにデザインされていることを保証すること。

監査証跡は、当該電子記録の作成や変更に関する責任の所在を明確にし、万が一、改ざんが行われた際には、それが発見できることを可能にする。
したがって、監査証跡は、コンピュータ・システムによって自動的に記録されなければならない。
「なお、監査証跡が自動的に記録され、記録された監査証跡は予め定められた手順で確認できることが望ましい。」という記載があるが、「監査証跡が自動的に記録されること。」および「記録された監査証跡は予め定められた手順で確認できることが望ましい。」というように2文に区切って理解した方が良いはずである。
しかしながら、平成17年5月9日に厚生労働省医薬食品局審査管理課から発表された「「医薬品等の承認又は許可に係る申請に関する電磁的記録・電子署名利用のための指針(案)」に関する意見・情報の募集結果について」(いわゆる「パブリックコメント回答」)には、以下の用の記載があり、厚生労働省では監査証跡が自動的に記録されることを必須としていないことがうかがえる。

#64(意見)監査証跡が自動的に記録されることが望ましいとされているが、必ずしも適切ではないと思われる。
(当省の考え方)「望ましい」という現行の表現で問題ないと考えます。
#69(意見)監査証跡はコンピュータにより自動的に生成されることが必須なのか、あるいは、手書きによる変更履歴も認められるのか。
(当省の考え方)自動生成以外の手段で操作履歴を記録/管理する場合には、その操作履歴の作成および管理が適切に行われることが必須となります。
#70(意見)監査証跡に関する要件は、難しいものの一つであるため、米21CFR Part11と異なり「望ましい」というオプション要件とされたことは賛同できる。可能ならば、「望ましい」の度合いも示されたい。
(当省の考え方)企業側で判断の上対応すべきと考えます。

この「パブリックコメント回答」は、少なくともEDCシステムに対しては不適切である。

実施中

要件項目記入欄
作成・変更等に係る監査証跡の概要□可 □不可 監査証跡の自動作成
□可 □不可 保存情報の作成者が明確に識別できること
□可 □不可 自動計算されたデータであることが明確に識別できること
□可 □不可 他のシステムからローディングされたデータの責任の所在が明確であること
□可 □不可 保存情報の変更者が明確に識別できること
□可 □不可 変更前の情報が消去されない
□可 □不可 監査証跡の閲覧(依頼者)
□可 □不可 監査証跡の閲覧(医療機関)

※不可の項目については、以下にその状況を説明すること。

※表示形式に関する説明(どのように表示されるのか例示)

本記入欄には、□N/Aがないため、必要に応じて追記した方が良いと思われる。

監査証跡の自動作成は、必ず“可”でなければならない。ここで注意が必要なのは、監査証跡には、作成証跡と修正証跡が含まれなければならないということである。
つまり、入力されるすべてのフィールドにおいて、入力者、入力された値、入力時刻が記録されなければならない。
EDCシステムによっては、修正証跡は記録されるが、入力証跡が記録されない者があるため、注意が必要である。

自動計算されたデータであることが明確に識別できることとは、例えば、身長と体重から計算するBMI値などである。自動計算結果はユーザーが入力するわけではないため、入力者情報は“自動計算”であることを明確にしなければならない。

他のシステムからローディングされたデータの責任の所在が明確であることも同様である。他のシステムからローディングされたデータとは、例えば、中央検査機関からの臨床検査値や医療機関からの各検査項目などである。

要件項目 記入欄
保存情報の真正性を確保するための手順 保存情報の修正に関する手順書
文書番号:
文書名:
版:
施行日:
前版からの変更点:
手順の概略及び発生する書類:
監査証跡の閲覧のための手順書
文書番号:
文書名:
版:
施行日:
前版からの変更点:
手順の概略及び発生する書類:

保存情報の修正に関する手順書は、EDCシステムに入力した値を修正する場合に必要である。
治験実施中は、EDCシステムのデータベースを直接修正することとなる。治験責任医師が電子署名を付すまでは、通常の方法で修正は可能である。また監査証跡が記録されることにより、その事実を後から検証することが可能である。
一方で、電子署名が付された症例データを修正する場合は、注意が必要となる。EDCシステムによっては、データを修正した場合、自動的に電子署名が無効になるものもあり、その際には再度治験責任医師が、電子署名を付さなければならない。
また、電子署名を付した症例に関しては、修正が不可能になるEDCシステムもあり、その際には、製薬企業側で電子署名を外し、データの修正後に再度治験責任医師に依頼して電子署名を付してもらう必要がある。
さらに、EDCシステムによっては、症例固定やデータベース固定という機能を使用しているものもある。その場合の固定解除・再固定に関する手順も記載しておかなければならない。
なお、当該症例における修正については、適切な時期に監査証跡を参照し、確認しなければならない。

監査証跡の閲覧のための手順書は、治験責任医師等に事前に配布しておく必要がある。ただし、本手順書を単独で作成することは考えにくく、実際には「操作マニュアル」や「教育用資料」に記載しておくことが一般的である。
本欄には、監査証跡の確認方法を記載した「操作マニュアル」や「教育用資料」の章番号等を記載しておけば良いものと思われる。

終了後
要件項目記入欄
作成・変更等に係る監査証跡の概要□可 □不可 保存情報の作成者が明確に識別できること
□可 □不可 自動計算されたデータであることが明確に識別できること
□可 □不可 他のシステムからローディングされたデータの責任の所在が明確であること
□可 □不可 保存情報の変更者が明確に識別できること
□可 □不可 変更前の情報が消去されない
□可 □不可 監査証跡の閲覧(依頼者)
□可 □不可 監査証跡の閲覧(医療機関)

※不可の項目については、以下にその状況を説明すること。

※表示形式に関する説明(どのように表示されるのか例示)

一般に終了後は、症例報告書をpdf化する。したがって、pdf化された症例報告書に上記の項目等が含まれているかを記載することになる。

要件項目 記入欄
保存情報の真正性を確保するための手順 保存情報の修正に関する手順書
文書番号:
文書名:
版:
施行日:
前版からの変更点:
手順の概略及び発生する書類:
監査証跡の閲覧のための手順書
文書番号:
文書名:
版:
施行日:
前版からの変更点:
手順の概略及び発生する書類:

保存情報の修正に関する手順書は、終了後に症例報告書(pdf)の内容を修正する場合は、DCF(Data Correction Form)の作成が必要となる。pdf は修正が不可能であるためである。したがって、本手順書にはDCF発行および保存の手順を記載することになる。
発行したDCFは、製薬企業および医療機関において、当該症例報告書と共に保存しておかなければならない。
ちなみにDCFはCLF(Correction Log Form)と呼ばれている場合もある。

監査証跡の閲覧のための手順書は、症例報告書がpdfである場合は、作成は不要である。

バックアップ

対応する要件

ER/ES指針3.1.1.
(3)電磁的記録のバックアップ手順が文書化されており、適切に実施されていること。
GCP運用通知 第26条第1項3
(5)データのバックアップを適切に行うこと。

火災や地震などの災害やウィルス被害などにより、電磁的記録の一部または全部を失うことがあっても、リカバリーができるよう、電磁的記録のバックアップを適切に実施しておかなければならない。
バックアップは、真正性の要件である。なぜならば、バックアップにより電磁的記録はもとより、監査証跡を保護しなければならないからである。
電磁的記録の真正性を確保するためには、バックアップが適切に(例:週に1 度)行われており、リカバリーが可能な状態が保証されていなければならない。
バックアップ及びリカバリーの手順を定め、実施し、その記録を作成しておかなければならない。

実施中

要件項目記入欄
バックアップ及びリカバリーに関する手順データのバックアップ及びリカバリーの手順書
文書番号:
文書名:
版:
施行日:
前版からの変更点:
バックアップの実施状況:

治験実施中は、バックアップ及びリカバリーに関する手順書は、当該ASP業者が作成し運用していなければならない。
したがって、適宜、当該ASP業者に当該手順書の作成状況と、日々のバックアップの実施状況確認しておかなければならない。申請直前に問合せても遅い。
また、期間中、リカバリーがなかったかどうかについても調査しておくこと。

終了後
要件項目記入欄
バックアップ及びリカバリーに関する手順データのバックアップ及びリカバリーの手順書
文書番号:
文書名:
版:
施行日:
前版からの変更点:
バックアップの実施状況:

終了後は、症例報告書はpdf化され、製薬企業に送られてくる。
製薬企業において、症例報告書(pdf )を保存しているサーバのバックアップが該当する。例えば、EDMS(電子文書管理システム)で管理している場合、当該システムのバックアップ/リカバリーが相当する。

ER/ES指針3.1.2.

対応する要件

ER/ES指針3.1.2.
電磁的記録の内容を人が読める形式で出力(ディスプレイ装置への表示、紙への印刷、 電磁的認録媒体へのコピー等)ができること。

見読性は、規制当局の調査時に、電磁的記録を確認するために必要な要件である。
「人が読める形式」とは、書面の形式に戻すことを言う。電磁的記録により保存を行うということは、人の知覚によっては認識することができない形式にすることであり、書面の形式に戻すことによって、「人が読める形式」となるのである。
保存期間中、見読性を確保するためには、以下の要件が必要である。

  1. 当該電磁的記録媒体を読み出せるドライブが維持されていること。
  2. 当該電磁的記録を読み出せるソフトウェアが維持されていること。特にソフトウェアのバージョンに注意が必要である。

ER/ES 指針が求めている見読性の要件は、電磁的記録が、以下の3 つの形式で出力できることである。
1) ディスプレイ装置への表示ができること
2) 紙への印刷ができること
3) 電磁的認録媒体へのコピーができること
ここで注意が必要なことは、例えディスプレイや紙に出力したとしても、0 や1 といったコンピュータの管理する記号で表示したのでは意味がわからない。
FDA は、見読性に相当する用語として、Legible という用語をあてている。その要件は「データを見て適切なアクションが起こせるよう、判別できること」である。すなわち、「男」「女」や「入院」「外来」というように、意味がわかるように出力しなければならないということである。
「電磁的記録媒体へのコピー」とは、紙媒体への印刷に代えて、pdf 形式等で電磁的記録媒体等へ出力することである。規制当局は、記録を持ち帰る場合がある。この場合、紙媒体ではかさばったり、検索性が損なわれるため、電子形式で出力したものを持ち帰りたいという意向があるのである。

実施中
ER/ES指針3.1.2.電磁的記録の見読性電磁的記録の内容を人が読める形式で出力(ディスプレイ装置への表示、紙への印刷、 電磁的認録媒体へのコピー等)ができること。
対応する要件要件項目記入欄
ER/ES指針3.1.2.保存情報の見読性確保□可 □不可
出力可能な形式:
□ディスプレイ装置への表示
□紙への印刷
□電磁的記録媒体へのコピー
□その他(   )

実施中は、EDCシステムにより、症例データを表示・印刷することになる。ディスプレイ装置への表示、紙への印刷、電磁的記録媒体へのコピーは、すべてにチェックが入らなければならない。
電磁的記録媒体へのコピーは、紙へ印刷する代わりに、pdfとして出力し、CD-Rなどに焼くことを意味する。

終了後
ER/ES指針3.1.2.電磁的記録の見読性電磁的記録の内容を人が読める形式で出力(ディスプレイ装置への表示、紙への印刷、 電磁的認録媒体へのコピー等)ができること。
対応する要件要件項目記入欄
ER/ES指針3.1.2.保存情報の見読性確保□可 □不可
出力可能な形式:
□ディスプレイ装置への表示
□紙への印刷
□電磁的記録媒体へのコピー
□その他(   )

終了後は、症例報告書はpdf化されている。
見読性で重要なことは、当該電磁的記録を読み出すための「ハードウェア(CD ドライブ等)」と「ソフトウェア(Acrobat Reader 等)」が、常備されていることである。特に医療機関で重要となる。

ER/ES指針3.1.3.

対応する要件

ER/ES指針3.1.3.
(1)電磁的記録媒体の管理等、保存性を確保するための手順が文書化されており、適切に実施されていること。
(2)保存された電磁的記録を他の電磁的記録媒体や方式に 移行する場合には、移行された後の電磁的記録についても 真正性、見読性及び保存性が確保されていること。

電磁的記録の長期保存において、電磁的記録の真正性を保証するためには、コンテキストや監査証跡を適切に管理することが重要である。
また電磁的記録の長期保存において、見読性を保証するためには、適切なファイルフォーマット(pdfなど)を選択しなければならない。
電磁的記録の保存期間が電磁的記録媒体(例:CD-R)の保証期間を超える場合は、電磁的記録を新しい電磁的記録媒体に移行しなければならない。

紙媒体の場合は、比較的長期保存が容易である。ところが電磁的記録の場合は、保存に使用する電磁的記録媒体の経年劣化が問題となる。
CD-RやDVDなどの電磁的記録媒体は、通常その耐用年数は10 年程度である。ただし、これは適切な保存方法を実施しての話である。
CD-Rを折ったり、割ったり、傷付けたり、直射日光に当てたり、高温多湿やほこりまみれの状態に置いたりしたのでは、すぐさま電磁的記録が読み出せなくなる危険性がある。
電磁的記録媒体は、当該記録に要求される保存期間をカバーできる耐用年数のものを、使用することが望ましい。
また電磁的記録の特性に合わせた、取扱い方法や保存方法をとらなければならない。

また、長期保存を行うために、当該電磁的記録を何らかの形で他の方式に移行する必要性が発生する場合がある。
この場合、既存システムにおいて、電子署名やタイム・スタンプを付与している場合、コンテキストの継承の問題がある。
pdfに変換する場合、EDCシステムで記録した監査証跡や、付与した電子署名が共に出力されなければならない。
電磁的記録を他の方式に移行した場合、元の電磁的記録が無くなれば、移行したものが確かに元のものと同一かどうか確認する方法が無くなる。従って移行時に、正しく移行したこと(故意または事故により異なる文書やデータになっていないこと)の保証が必要となる。
さらに、老朽化に伴い、コンピュータシステムをリプレースする際に、電磁的記録のみならず、監査証跡も適切に新システムに移行しなければ、やはり真正性が証明できなくなる。もし監査証跡を移行できない場合には、旧システムを廃棄してはならない。

Related post

Comment

  1. Howdy! I could have sworn I’ve visited your blog before but after looking at many
    of the posts I realized it’s new to me. Anyways, I’m definitely delighted I discovered
    it and I’ll be bookmarking it and checking
    back often!

  2. Excellent weblog here! Additionally your site so much up very fast!

    What web host are you using? Can I get your affiliate hyperlink on your host?
    I desire my website loaded up as quickly as yours lol

  3. Pretty nice post. I just stumbled upon your blog and wanted to say that I have
    really enjoyed surfing around your blog posts.
    In any case I’ll be subscribing to your rss feed
    and I hope you write again soon!

  4. Hey there, I think your site might be having browser compatibility issues.
    When I look at your blog site in Chrome, it looks fine but when opening in Internet Explorer, it has some overlapping.
    I just wanted to give you a quick heads
    up! Other then that, fantastic blog!

  5. Fastidious replies in return of this query with genuine arguments and describing the
    whole thing about that.

  6. Just want to say your article is as amazing. The
    clarity to your post is just cool and i could
    assume you’re a professional on this subject. Well with your permission let me
    to grasp your RSS feed to keep up to date with impending post.

    Thanks 1,000,000 and please keep up the rewarding work.

  7. Howdy! This is my first visit to your blog! We are a group of volunteers and starting
    a new initiative in a community in the same niche. Your blog provided us beneficial information to
    work on. You have done a wonderful job!

  8. wonderful points altogether, you simply won a new reader. What would you suggest in regards to your post that you simply made
    some days in the past? Any sure?

  9. Yes! Finally something about Sex Dating.

  10. It’s great that you are getting ideas from this piece of writing as well as from our dialogue made at this place.

  11. What’s up, yeah this piece of writing is really fastidious and I have learned
    lot of things from it on the topic of blogging. thanks.

  12. Wow, this post is good, my sister is analyzing such things,
    thus I am going to let know her.

  13. Heya terrific blog! Does running a blog such as this require a large amount of work?
    I have absolutely no understanding of coding but I was hoping to start my own blog soon. Anyways, should you have any recommendations or
    techniques for new blog owners please share. I know this is off
    subject however I simply had to ask. Many thanks!

  14. This is a topic that is close to my heart… Take care! Where are your contact details
    though?

  15. obviously like your web site but you need to take a
    look at the spelling on quite a few of your
    posts. Many of them are rife with spelling issues
    and I find it very bothersome to inform the truth however I’ll definitely come again again.

  16. Thank you for the good writeup. It actually was a enjoyment account it.
    Glance complex to more introduced agreeable from you!
    However, how could we be in contact?

  17. Very nice article, totally what I was looking for.

  18. Do you have a spam problem on this website; I also am a blogger, and I
    was curious about your situation; we have created some nice
    methods and we are looking to swap methods with other folks, be sure
    to shoot me an e-mail if interested.

  19. Remarkable! Its actually remarkable post, I have got much clear idea about from this paragraph.

  20. Today, I went to the beach front with my kids. I found a sea shell and gave it to my 4 year old daughter and
    said “You can hear the ocean if you put this to your ear.” She placed the shell to her ear and screamed.

    There was a hermit crab inside and it pinched her ear. She never wants to go back!
    LoL I know this is completely off topic but I had to tell someone!

  21. Hello There. I found your weblog the use of msn. This
    is a very well written article. I’ll make sure to bookmark it and return to read more of your helpful info.

    Thanks for the post. I will certainly return.

  22. Hello, I think your website might be having browser compatibility issues.
    When I look at your blog site in Firefox, it looks fine but when opening in Internet Explorer, it has some overlapping.

    I just wanted to give you a quick heads up!
    Other then that, excellent blog!

  23. This web site certainly has all of the information I wanted
    concerning this subject and didn’t know who to ask.

  24. It’s wonderful that you are getting ideas from this article as well as
    from our argument made at this time.

  25. Thankfulness to my father who stated to me regarding this website,
    this web site is genuinely remarkable.

  26. Today, I went to the beach front with my children. I found a sea shell and gave it to my 4 year old daughter and said
    “You can hear the ocean if you put this to your ear.” She placed the shell to her ear and screamed.
    There was a hermit crab inside and it pinched her ear. She never wants to go back!

    LoL I know this is entirely off topic but I had to tell someone!

  27. Hello! This post could not be written any better! Reading this post reminds me of my old room mate!
    He always kept talking about this. I will forward this write-up
    to him. Pretty sure he will have a good read. Thank you for sharing!

  28. I read this article fully about the difference of hottest and preceding technologies, it’s awesome
    article.

  29. Hello! I could have sworn I’ve been to this site before
    but after reading through some of the post I realized it’s
    new to me. Anyhow, I’m definitely glad I found it
    and I’ll be bookmarking and checking back frequently!

  30. Just desire to say your article is as astonishing. The clarity to your put up
    is simply spectacular and i could think you’re a professional on this subject.
    Fine together with your permission allow me to grasp your RSS feed to keep
    up to date with approaching post. Thank you a million and please carry on the enjoyable work.

  31. whoah this weblog is fantastic i love studying your posts.
    Keep up the great work! You know, lots of persons are looking round for this info, you can aid them greatly.

  32. Hi, I do believe this is an excellent web site. I stumbledupon it 😉 I
    will return yet again since I book marked it. Money and freedom is
    the best way to change, may you be rich and continue to help others.

  33. I visited several sites however the audio quality
    for audio songs existing at this web site is actually marvelous.

  34. I really like your blog.. very nice colors & theme. Did you design this website yourself
    or did you hire someone to do it for you?
    Plz reply as I’m looking to construct my own blog and would like to find out where u got this from.

    cheers

  35. Amazing blog! Do you have any tips and hints for aspiring writers?
    I’m hoping to start my own site soon but I’m a little lost on everything.
    Would you suggest starting with a free platform like WordPress or go for a paid option? There are so many
    choices out there that I’m totally overwhelmed ..

    Any ideas? Thanks!

  36. Hi there mates, pleasant paragraph and nice urging commented here, I am genuinely enjoying by
    these.

  37. Very energetic post, I liked that bit. Will there be a part 2?

  38. At this time I am going to do my breakfast, later than having my breakfast coming over
    again to read further news.

  39. Thanks for finally writing about > 【第19話】 EDC管理シートの考察 | お役立ち情報 < Liked it!

  40. No matter if some one searches for his vital thing, thus he/she desires to be
    available that in detail, thus that thing is maintained over here.

  41. Hello, everything is going fine here and ofcourse every one is sharing data, that’s really fine, keep
    up writing.

  42. I read this paragraph completely regarding the resemblance of
    most up-to-date and earlier technologies, it’s amazing article.

  43. I like the valuable info you supply to your articles. I’ll bookmark your weblog and test
    once more here regularly. I am reasonably sure I’ll be informed many new stuff
    right here! Good luck for the next!

  44. Remarkable issues here. I am very glad to peer your post. Thank you so much and I’m looking ahead to touch you.
    Will you kindly drop me a e-mail?

  45. I believe that is among the such a lot significant info for me.
    And i’m satisfied reading your article. However want to statement
    on few general things, The web site style is ideal, the articles is in reality great :
    D. Good task, cheers

  46. Hi to every , because I am genuinely eager of reading this web site’s post
    to be updated daily. It carries good material.

  47. Hi there are using WordPress for your blog platform?

    I’m new to the blog world but I’m trying to get started and set up my own. Do you need any coding expertise to make your own blog?
    Any help would be really appreciated!

  48. Do you mind if I quote a few of your posts as long as I
    provide credit and sources back to your weblog?
    My website is in the exact same niche as yours and my visitors
    would really benefit from some of the information you present here.
    Please let me know if this ok with you. Regards!

  49. Oh my goodness! Awesome article dude! Many thanks,
    However I am having difficulties with your RSS. I don’t know the reason why I
    am unable to join it. Is there anybody getting identical RSS issues?
    Anybody who knows the answer can you kindly
    respond? Thanks!!

  50. Very good post. I certainly appreciate this website.
    Thanks!

  51. Hi there, I log on to your blog like every week. Your writing style is witty, keep
    doing what you’re doing!

  52. Good day I am so glad I found your site, I really found you by mistake, while I was searching
    on Aol for something else, Anyhow I am here now and would just like to say many thanks for a marvelous
    post and a all round thrilling blog (I also love the theme/design),
    I don’t have time to read through it all at the minute but I have book-marked it and
    also included your RSS feeds, so when I have time I will be back to read much more, Please do keep
    up the great jo.

  53. Quality content is the important to attract the viewers to pay a quick visit the website, that’s what this website is
    providing.

  54. Hi there to every , as I am genuinely keen of reading this webpage’s post to be updated on a regular basis.
    It consists of fastidious data.

  55. Ronald LWkzFnDBqb 6 27 2022 priligy farmacias del ahorro of course, the real question here is, do sarms need pct post cycle therapy

  56. Muchas gracias. ?Como puedo iniciar sesion?

TOP