カテゴリー: Core

  • ChatGPTにURLを使って情報を渡す

     Chat GPTに事前に情報を渡して学習させる方法

    1.Webスクレイピングという技術

     WebサイトからWebページのHTMLデータを取得し、
       見出しや写真といった特定のデータを抽出する技術
       データの取得を「クロール」、データの抽出を「スクレイプ」と呼ぶ

     Pythonのスクレイピングに適したライブラリ

    Webページ取得データ抽出特徴
    Requests○✖️Webページを取得する
    シンプルで人が直感的に分かりやすいプログラムを記述できる
    Beautiful Soup✖️○取得したWebページの情報を加工する
    Selenium○○Webページ取得と、データ抽出の両方が利用できる
    JavaScriptが使用されたサイトやログインにも使用できる
    動作が遅いのがデメリット

     RequestsでHTMLのデータを取得し、
       BeautifulSoupでページのタイトルや見出しなどの情報を摘出する

    2.パラメータ設定

    import requests
    from bs4 import BeautifulSoup
    
    # 指定したURLのWebページを取得
    url = 'https://example.com'
    res = requests.get(url)
    
    # BeautifulSoupを使ってWebページのテキストを取得
    soup = BeautifulSoup(res.text, 'html.parser')
    text = soup.get_text()
    
    # 取得したテキストをチャットGPTに渡す
    response = chat_gpt.generate(text)

    3.注意点

     Webスクレイピングは、Webページの利用規約に違反する場合がある
       事前に利用規約を確認し、適切に利用する必要がある

     Webスクレイピングは、自動的に大量のリクエストを送信するため、
       Webサイトのサーバーに負荷をかける可能性がある
       適切な間隔を空けてリクエストを送信する

     Webサイト内の情報やコンテンツを
       複製・再利用することが禁止されている場合が多いので注意すること

  • 画像自動生成AIと著作権

     著作権法的に問題になる3つの点を説明する

    0.全体像

     AIソフトウェアの開発(学習・訓練)や、AIソフトウェアの利用の全体像
       画像自動生成の工程は学習フェーズと利用フェーズの2つで構成される

    画像自動生成AIの全体像

    1.他人の著作物を収集し利用すること

    学習フェーズ
     AIソフトウェアを開発・提供するサービサーに関連する部分
       AIIソフトウェアを生成するために
       他人の画像や文章などの著作物を勝手に収集して利用することができるか

     他人の著作物を勝手に収集して機械学習技術を用いて画像生成には
       元となるデータ(著作物)をネット上で収集します

     日本著作権法30条の4第2号の権利制限規定
       収集されたデータの著作権は通常データの生成者が保有しているため
       学習フェーズでAIソフトが使用するには著作権者の許諾が必要

       平成30年改正著作権法によって導入された著作権法30条の4第2号
         生成に必要な著作物の利用行為(データの複製や翻案)は、
         原則として著作権者の承諾を行わなくても可能である
         ただし、著作権者の利益を不当に害する場合は不可とした

         平成30年には「情報解析」に利用するためなら
           原則として著作物を自由に利用できる、とした上に
           いずれの方法によるかを問わず、と規定した

         そのため、著作物の使用目的に関する限定がないため、
           現在では自由にデータを使用できる状態

     日本著作権法は国内法(※日本国内に関する法律)
       作業者とサーバの両方が国内なら著作権法が適用されます
       作業者またはサーバのいずれかが外国なら著作権法は適用されません

       利用行為が日本国内であれば著作権法が適用されます
         著作権者が日本なのか外国なのか
         著作物の利用者が日本なのか外国なのか は無関係で
         あくまでも利用行為が国内の場合のみ適用されます

     次の問題は
       著作権者が使用禁止と明記し、画像生成を制限している場合は

       30条の4第2号で営利・非営利問わず著作物の利用行為が可能となるが
       著作者が自ら「AI学習に使うのは禁止にします」と表明した場合は
         原則、使用するには著作権者の承諾が必要なのですが、
         権利制限規定に該当すれば承諾がなくとも利用が可能です
           ※権利制限規定には
             著作物が自由に使える多種多様な条件を規定している

         著作者が禁止にします、と表明するだけで契約が成立するかどうか
           契約は一方的な表明だけでは成立しない
           成立するためには当事者双方の意思が合致することが必要

           契約は締結した当事者間でしか契約内容の効力は及ばない
             契約を締結していない第三者がデータを利用することは可能

         Zは利用規約に同意しておらず利用規約に拘束されないからです。 
      

    2.自動生成された画像の著作権

    利用フェーズ
     AIソフトウェアを利用して画像を自動生成するユーザに関連する部分
        自動生成された画像に著作権が発生するか

     著作権が発生するのは人間の創作物に限られている
       AIの利用により作成されたコンテンツには著作権は発生しない

       「人間が創作した」と「AIの利用により作成された」の線引き
         人間に「創作的寄与」があったかによって判断される
         AIに具体的かつ詳細な指示をしたか、によって判断される

       人間が簡単な指示しかしていなければ、
         生成された画像がいかに独創的であったとしても著作権は発生しない

       現在使われている画像自動生成AIは
         短い呪文を入力したら一発で素晴らしい画像が出て来る
         「創作的寄与」がなく、著作権が発生しない可能性が高い

         詳細かつ長い呪文(秘密の呪文)を唱えて画像を生成した場合は
           「創作的寄与」があり、著作権が発生する可能性が高い
           通常は何度も呪文を唱えて複数の画像を生成し
             その中から好みの画像をピックアップする
             明らかに「創作的寄与」が行われている

         画像自動生成AIの生成物には著作権が発生する

     呪文を法的に保護する方法
       呪文自体を著作物として保護する場合
         呪文が「読んで意味のある文章」なら著作物である
         呪文が文章とは言えないなら著作物ではない
     
         特別な意味を持つ呪文は著作物になる
           呪文が著作物に該当しても効果が無い
             著作物として管理する手間が大変になる
             利用するにしても承諾を得る手間が大変になる
             著作物として保護しても従う人はいない

       呪文が著作物に該当しても保護できない場合
         呪文を不正競争防止法上の営業秘密にし
         良い呪文が見つかったら秘匿し
           販売・提供する際には秘密保持契約を締結した上で提供する

     自動生成された画像の著作権は誰が有するか
       画像生成AIソフトウェアの制作者には著作権はありません
       画像やデータセットを生成・提供した者にも著作権はありません
       長い呪文を唱えて画像を生成した者には著作権が発生する

       「呪文を作成した人」と「呪文を使って画像生成をした人」が別人の場合
         複雑になってまとめきれず、案は幾つかある
           AIソフトを著作者とする
           AIソフトの作成者を著作者とする

    3.偶然に生成された場合の著作権侵害

    利用フェーズ
     サービス提供者とサービス利用者双方に関連する部分
       学習に用いられた画像と同一の画像が『偶然』自動生成された場合、
       著作権侵害に該当するか

       サービス提供者は画像自動生成AIというツールを提供し、
       サービス利用者は同ツールを利用して画像を自動生成する
         学習フェーズでデータとして取集したデータと
         利用フェーズで出来上がった画像が同じになった場合のこと     

         自動生成した画像を利用した利用者が著作権侵害になるのか
         仮に利用者が侵害したとなった場合、提供者も責任を負うのか

     同じ画像が生成されて著作権侵害になる要件
       作風の類似に過ぎない場合
         類似性・・・作風・スタイルレベルで類似している場合
                 類似性を満たさず、著作権侵害には該当しない
               表現レベルで類似している場合
                 類似性を満し、著作権侵害には該当する
           必ずしもはっきりしたものではないため、争いになる

       依拠性の有無の場合
         依拠性・・・他人の著作物に依拠するかどうか
                 学習用データセットに含まれていれば依拠性あり
                 既存著作物がパラメータ化されてれば依拠性なし
           結論は出ていない

     著作権侵害に該当する場合に誰が責任を負うのか
       ユーザ
         ユーザ自身が既存著作物の複製行為を行っていることになる
           私的領域内だと適法
           販売・配信した場合は著作権侵害に該当する
             ユーザに故意・過失がない場合は損害賠償請求はできない

       ツール提供者
         学習用データセットの生成・提供行為
           データセットは著作権侵害につながる危険性は相当に低い
           法的責任を問われることはない

         画像自動生成AIソフトウェアの生成・提供行為
           十分な量のデータセットを元データとして生成された画像は
           類似した画像は極めて偶然にしか生成されない
           法的責任を問われることはない
     
           既存著作物と同じ画像が非常に高い確率で生成される場合
           類似したデータのみ収集したデータセットの場合
           法的責任を問われる
     
         画像自動生成AIソフトウェア生成ツールの提供行為
           データの学習によってツールの危険性は異なること
           ツールの提供行為を行っただけ
           法的責任を問われることはない

     著作権以外の権利の侵害
       パブリシティ権侵害
         有名人の肖像が自動生成された場合

       名誉権侵害
         実在の人物の顔に裸体を合成した画像が出力された場合

  • サーバー上でプログラムを動かす

      サーバー(Unix系)上でpythonを動かす

    1.シバン(Shebang)を用意する

     レンタルサーバーは通常Unix系のサーバーで動いている、プログラムの1行目で”pythonの実行場所”を指定する必要がある、これをシバンと呼ぶ。全てのプログラムの1行目にシバンを記述する。
     windowsサーバでは必要ありません。

    #!/・・・/・・・/・・・

     「#!」の半角文字で始まり、後続に「pythonの実行場所」を指定する。実行場所の情報については各プロバイダーの利用規約等に記載されており、pythonのバージョンごとに設けられている。
     #で始まる行はコメントして扱われ、2行目以降が指定したバージョンのpythonプログラムで実行されます。

    2.拡張子.pyを活かす

     シバンを設定するだけでpythonは動きます、ただし拡張子を.cgiとする必要が有ります。シバンが設定されていれば何処のディレクトリー配下でもpythonは動きます。
     しかし拡張子が.cgiだと他のシステムとの互換性に欠けるので、やはり拡張子は.pyのままで動かしたい場合には.htaccessを利用する。pythonプログラムの存在場所より上位のディレクトリーに設置する。

    AddHandler cgi-script .py

    3.パーミッションを設定する

     Windows環境でpythonプログラムを開発する場合には注意する必要がある。
     レンタルサーバーは通常Unix系のサーバーで動いている、必ずパーミッションを「700」以上に設定する。プログラムソースをアップロードしただけでは実行不可能な属性(600)なので呼出・書込・実行可能な属性(700)以上を設定する。

    4.改行コードを確認する

     pythonプログラムのテキストファイルの改行コードを変更する必要がある。
     pythonプログラムを改行コード「CR(Windows系)」で保存すると、文法エラーチェックでは問題が検出できないにも関わらず、ブラウザからアクセスすると「500 Internal Server Error」となる。
     テキストエディターで改行コードを「LF(Unix系)」にして保存しアップロードしてください。

  • Windows・Ubuntuファイル共有

    限られたLAN環境(自宅)の中でのファイル共有を構築する

    1.ファイル共有について

    インターネットを介しての無料ファイル共有サービス
      ・GoogleDrive(グーグル提供)
      ・OneDrive(マイクロソフト提供)
      ・DropBox(ドロップボックス提供)
      ・Evernote(エバーノート提供) 等々
     ログインする際には必ずパスワード入力のセキュリティーチエックを受けます、煩わしいですが外部からの不審なアクセスは拒否され安全に上記のサービスを受けられます。IDとパスワードが共有されれば、様々なシステム間でファイル共有が可能になります。

    ローカルエリアネットワーク(LAN)でのファイル共有
     LAN環境でファイルを共有する際の話になります。自宅でのLAN環境に適しています、職場でのLAN環境には適していません。セキュリティーに関する保護が一切ないので、仕組みとして使いやすいですが保存するデータには常に注意を払ってください。自宅内LAN環境を使って、家族同士でファイル共有することの是非はご自分で判断してください。

    2.Ubuntuに共有フォルダー作成

     共有するディレクトリ (Windows のホルダーに相当) をUbuntuで作成する。ホーム ( /home/ ) 内に共有エリア(例として「共有」ホルダーを作成)というディレクトリを作成する(その1、その2)。

    その1その2

    3.Ubuntuでのアクセス権設定

     作成した「共有」ファイルを[右クリック]し、[ロ-カルネットワーク共有」のオプションをクリックする。

    「フォルダーの共有」画面が表示されますので、[このフォルダーを共有する]にチェックを入れる(その3)。

     ファイルの共有に必要なソフトウェアがインストールされていない場合は、「共有サービスがインストールされていません」と表示されるので、「samba」をインストールする。既に「samba」がインストールされていれば、このメッセージは表示されない。

     「samba」のインストールが確認できたら、次にアクセス制限を全て外します(その4)。ここで制限を外したり設定したりできます。後は「共有を作成する」または「共有を変更する」をクリックし先に進む。

     最後に「自動的にアクセス権を付与する」をクリックしてUbuntuでの設定作業は終了です。

    その3その4

    4.Windowsの共有エリア設定

     エクスプローラの「ネットワークの場所の追加」をクリックする(その5)。その後は続けて「次へ」をクリックして順次先に進む(その6、その7)。

    その5その6その7

     「Webサイトの場所を指定する」画面で、共有エリアが存在するコンピュータの場所を「\\コンピュータ名\共有エリア名」の形式で設定する(その8)。共有エリア名とは、先にUbuntuで用意した共通エリア(例として「共有」ホルダー)の名前。初めてWebサイトの場所を指定する場合には上記のように設定する、一度設定した後は「参照」をクリックすれば場所の候補がピックアップされて表示される。

     次に「ネットワークの場所を指定する」画面で、ショートカット用に名前を付ける(その9)。

    その8その9

     以上で完了です、ネットワークドライブとしてショートカットを使って簡単にWindowsからUbuntuの共有エリアを呼び出し、自由に使うことができるようになる。

  • 基本認証の設定

    Basic認証とも呼ばれ、必要最低限の認証設定をかける

    1.基本認証とは

     Webサイトを日ごろ見ている方であれば一度は見たことがある機能です。ポップアップメッセージが表示され、サイトをアクセスするためにIDとpasswordの入力を求める機能。
     必要最低限の認証とはアクセスする人を制限するだけであって、通信内容のセキュリティを保護するものでは無いのが特徴。セキュリティレベルとしては低いが、見ず知らずの人からのアクセスを牽制できる。

    2.サイトの階層構造を把握する

     ディレクトリ単位に基本認証を設定するのが便利なので、認証の対象ディレクトリを決める必要がある。最上位のディレクトリに設定すれば、下位のディレクトリも自動的に認証の対象に設定される。

     以下の内容でphpプログラムを用意して、対象ディレクトリにプログラムを配置し起動を掛ける。プログラムを設置したディレクトリのフルパスが表示されるのでこれを利用する。
      下記サンプルのアンダーラインは半角のアンダーライン2個(計4個)を使って指定する。

    echo __FILE__;

    3.passwordを暗号化する

     passwordを暗号化して人目に触れても直ぐには判別できないように加工する。
     加工するには無料の暗号化サービスを使用する。”基本認証 暗号化”でネット検索を掛ければ多数のサイトが候補として上がるので、どれかを選んでpasswordを暗号化する。

     サイトにアクセスした際に要求されるパスワードには、暗号化する前のpasswordを入力する。

    4.「.htpasswd」の作成

     テキストファイルで名前を「.htpasswd」として作成する。識別用IDと暗号化されたpasswordを半角コロン(:)で区切ってペアーにして作成する。
     アクセスする大勢の人達へ個々にpasswordを用意する場合には必要な数だけ並べて作成する。

    識別用ID:暗号化されたpassword

    5.「.htaccess」の作成

     テキストファイルで名前を.htaccessとして作成する。
      ・1行目・・Basic認証と定義する
      ・2行目・・認証要求時に表示されるメッセージ(任意)
      ・3行目・・「.htpasswd」ファイルをフルパス指定する
      ・4行目・・全ての人を認証の対象と定義する

    AuthType Basic
    AuthName "●●●●●●●●●”
    AuthUserFile /●●●●●●/●●●●●●/●●●●●●/.htpasswd
    require valid-user

    6.2つのファイルをアップロードする

     作成した「.htpasswd」と「.htaccess」のファイルを認証対象のディレクトリの場所にアップロードする。
     ファイル転送ソフトの表示オプションにある「.で始まるファイルを表示する」を有効にしておかないと、アップロードの際にファイルが見つからないので注意が必要。

     これでセットアップは終了。後はサーバー(Apache HTTP Server)側で入力されたpasswordと暗号化されたpasswordを比較チエックしてくれる。

  • ツイートした内容を表示する

    Twitterの公式ウィジェットを使用して表示する
      Twitterの仕様が現在では変更になっており、使えません
        ※参考にするだけにしてください

    組み込み手順


     (1)表示したいTwitterのサイトにログインして入る
     (2)ログイン後の画面右上の歯車のアイコンをクリックして「設定」を選択する

     (3)左側のサイドメニューにある「ウィジェット」のリンクをクリックして、公式ウィジェットの設定画面に進む

     (4)右上に表示されている「新規作成」のボタンをクリックする

     (5)そのまま「ウィジェットを作成」のボタンをクリックする
        ユーザー名に「アカウント名」、高さに「250以上」をセットする

     (6)HTMLコードが表示されるので、コードをコピーして任意のページに貼り付ける

     (7)出力内容の表示方法を修正する
        出力件数、横幅の調整等々を修正する