오도원입니다.

localhost랑 127.0.0.1이랑 똑같은거 아니야?

오도원공육사 — Fri, 29 Mar 2024 17:37:29 +0900

localhost와 127.0.0.1은 기능적으로 비슷해 보일 수 있지만, 웹 개발과 CORS(Cross-Origin Resource Sharing) 문제와 관련하여 다르게 취급될 수 있습니다. 둘 다 로컬 머신을 가리키지만, 하나는 도메인 이름(localhost)이고 다른 하나는 IP 주소(127.0.0.1)입니다. 이 차이 때문에 브라우저와 서버가 이 둘을 서로 다른 출처로 인식할 수 있으며, 이는 CORS 정책에 영향을 줄 수 있습니다.

CORS와 출처(Origin)

CORS 정책은 웹 보안의 핵심 요소로, 웹 애플리케이션에서 다른 출처의 리소스를 요청할 때 이를 제한합니다. "출처"는 프로토콜(http://, https://), 호스트(localhost, example.com), 포트(3000, 8080)의 조합으로 정의됩니다. 이 세 가지 중 하나라도 다르면, 브라우저는 두 URL을 다른 출처로 간주합니다.

왜 localhost와 127.0.0.1이 다르게 취급될까요?

다른 호스트 이름: 브라우저는 localhost와 127.0.0.1을 다른 호스트로 취급합니다. 이는 CORS 정책에 따라 다른 출처로 간주될 수 있습니다. 예를 들어, localhost에서 서비스되는 페이지가 127.0.0.1의 백엔드 API에 요청을 보내면, 브라우저는 이를 교차 출처 요청으로 볼 수 있습니다.
보안 정책: 일부 브라우저 또는 환경에서는 localhost와 127.0.0.1을 다르게 취급하는 추가적인 보안 정책이 있을 수 있습니다. 예를 들어, 개발 도구나 브라우저 확장 프로그램이 특정 출처에 대해 다른 정책을 적용할 수 있습니다.

해결 방법

일관된 출처 사용: 개발 중에는 프론트엔드와 백엔드 모두 동일한 호스트 이름(localhost 또는 127.0.0.1)을 사용하여 요청을 보내도록 합니다. 이렇게 하면 불필요한 출처 간 요청을 피할 수 있습니다.
CORS 설정 조정: 백엔드에서 CORS 미들웨어를 설정할 때, Access-Control-Allow-Origin 헤더에 여러 출처를 허용하도록 설정할 수 있습니다. 예를 들어, localhost와 127.0.0.1 모두를 허용하도록 구성할 수 있습니다.
프록시 사용: 개발 환경에서 프론트엔드 서버를 통해 백엔드 요청을 프록시하는 방법을 사용할 수 있습니다. 이 방법은 개발 도구(예: Webpack Dev Server, Create React App)에서 지원하는 경우가 많으며, 이를 통해 모든 요청이 같은 출처에서 오는 것처럼 처리될 수 있습니다.

localhost와 127.0.0.1 사이의 차이는 작아 보일 수 있지만, 웹 개발과 CORS 정책의 관점에서는 중요한 차이를 만들 수 있습니다. 따라서 개발 과정에서 이러한 차이를 인식하고 적절히 대응하는 것이 중요합니다. 안그러면 CORS는 127.0.0.1만 설정해놓고, localhost로 접속해서 왜 cors에 걸리냐고 삽질하는 경우가 있습니다.

postgresql sqlalchemy insert argument 32767개 사이즈 에러

오도원공육사 — Thu, 28 Mar 2024 08:46:46 +0900

(sqlalchemy.dialects.postgresql.asyncpg.InterfaceError) <class 'asyncpg.exceptions._base.InterfaceError'>: the number of query arguments cannot exceed 32767

postgresql sqlalchemy insert 시 argument 사이즈가 32767개 넘으면 안됨

pre-commit. ruff initialize 실패 시

오도원공육사 — Tue, 19 Mar 2024 11:39:13 +0900

ruff 버전 업데이트 이후 ruff initialize 실패 시

pre-commit uninstall 하고 다시 pre-commit install로 다시 설치한다.

Golang. miniredis를 사용하여 redis 테스트하기

오도원공육사 — Tue, 12 Mar 2024 17:27:40 +0900

Redis를 사용하는 함수를 테스트하기 위해서는 테스트 환경에서 실제 Redis 인스턴스 대신 테스트용 Redis 인스턴스(예: miniredis 라이브러리를 사용한 가상의 Redis 서버)에 연결하여 테스트를 진행할 수 있습니다. 이 방법은 외부 Redis 서버에 의존하지 않으므로, 테스트를 더 빠르고 신뢰성 있게 만듭니다.

아래는 miniredis를 사용하여 Redis를 사용하는 간단한 함수를 테스트하는 Go 코드 예시입니다. 이 예제에서는 SetKey라는 함수가 Redis에 키와 값을 저장하는 기능을 수행한다고 가정합니다.

먼저, miniredis를 설치해야 합니다:

go get github.com/alicebob/miniredis/v2

테스트 코드 예시:

package main

import (
	"github.com/alicebob/miniredis/v2"
	"github.com/go-redis/redis/v8"
	"context"
	"testing"
)

// Redis 클라이언트를 초기화하는 함수
func newRedisClient(addr string) *redis.Client {
	return redis.NewClient(&redis.Options{
		Addr: addr,
	})
}

// Redis에 키와 값을 저장하는 함수
func SetKey(client *redis.Client, key string, value string) error {
	ctx := context.Background()
	err := client.Set(ctx, key, value, 0).Err()
	return err
}

// SetKey 함수를 테스트하는 테스트 케이스
func TestSetKey(t *testing.T) {
	// miniredis 서버 시작
	s, err := miniredis.Run()
	if err != nil {
		t.Fatalf("miniredis 실행 실패: %s", err)
	}
	defer s.Close()

	// miniredis 주소를 사용하여 Redis 클라이언트 초기화
	client := newRedisClient(s.Addr())

	// 테스트 실행
	key := "testKey"
	value := "hello"
	err = SetKey(client, key, value)
	if err != nil {
		t.Errorf("SetKey 실패: %s", err)
	}

	// Redis에서 값 검증
	got, err := client.Get(context.Background(), key).Result()
	if err != nil {
		t.Errorf("키 가져오기 실패: %s", err)
	}
	if got != value {
		t.Errorf("값이 일치하지 않습니다. got %s; want %s", got, value)
	}
}

이 코드는 miniredis를 사용하여 가상의 Redis 서버를 실행하고, SetKey 함수를 테스트합니다. 테스트는 SetKey 함수가 Redis에 값을 올바르게 저장하는지 확인하기 위해 Redis 클라이언트를 사용하여 저장된 값을 검색합니다.

Golang. go 환경 asdf로 관리하기

오도원공육사 — Mon, 11 Mar 2024 15:26:22 +0900

기존에 설치된 go는 asdf와 충돌나니까 삭제

> sudo rm -rf ~/go 또는 /usr/.local/go

> which go로 어디 설치되어있는지 알 수 있음

export PATH="$HOME/.asdf/bin:$HOME/.asdf/shims:$PATH"

이거 zshrc나 bashrc에 추가

Install Go using asdf for Visual Studio Code on macOS

I had a lot of issues trying to install Golang on macOS using asdf package manager to develop on Visual Studio Code.

So here's the steps needed to setup it properly:

Open Terminal and install asdf with this command:

You have to install Homebrew before running the installation command.

brew install asdf

Don't forget to setup asdf on your shell by following asdf documentation.

After it finishes, it's time to install Go:

asdf install go 1.20.2

Set the version that we just installed as Global:

asdf global golang 1.20.2

Create links to use the go command without any suffix on Terminal:

asdf reshim golang 1.20.2

Create Go package and source folder

mkdir -p ~/go/{bin,pkg,src}

If you get an error message, remove the folder with this command:
sudo rm -rf ~/go
Re-run the command above to create package and source folders. Note: You have to run it as sudo because Go changes this folder permissions.

Add GOROOT to your shell config file:

Add this line to your shell config file:

ZSH users: file is located at ~/.zshrc Bash users: file is located at ~/.zshrc

export GOROOT=~/.asdf/installs/golang/1.20.2/go

Reload your config file.

If you're using ZSH run this command on Terminal:

source ~/.zshrc

If you're using Bash run this command on Terminal:

source ~/.bashrc

Add these lines to your Visual Studio Code User Settings (bash):

Press Ctrl(Cmd) + Shift + P type User Settings bash and hit ENTER.

On this window paste the code down below and don't forget to Save:

"go.toolsGopath": "~/go/",
"go.gopath": "~/go/",

Install Go extension on Visual Studio Code

Open this URL and hit Install.

Install Go Tools

Press Ctrl(Cmd) + Shift + P type go install tools and hit ENTER. After you get a message like:

All tools successfully installed. You are ready to Go. :)

Reopen Visual Studio Code and everything should be working flawlessly.

Python. pip freeze 시, 버전명이 '@ file:///' 로 뜨는 문제

오도원공육사 — Mon, 22 Jan 2024 14:57:44 +0900

문제 상황

현재 환경에서 사용하고 있는 라이브러리 패키지 정보들을 가져올 때 보통 아래처럼 `pip freeze` 명령어를 사용해 `requirements.txt` 파일로 저장한다.

pip freeze > requirements.txt

그럼 아래와 같이 해당 환경에 설치된 패키지들의 정보가 `requirements.txt` 파일에 저장된다.

<...>
clickhouse-driver==0.2.5
clickhouse-sqlalchemy==0.2.3
colorama @ file:///croot/colorama_1672386526460/work
colorlog==4.8.0
colour==0.1.5
commonmark @ file:///Users/ktietz/demo/mc3/conda-bld/commonmark_1630649545323/work
ConfigUpdater @ file:///croot/configupdater_1668698026863/work
confluent-kafka==2.1.1
connexion @ file:///opt/conda/conda-bld/connexion_1659800744294/work
cron-descriptor @ file:///opt/conda/conda-bld/cron-descriptor_1659858414281/work
croniter @ file:///croot/croniter_1666888073231/work
cryptography @ file:///croot/cryptography_1673298753778/work
debugpy==1.6.3
decorator==5.1.1
defusedxml==0.7.1
<...>

여기서 문제가 되는 부분은 해당 패키지 버전명이 `@ file://~~ `로 떠서 `requirements.txt` 을 이용해 해당 환경을 재구현할 수 없는 점이다.

문제 원인

`pip` 패키지 19.1버전부터 버전명을 @ ~~로 명명하는 방법이 추가되었다고 한다.

이는 패키지가 아래처럼 특정 깃 레포 등에서 추가될 때 해당 정보를 저장하는데 유용하다.

<package_name> @ git+https://githost/<repo>.git@<commit_id>

하지만 버전명이 file://<URL> 과 같이 로컬폴더로 지정된 경우는 해당 패키지 정보를 로컬환경이 아닌 이상 재구축하기 힘들다.

해결 방법

아래와 같이 format 옵션을 줘 해결할 수 있다.

pip list --format=freeze > requirements.txt

위 명령어로 `requirements.txt`를 만들면 아래와 같이 버전명이 정상적으로 출력된다.

<...>
clickhouse-driver==0.2.5
clickhouse-sqlalchemy==0.2.3
colorama==0.4.6
colorlog==4.8.0
colour==0.1.5
commonmark==0.9.1
ConfigUpdater==3.1.1
confluent-kafka==2.1.1
connexion==2.14.0
cron-descriptor==1.2.24
croniter==1.3.7
cryptography==38.0.4
debugpy==1.6.3
decorator==5.1.1
defusedxml==0.7.1
<...>

Reference

conda 로 pymol, openbabel 설치시 주의사항

오도원공육사 — Thu, 18 Jan 2024 15:44:10 +0900

pymol-open-source=2.5, openbabel=3.1.1 기준입니다.

conda를 이용해서 이들을 설치할 때 순서를 잘 선택해야 합니다.

conda install -c conda-forge openbabel
conda install -c conda-forge pymol-open-source

이 순서로 설치 시... conda 사용 중에 매우 보고 싶지 않은 다음과 같은 것이 출력됩니다.

Collecting package metadata (current_repodata.json): done
Solving environment: failed with initial frozen solve. Retrying with flexible solve.
Solving environment: failed with repodata from current_repodata.json, will retry with next repodata source.

ResolvePackageNotFound:
- python=3.1

conda install -c conda-forge pymol-open-source
conda install -c conda-forge openbabel

Collecting package metadata (current_repodata.json): done
Solving environment: done

이 순서대로 설치하면 정상적으로 설치가 됩니다.

이유는 모르겠네요.

혹시나 pymol 설치하다 에러가 나면 openbabel 이 먼저 설치되어있나 확인해보세요.

Python. poetry with requirements.txt

오도원공육사 — Thu, 18 Jan 2024 10:06:01 +0900

requirements.txt

requirements.txt는 파이썬 프로젝트에서 사용하는 외부 라이브러리와
해당 라이브러리의 버전 정보를 명시적으로 작성하는 파일입니다.

JS의 package.json과 같은 녀석

예시

numpy==1.20.2
pandas==1.2.3
matplotlib==3.4.0

사용 방법

pip으로 패키지들을 설치하고 나서

pip freeze > requirements.txt 를 사용하면 작성이 된다.

JS에서 모듈 설치하면 자동으로 명시가 되는데 이걸 수동으로한다.
심지어 txt 확장자다. ~~역하다~~

레포지토리 구성할 때 pip install -r requirements.txt로 설치

poetry

pip install을 통해 의존성을 설치했지만
패키지 관리가 수동이라니.. 너무 불편하다

poetry라고 Node의 npm과 같은 패키지 매니저이다.
사용방법도 비슷하다.
해당 툴을 사용해서 패키지들을 설치를하면 lock 파일에 의존성을 관리해준다.

poetry init
poetry add 모듈이름
poetry install

마이그레이션

기존 requirements.txt에서 poetry toml파일로 이전을 했다.

cat requirements.txt | xargs poetry add

에러 1

wsl을 사용하여 위 명령어를 사용하니
자꾸 WARNING: a NUL character occurred in the input.

윈도우 환경인데 txt 파일이 CRLF이고 UTF-16으로 인코딩 되어있었다.

LF, UTF-8로 수정

에러 2

The current project's Python requirement (>=3.10,<4.0) is not compatible with some of the required packages Python requirement:
  - scipy requires Python <3.12,>=3.8, so it will not be satisfied for Python >=3.12,<4.0

Because u2net-test depends on scipy (1.10.1) which requires Python <3.12,>=3.8, version solving failed.

  • Check your dependencies Python requirement: The Python requirement can be specified via the `python` or `markers` properties

    For scipy, a possible solution would be to set the `python` property to ">=3.10,<3.12"

이전 중인 패키지 중 호환성 문제 때문에 발생 한 것이다.
버전 범위를 명시해주자.

[tool.poetry.dependencies]
python = ">=3.8,<3.12"

설치

이전이 완료되었으면 poetry install을 사용하면 된다.

poetry install 명령어는 프로젝트에 대한 의존성을 설치하는 것이지만, 의존성을 프로젝트의 루트 디렉토리에 직접 설치하지는 않는다.
대신 Poetry는 가상 환경을 생성하여 프로젝트 의존성을 격리된 환경에 설치합니다.

이 가상 환경은 기본적으로 시스템 전역 가상 환경 디렉토리에 생성되며, 프로젝트 루트 디렉토리 외부에 위치합니다. 가상 환경의 위치는 설정에 따라 달라질 수 있습니다.

가상 환경의 위치를 확인하려면 다음 명령어를 실행:
poetry env info --path

이 명령어는 현재 프로젝트의 가상 환경 경로를 출력합니다.

프로젝트 루트 디렉토리에 가상 환경을 생성하려면 다음 명령어로 Poetry를 구성
poetry config virtualenvs.in-project true

이렇게 설정하면 프로젝트 루트 디렉토리에 .venv라는 이름의 가상 환경 폴더가 생성됩니다. 이 설정은 전역적으로 적용되므로, 이후에 생성되는 모든 프로젝트에서 이 설정을 사용한다.

각 프로젝트에 대해 개별적으로 설정하려면 poetry.toml 파일에 다음 구성을 추가
[tool.poetry.virtualenvs]
in-project = true

이 구성을 사용하면 현재 프로젝트에만 적용되며, 다른 프로젝트에는 영향을 미치지 않는다.

Golang 기본 문법

오도원공육사 — Sun, 24 Dec 2023 12:13:38 +0900

Golang's basic grammar rules include syntax, elements such as identifiers, keywords, operators, and literals, as well as rules for constants, variables, types, arrays, slices, structs, pointers, functions, interfaces, maps, channels, assignability, representability, method sets, blocks, declarations, and scope. It also covers topics such as type inference, operator precedence, arithmetic and comparison operators, conversions between types, statements, initialization process, built-in functions, and the use of the error interface and package unsafe.

JavaScript 기본 문법

오도원공육사 — Sun, 24 Dec 2023 12:12:58 +0900

JavaScript's basic grammar rules include variable declarations, data types, literals, and syntax borrowed from other languages. It covers topics such as variable scope, hoisting, constants, type conversion, and various types of literals. The text also discusses the use of comments and explicit declaration for code clarity.