랭체인 심화2

- 뉴스 크롤링 후 필요 내용 가공
- 유사 단어 추출
- 각종 문서안 필요 내용 가공
This commit is contained in:
2026-06-02 18:11:05 +09:00
parent 516d44081d
commit 096222c64f
47 changed files with 1679 additions and 276 deletions
+236 -214
View File
@@ -15,8 +15,8 @@
{
"metadata": {
"ExecuteTime": {
"end_time": "2026-06-01T06:01:37.895131774Z",
"start_time": "2026-06-01T06:01:37.884544613Z"
"end_time": "2026-06-02T00:38:49.652822616Z",
"start_time": "2026-06-02T00:38:40.039385151Z"
}
},
"cell_type": "code",
@@ -47,7 +47,7 @@
"from langchain_classic.chains.query_constructor.base import AttributeInfo\n",
"\n",
"# 1. BM25Retriever를 올바른 커뮤니티 경로로 분리 (쉼표 오타 및 경로 수정)\n",
"from langchain_classic.retrievers import EnsembleRetriever, ContextualCompressionRetriever\n",
"from langchain_classic.retrievers import EnsembleRetriever, ContextualCompressionRetriever, BM25Retriever\n",
"from langchain_community.retrievers import BM25Retriever\n",
"\n",
"from langchain_classic.retrievers.self_query.chroma import ChromaTranslator\n",
@@ -57,14 +57,26 @@
"from langchain_classic.retrievers.document_compressors import LLMChainExtractor, EmbeddingsFilter, DocumentCompressorPipeline"
],
"id": "266323db794d81bc",
"outputs": [],
"execution_count": 24
"outputs": [
{
"name": "stderr",
"output_type": "stream",
"text": [
"/home/cooney/Source/.venv/lib/python3.12/site-packages/tqdm/auto.py:21: TqdmWarning: IProgress not found. Please update jupyter and ipywidgets. See https://ipywidgets.readthedocs.io/en/stable/user_install.html\n",
" from .autonotebook import tqdm as notebook_tqdm\n",
"/tmp/ipykernel_10169/2607715662.py:14: DeprecationWarning: `langchain-community` is being sunset and is no longer actively maintained. See https://github.com/langchain-ai/langchain-community/issues/674 for details and migration guidance toward standalone integration packages.\n",
" from langchain_community.document_loaders import PyPDFLoader, CSVLoader, WebBaseLoader, DirectoryLoader\n",
"USER_AGENT environment variable not set, consider setting it to identify your requests.\n"
]
}
],
"execution_count": 1
},
{
"metadata": {
"ExecuteTime": {
"end_time": "2026-06-01T06:01:37.911093918Z",
"start_time": "2026-06-01T06:01:37.896068864Z"
"end_time": "2026-06-02T00:38:49.667368566Z",
"start_time": "2026-06-02T00:38:49.655109157Z"
}
},
"cell_type": "code",
@@ -80,15 +92,15 @@
],
"id": "be9e3b7dfc34f47f",
"outputs": [],
"execution_count": 25
"execution_count": 2
},
{
"cell_type": "code",
"id": "38308ea9",
"metadata": {
"ExecuteTime": {
"end_time": "2026-06-01T06:01:40.671443632Z",
"start_time": "2026-06-01T06:01:37.911995272Z"
"end_time": "2026-06-02T00:38:54.969896546Z",
"start_time": "2026-06-02T00:38:49.670559612Z"
}
},
"source": [
@@ -124,15 +136,15 @@
"gemma_llm = ChatOllama(model=\"gemma4:e2b\")"
],
"outputs": [],
"execution_count": 26
"execution_count": 3
},
{
"cell_type": "code",
"id": "f0ea314f",
"metadata": {
"ExecuteTime": {
"end_time": "2026-06-01T06:01:40.706617108Z",
"start_time": "2026-06-01T06:01:40.682276918Z"
"end_time": "2026-06-02T00:38:55.009258425Z",
"start_time": "2026-06-02T00:38:54.994086163Z"
}
},
"source": [
@@ -178,7 +190,7 @@
" print(f\"\\nPage: {doc.metadata.get(\"page\")}\")"
],
"outputs": [],
"execution_count": 27
"execution_count": 4
},
{
"cell_type": "markdown",
@@ -193,8 +205,8 @@
"id": "9bdff4a0",
"metadata": {
"ExecuteTime": {
"end_time": "2026-06-01T06:01:41.478718891Z",
"start_time": "2026-06-01T06:01:40.709216173Z"
"end_time": "2026-06-02T00:38:55.821089156Z",
"start_time": "2026-06-02T00:38:55.014167237Z"
}
},
"source": [
@@ -214,15 +226,15 @@
]
}
],
"execution_count": 28
"execution_count": 5
},
{
"cell_type": "code",
"id": "09b02dbc",
"metadata": {
"ExecuteTime": {
"end_time": "2026-06-01T06:01:52.225911444Z",
"start_time": "2026-06-01T06:01:41.487950012Z"
"end_time": "2026-06-02T00:39:06.978655069Z",
"start_time": "2026-06-02T00:38:55.837812970Z"
}
},
"source": [
@@ -264,6 +276,21 @@
"Page: 3\n",
"\n",
"[chunk 1]\n",
"development.\n",
"2 Related work of ChatGPT\n",
"In this section, we review the latest research related to the application, ethics,\n",
"and evaluation of ChatGPT.\n",
"2.1 Application of ChatGPT\n",
"2.1.1 Question And Answering\n",
"In the education field\n",
"ChatGPT is commonly used for question and answers testing in the edu-\n",
"cation sector. Users can use ChatGPT to learn, compare and verify answers\n",
"for different academic subjects such as physics, mathematics, and chemistry,\n",
"4\n",
"\n",
"Page: 3\n",
"\n",
"[chunk 2]\n",
"of LLM for a variety of transportation tasks.\n",
"Nowadays, ChatGPT shows a wide range of applications in data visualiza-\n",
"tion, information extraction, data enhancement, quality assessment, and multi-\n",
@@ -273,17 +300,6 @@
"\n",
"Page: 17\n",
"\n",
"[chunk 2]\n",
"have been widely used for text classification, recent advances in natural lan-\n",
"guage processing have led to the development of more advanced techniques.\n",
"ChatGPT has shown immense potential in this field. Its ability to accurately\n",
"classify text, flexibility in handling various classification tasks, and potential for\n",
"customization make it a valuable tool for text classification, as evidenced by\n",
"several studies in the literature.\n",
"8\n",
"\n",
"Page: 7\n",
"\n",
"==================================================\n",
"ollama embedding\n",
"==================================================\n",
@@ -304,6 +320,21 @@
"Page: 3\n",
"\n",
"[chunk 1]\n",
"development.\n",
"2 Related work of ChatGPT\n",
"In this section, we review the latest research related to the application, ethics,\n",
"and evaluation of ChatGPT.\n",
"2.1 Application of ChatGPT\n",
"2.1.1 Question And Answering\n",
"In the education field\n",
"ChatGPT is commonly used for question and answers testing in the edu-\n",
"cation sector. Users can use ChatGPT to learn, compare and verify answers\n",
"for different academic subjects such as physics, mathematics, and chemistry,\n",
"4\n",
"\n",
"Page: 3\n",
"\n",
"[chunk 2]\n",
"While ChatGPT did not perform as well as commercial systems on biomedical\n",
"abstracts or Reddit comments, it may be a good speech translator. Prieto et\n",
"al. [29] evaluated the use of ChatGPT in developing an automated construction\n",
@@ -318,22 +349,11 @@
"ChatGPT. The specific operation is to input tweets with intimacy rating tags\n",
"into ChatGPT and then output similar tweets.\n",
"\n",
"Page: 10\n",
"\n",
"[chunk 2]\n",
"have been widely used for text classification, recent advances in natural lan-\n",
"guage processing have led to the development of more advanced techniques.\n",
"ChatGPT has shown immense potential in this field. Its ability to accurately\n",
"classify text, flexibility in handling various classification tasks, and potential for\n",
"customization make it a valuable tool for text classification, as evidenced by\n",
"several studies in the literature.\n",
"8\n",
"\n",
"Page: 7\n"
"Page: 10\n"
]
}
],
"execution_count": 29
"execution_count": 6
},
{
"cell_type": "markdown",
@@ -356,8 +376,8 @@
"id": "f6d1c603",
"metadata": {
"ExecuteTime": {
"end_time": "2026-06-01T06:01:55.524813761Z",
"start_time": "2026-06-01T06:01:52.235129529Z"
"end_time": "2026-06-02T00:39:10.309479368Z",
"start_time": "2026-06-02T00:39:06.998428714Z"
}
},
"source": [
@@ -436,8 +456,9 @@
"•\n",
"•\n",
"•\n",
"•\n",
"\n",
"Page: 16\n",
"Page: 4\n",
"\n",
"==================================================\n",
"similarity\n",
@@ -452,6 +473,14 @@
"Page: 14\n",
"\n",
"[chunk 1]\n",
"마케팅\n",
"마켓 센싱 및 정보 분석 결과를 바탕으로\n",
" 당사 제품과 서비스의 차별화 가치를 소비자에게 효과적인\n",
"커뮤니케이션 방법으로 전달하여 목표한 경영성과를 창출하고 브랜드 가치를 제고합니다\n",
"\n",
"Page: 14\n",
"\n",
"[chunk 2]\n",
"국내영업마케팅\n",
"국내의 각 분야별 영업 채널을 발굴\n",
" 지원하여 성과 창출과 지속 성장을 추구하는 동시에\n",
@@ -462,7 +491,18 @@
"\n",
"Page: 24\n",
"\n",
"[chunk 2]\n",
"[chunk 3]\n",
"국내영업마케팅\n",
"국내의 각 분야별 영업 채널을 발굴\n",
" 지원하여 성과 창출과 지속 성장을 추구하는 동시에\n",
" 한국 시장에\n",
"대한 심도있는 분석을 통해 삼성전자\n",
" 부문 제품의 마케팅 전략을 수립 ⋅ 적용하고 글로벌\n",
"시장으로의 확산 기반을 마련합니다\n",
"\n",
"Page: 24\n",
"\n",
"[chunk 4]\n",
"해외영업\n",
"고객과 시장\n",
" 제품에 대한 이해를 바탕으로 시장 수요와 경쟁환경을 분석하여 국가\n",
@@ -472,32 +512,11 @@
" 영업 채널을 발굴하고 판매전략 수립 및 실행을 통해 매출 극대화에\n",
"기여합니다\n",
"\n",
"Page: 18\n",
"\n",
"[chunk 3]\n",
"구매\n",
"제품 생산에 필요한 자원\n",
" 부품\n",
" 설비 및 제품\n",
" 을 최적의 품질과 가격으로\n",
"협상\n",
" 구매하고 시장의 수요 및 생산 계획에 맞춰 적기 공급하여 회사 경영에 기여합니다\n",
"\n",
"Page: 26\n",
"\n",
"[chunk 4]\n",
"품질/서비스\n",
"신제품 개발 신뢰성 검증\n",
" 공정 불량 검출\n",
" 고객 서비스 지원\n",
" 부품 협력사 관리 등 불량 없는 제품 생산\n",
"및 고객만족 실현을 위한 솔루션을 수립하여 제공합니다\n",
"\n",
"Page: 12\n"
"Page: 18\n"
]
}
],
"execution_count": 30
"execution_count": 7
},
{
"cell_type": "markdown",
@@ -514,21 +533,21 @@
{
"metadata": {
"ExecuteTime": {
"end_time": "2026-06-01T06:01:55.561174427Z",
"start_time": "2026-06-01T06:01:55.548538686Z"
"end_time": "2026-06-02T00:39:10.354728792Z",
"start_time": "2026-06-02T00:39:10.323419955Z"
}
},
"cell_type": "code",
"source": "# !pip install lark",
"id": "6b910cf56efea998",
"outputs": [],
"execution_count": 31
"execution_count": 8
},
{
"metadata": {
"ExecuteTime": {
"end_time": "2026-06-01T06:01:55.578983775Z",
"start_time": "2026-06-01T06:01:55.562562234Z"
"end_time": "2026-06-02T00:39:10.379517355Z",
"start_time": "2026-06-02T00:39:10.363143821Z"
}
},
"cell_type": "code",
@@ -567,15 +586,15 @@
],
"id": "b3a603a71973fd7b",
"outputs": [],
"execution_count": 32
"execution_count": 9
},
{
"cell_type": "code",
"id": "c0c3f024",
"metadata": {
"ExecuteTime": {
"end_time": "2026-06-01T06:01:56.039825217Z",
"start_time": "2026-06-01T06:01:55.579865933Z"
"end_time": "2026-06-02T00:39:10.830552895Z",
"start_time": "2026-06-02T00:39:10.383461062Z"
}
},
"source": [
@@ -592,15 +611,15 @@
")"
],
"outputs": [],
"execution_count": 33
"execution_count": 10
},
{
"cell_type": "code",
"id": "6eab886a",
"metadata": {
"ExecuteTime": {
"end_time": "2026-06-01T06:01:57.071606870Z",
"start_time": "2026-06-01T06:01:56.040788182Z"
"end_time": "2026-06-02T00:39:11.872173033Z",
"start_time": "2026-06-02T00:39:10.860932404Z"
}
},
"source": [
@@ -611,22 +630,23 @@
{
"data": {
"text/plain": [
"[Document(id='332a384f-1b79-4f7e-ab61-639c5a1bf1b6', metadata={'department': 'ai', 'year': 2024}, page_content='AI 연구 개발 직무입니다.'),\n",
" Document(id='bc41054e-39de-4e78-9597-493201c869e8', metadata={'department': 'ai', 'year': 2024}, page_content='AI 연구 개발 직무입니다.')]"
"[Document(id='332a384f-1b79-4f7e-ab61-639c5a1bf1b6', metadata={'year': 2024, 'department': 'ai'}, page_content='AI 연구 개발 직무입니다.'),\n",
" Document(id='bc41054e-39de-4e78-9597-493201c869e8', metadata={'year': 2024, 'department': 'ai'}, page_content='AI 연구 개발 직무입니다.'),\n",
" Document(id='c6040e27-f3d2-4d48-9f70-7835f32c25d2', metadata={'year': 2024, 'department': 'ai'}, page_content='AI 연구 개발 직무입니다.')]"
]
},
"execution_count": 34,
"execution_count": 11,
"metadata": {},
"output_type": "execute_result"
}
],
"execution_count": 34
"execution_count": 11
},
{
"metadata": {
"ExecuteTime": {
"end_time": "2026-06-01T06:01:59.388963998Z",
"start_time": "2026-06-01T06:01:57.081329932Z"
"end_time": "2026-06-02T00:39:12.635032714Z",
"start_time": "2026-06-02T00:39:11.893548831Z"
}
},
"cell_type": "code",
@@ -703,13 +723,13 @@
],
"id": "fb4c8d00756e3188",
"outputs": [],
"execution_count": 35
"execution_count": 12
},
{
"metadata": {
"ExecuteTime": {
"end_time": "2026-06-01T06:02:00.353047278Z",
"start_time": "2026-06-01T06:01:59.400345248Z"
"end_time": "2026-06-02T00:39:15.110354021Z",
"start_time": "2026-06-02T00:39:12.652654064Z"
}
},
"cell_type": "code",
@@ -721,22 +741,22 @@
"text/plain": [
"[Document(id='29b45694-d674-4b55-a219-cbec31c2acb3', metadata={'year': 2024, 'user_rating': 4, 'category': '메이크업'}, page_content='롱래스팅 립스틱, 선명한 발색과 촉촉한 사용감으로 하루종일 편안하게 사용 가능합니다.'),\n",
" Document(id='92fc368a-9463-41dd-93fb-875935baecfc', metadata={'year': 2024, 'user_rating': 4, 'category': '메이크업'}, page_content='롱래스팅 립스틱, 선명한 발색과 촉촉한 사용감으로 하루종일 편안하게 사용 가능합니다.'),\n",
" Document(id='b5ed0349-3d3f-43d7-b068-26453a40c5e3', metadata={'year': 2024, 'user_rating': 4, 'category': '메이크업'}, page_content='롱래스팅 립스틱, 선명한 발색과 촉촉한 사용감으로 하루종일 편안하게 사용 가능합니다.'),\n",
" Document(id='b0cb742e-89e6-444c-a73b-297b15499edb', metadata={'user_rating': 4, 'category': '메이크업', 'year': 2024}, page_content='롱래스팅 립스틱, 선명한 발색과 촉촉한 사용감으로 하루종일 편안하게 사용 가능합니다.')]"
" Document(id='b0cb742e-89e6-444c-a73b-297b15499edb', metadata={'user_rating': 4, 'year': 2024, 'category': '메이크업'}, page_content='롱래스팅 립스틱, 선명한 발색과 촉촉한 사용감으로 하루종일 편안하게 사용 가능합니다.'),\n",
" Document(id='03c5e2ec-4887-4f57-a401-f365e8c901b8', metadata={'year': 2024, 'user_rating': 4, 'category': '메이크업'}, page_content='롱래스팅 립스틱, 선명한 발색과 촉촉한 사용감으로 하루종일 편안하게 사용 가능합니다.')]"
]
},
"execution_count": 36,
"execution_count": 13,
"metadata": {},
"output_type": "execute_result"
}
],
"execution_count": 36
"execution_count": 13
},
{
"metadata": {
"ExecuteTime": {
"end_time": "2026-06-01T06:02:01.459237247Z",
"start_time": "2026-06-01T06:02:00.364375827Z"
"end_time": "2026-06-02T00:39:16.109816938Z",
"start_time": "2026-06-02T00:39:15.126701645Z"
}
},
"cell_type": "code",
@@ -746,23 +766,23 @@
{
"data": {
"text/plain": [
"[Document(id='73206df1-3067-4695-99c8-ae114a9a150f', metadata={'user_rating': 5, 'category': '선케어', 'year': 2025}, page_content='자외선 차단 기능이 있는 톤업 선크림, SPF50+/PA+++ 높은 자외선 차단 지수로 피부를 보호합니다.'),\n",
" Document(id='46277a86-d6d7-4b0f-b0e9-234037e24c7f', metadata={'year': 2025, 'user_rating': 5, 'category': '선케어'}, page_content='자외선 차단 기능이 있는 톤업 선크림, SPF50+/PA+++ 높은 자외선 차단 지수로 피부를 보호합니다.'),\n",
" Document(id='54a8a7dd-41fa-41b0-8909-2dff86f20edf', metadata={'user_rating': 5, 'year': 2025, 'category': '선케어'}, page_content='자외선 차단 기능이 있는 톤업 선크림, SPF50+/PA+++ 높은 자외선 차단 지수로 피부를 보호합니다.')]"
"[Document(id='73206df1-3067-4695-99c8-ae114a9a150f', metadata={'year': 2025, 'user_rating': 5, 'category': '선케어'}, page_content='자외선 차단 기능이 있는 톤업 선크림, SPF50+/PA+++ 높은 자외선 차단 지수로 피부를 보호합니다.'),\n",
" Document(id='68eaaa43-d8c6-4348-bc7b-b02581db5ebd', metadata={'user_rating': 5, 'category': '선케어', 'year': 2025}, page_content='자외선 차단 기능이 있는 톤업 선크림, SPF50+/PA+++ 높은 자외선 차단 지수로 피부를 보호합니다.'),\n",
" Document(id='54a8a7dd-41fa-41b0-8909-2dff86f20edf', metadata={'category': '선케어', 'year': 2025, 'user_rating': 5}, page_content='자외선 차단 기능이 있는 톤업 선크림, SPF50+/PA+++ 높은 자외선 차단 지수로 피부를 보호합니다.')]"
]
},
"execution_count": 37,
"execution_count": 14,
"metadata": {},
"output_type": "execute_result"
}
],
"execution_count": 37
"execution_count": 14
},
{
"metadata": {
"ExecuteTime": {
"end_time": "2026-06-01T06:02:02.583400765Z",
"start_time": "2026-06-01T06:02:01.468480998Z"
"end_time": "2026-06-02T00:39:17.402896437Z",
"start_time": "2026-06-02T00:39:16.139386682Z"
}
},
"cell_type": "code",
@@ -801,26 +821,26 @@
]
}
],
"execution_count": 38
"execution_count": 15
},
{
"metadata": {
"ExecuteTime": {
"end_time": "2026-06-01T06:02:02.604875068Z",
"start_time": "2026-06-01T06:02:02.595986461Z"
"end_time": "2026-06-02T00:39:17.438770596Z",
"start_time": "2026-06-02T00:39:17.418100891Z"
}
},
"cell_type": "code",
"source": "# !pip install easyocr pymupdf",
"id": "b69c53f3cad97652",
"outputs": [],
"execution_count": 39
"execution_count": 16
},
{
"metadata": {
"ExecuteTime": {
"end_time": "2026-06-01T06:02:12.517537371Z",
"start_time": "2026-06-01T06:02:02.606079923Z"
"end_time": "2026-06-02T00:39:26.941862357Z",
"start_time": "2026-06-02T00:39:17.440484055Z"
}
},
"cell_type": "code",
@@ -836,13 +856,13 @@
],
"id": "a1b6e2d07785856c",
"outputs": [],
"execution_count": 40
"execution_count": 17
},
{
"metadata": {
"ExecuteTime": {
"end_time": "2026-06-01T06:02:32.941472721Z",
"start_time": "2026-06-01T06:02:12.532495528Z"
"end_time": "2026-06-02T00:40:05.375160693Z",
"start_time": "2026-06-02T00:39:26.958881638Z"
}
},
"cell_type": "code",
@@ -860,6 +880,8 @@
"name": "stderr",
"output_type": "stream",
"text": [
"/home/cooney/Source/.venv/lib/python3.12/site-packages/torch/cuda/__init__.py:187: UserWarning: CUDA initialization: The NVIDIA driver on your system is too old (found version 12020). Please update your GPU driver by downloading and installing a new version from the URL: http://www.nvidia.com/Download/index.aspx Alternatively, go to: https://pytorch.org to install a PyTorch version that has been compiled with your version of the CUDA driver. (Triggered internally at /pytorch/c10/cuda/CUDAFunctions.cpp:119.)\n",
" return torch._C._cuda_getDeviceCount() > 0\n",
"Neither CUDA nor MPS are available - defaulting to CPU. Note: This module is much faster with a GPU.\n",
"/home/cooney/Source/.venv/lib/python3.12/site-packages/torch/utils/data/dataloader.py:752: UserWarning: 'pin_memory' argument is set as true but no accelerator is found, then device pinned memory won't be used.\n",
" super().__init__(loader)\n"
@@ -886,13 +908,13 @@
]
}
],
"execution_count": 41
"execution_count": 18
},
{
"metadata": {
"ExecuteTime": {
"end_time": "2026-06-01T06:11:22.345757243Z",
"start_time": "2026-06-01T06:02:32.966935973Z"
"end_time": "2026-06-02T00:49:24.188537816Z",
"start_time": "2026-06-02T00:40:05.530931311Z"
}
},
"cell_type": "code",
@@ -980,7 +1002,7 @@
]
}
],
"execution_count": 42
"execution_count": 19
},
{
"metadata": {},
@@ -999,21 +1021,21 @@
{
"metadata": {
"ExecuteTime": {
"end_time": "2026-06-01T06:11:22.373312793Z",
"start_time": "2026-06-01T06:11:22.360301676Z"
"end_time": "2026-06-02T00:49:24.236000469Z",
"start_time": "2026-06-02T00:49:24.204889072Z"
}
},
"cell_type": "code",
"source": "# !pip install rank-bm25",
"id": "f183e2922317e17e",
"outputs": [],
"execution_count": 43
"execution_count": 20
},
{
"metadata": {
"ExecuteTime": {
"end_time": "2026-06-01T06:11:22.390318200Z",
"start_time": "2026-06-01T06:11:22.374466640Z"
"end_time": "2026-06-02T00:49:24.265639045Z",
"start_time": "2026-06-02T00:49:24.238260865Z"
}
},
"cell_type": "code",
@@ -1034,13 +1056,13 @@
],
"id": "31092e4f4e4e36a4",
"outputs": [],
"execution_count": 44
"execution_count": 21
},
{
"metadata": {
"ExecuteTime": {
"end_time": "2026-06-01T06:11:25.537705779Z",
"start_time": "2026-06-01T06:11:22.392052726Z"
"end_time": "2026-06-02T00:49:27.025679698Z",
"start_time": "2026-06-02T00:49:24.268751872Z"
}
},
"cell_type": "code",
@@ -1055,13 +1077,13 @@
],
"id": "c43289aff540dd23",
"outputs": [],
"execution_count": 45
"execution_count": 22
},
{
"metadata": {
"ExecuteTime": {
"end_time": "2026-06-01T06:11:25.910014053Z",
"start_time": "2026-06-01T06:11:25.549877300Z"
"end_time": "2026-06-02T00:49:27.475999389Z",
"start_time": "2026-06-02T00:49:27.039390529Z"
}
},
"cell_type": "code",
@@ -1113,11 +1135,6 @@
"Page: 7\n",
"\n",
"[chunk 2]\n",
"S/W개발 소프트웨어 기술에 대한 전문적인 지식올 기반으로 창의적이고 분석적인 사고름 통해 신기술올 선도하고 당사 제품에 반영함으로써 제품 및 슬루선의 학신적인 가치름 창출합니다.\n",
"\n",
"Page: 6\n",
"\n",
"[chunk 3]\n",
"커리어 비전 Career Vision\n",
"휴머노이드 로봇의 초기 개발 단계부터 참여하여 핵심 개발자로 성장할 수 있습니다: 실시간 제어; 시스템 아키택처 , 로봇 미들웨어 등 다양한 경험올 통해 로보텍스 시스템 SW 전문가, 나아가 시스템 아키넥트로의 커리어 확장이 가능합니다.\n",
"66 휴머노이드의 미래틀 함께 설계할 분올 찾습니다\"\n",
@@ -1125,7 +1142,7 @@
"\n",
"Page: 7\n",
"\n",
"[chunk 4]\n",
"[chunk 3]\n",
"삼성전자 DX부문 2026년 상반기 3급 신입사원 채용 공고\n",
"직무\n",
"포지선\n",
@@ -1190,7 +1207,7 @@
]
}
],
"execution_count": 46
"execution_count": 23
},
{
"metadata": {},
@@ -1206,21 +1223,21 @@
{
"metadata": {
"ExecuteTime": {
"end_time": "2026-06-01T06:11:25.921258082Z",
"start_time": "2026-06-01T06:11:25.912352627Z"
"end_time": "2026-06-02T00:49:27.485106716Z",
"start_time": "2026-06-02T00:49:27.477613705Z"
}
},
"cell_type": "code",
"source": "# !pip install cohere langchain-cohere sentence-transformers",
"id": "5b6a77f06c3e8d",
"outputs": [],
"execution_count": 47
"execution_count": 24
},
{
"metadata": {
"ExecuteTime": {
"end_time": "2026-06-01T06:11:27.283337982Z",
"start_time": "2026-06-01T06:11:25.924604161Z"
"end_time": "2026-06-02T00:49:31.034751822Z",
"start_time": "2026-06-02T00:49:27.485893002Z"
}
},
"cell_type": "code",
@@ -1274,24 +1291,25 @@
"Page: 28\n",
"\n",
"[chunk 2]\n",
"MX사업부(수원 근무) 마켓팅 제품) 서비스 마게팅\n",
"네트위크사업부(수원 근무) 구매\n",
"포지션 소개 Job Overview\n",
"디바이스(Smartphone Watch Buds Tablet 등) 경험 및 핵심 차별화지 기획/상품화하고 고객과의 효과적인 커류니키이선 전락으로 경영성과 및 브랜드가치틀 제고하는 직무입니다:\n",
"글로벌 SCM 데이터지 기반으로 구매 프로세스트 학신하고 최적의 파트너십올 통해 사업의 이익과 경쟁력올 극대화합니다.\n",
"수행업무 Job Details\n",
"브랜드 관리 신제품 런칭 등 마켓팅 커류니키이선 전락올 수립하고 실행합니다: 온라인-디지털 마켓팅 전락올 수립하고 캠페인올 개발합니다. 런칭 이번트 전시, 홍보 영상 손렌즈틀 기획합니다: 시장 소비자 경쟁사 기술 분석올 통한 기회 요인올 발굴하고 제품 전락올 수립합니다:\n",
"부품별 구매 Lead Time올 효율적으로 관리해 제품의 적시 생산과 공급올 지원하고 원자재 적정 재고 운영으로 사업부 실적올 극대화합니다 부품의 핵심 원자재와 생산 공정올 분석하여 공급 Lead Time 및 가용량울 최적화합니다. 제품의 생산/판매 계획 및 중장기 물동 변화에 긴밀하게 대응하다, 이와 연계하여 부품 Forecast틀 관리합니다:\n",
"자격요건 Requirements\n",
"해외 협력사와의 소통올 위한 글로벌 커류니키이선 능력올 보유하신 분(영어 및 제2외국어) 최신 네트위크 기술 동향 파악, 비즈니스 현상 전락 공급망 관리(SCM)에 대한 높은 이해도와 관심올 보유하신 분 내부 팀위크 및 협력사 간 원활한 현업으로 목표름 달성하는 협력적 태도와 실행력올 보유하신 분\n",
"\n",
"Page: 18\n",
"Page: 28\n",
"\n",
"[chunk 3]\n",
"MX사업부(수원 근무) 마켓팅 제품) 서비스 마게팅\n",
"포지션 소개 Job Overview\n",
"디바이스(Smartphone Watch Buds Tablet 등) 경험 및 핵심 차별화지 기획/상품화하고 고객과의 효과적인 커류니키이선 전락으로 경영성과 및 브랜드가치틀 제고하는 직무입니다:\n",
"수행업무 Job Details\n",
"브랜드 관리 신제품 런칭 등 마켓팅 커류니키이선 전락올 수립하고 실행합니다: 온라인-디지털 마켓팅 전락올 수립하고 캠페인올 개발합니다. 런칭 이번트 전시, 홍보 영상 손렌즈틀 기획합니다: 시장 소비자 경쟁사 기술 분석올 통한 기회 요인올 발굴하고 제품 전락올 수립합니다:\n",
"자격요건 Requirements\n",
"우대사항 Preferences\n",
"설비 직무 관련 국가기술자격올 보유하신 분(기사 이상) 직무 관련 대내외 경험흘 보유하신 분(프로적트 논문 특히, 경진대회 등) 해외법인과 커유니키이선이 가능한 수준의 외국어(영어, 중국어) 회화 역량울 보유하신 분\n",
"커리어 비전 Career Vision\n",
"인프라 분야의 전문역량울 통한 사고 예방 및 잠재 리스크트 개선하는 환경안전 전문가로 성장합니다.\n",
"66 '인프라틀 지팅하다\"\n",
"안정적인 시스템 운영으로 조직의 기반을 함께 만들어칼 인재틀 찾고 있습니다. 책임감과 실행력올 갖춘 인프라 운영 인재틀 기다럽니다!\n",
"\n",
"Page: 18\n",
"Page: 31\n",
"\n",
"[chunk 4]\n",
"우대사항 Preferences\n",
@@ -1305,7 +1323,7 @@
]
}
],
"execution_count": 48
"execution_count": 25
},
{
"metadata": {},
@@ -1320,8 +1338,8 @@
{
"metadata": {
"ExecuteTime": {
"end_time": "2026-06-01T06:11:40.147062119Z",
"start_time": "2026-06-01T06:11:27.294726241Z"
"end_time": "2026-06-02T00:49:47.805214037Z",
"start_time": "2026-06-02T00:49:31.058423510Z"
}
},
"cell_type": "code",
@@ -1614,34 +1632,32 @@
"제주어 뜻풀이\n",
"무신걸 먹으코? 무엇을 먹을까?\n",
"----------\n",
"생활 속 제주어\n",
"제주는 타 지역보다 한국어의 고형(古形)을 많이 유지하고 있는 동시에 \n",
"제주도만의 고유한 어휘나 문법적 특성을 가지고 있다.\n",
"다른 지역 사람이 못 알아듣는 제주어\n",
"제주어 뜻풀이\n",
"솔쩨기 살짝\n",
"안네다 드리다\n",
"베지근허다 입안에 기름기가 감돌아 맛이 있다.\n",
"엄불랑허다 어마어마하다\n",
"코시롱허다 고소하다\n",
"산도록허다 시원하다 예) 물이 산도록헌 게 좋다.\n",
"두령청이 우두망찰\n",
"무사 왜\n",
"영, 경, 정 이렇게, 그렇게, 저렇게\n",
"게메 글쎄\n",
"인사말\n",
"제주어 뜻풀이\n",
"펜안허우꽈? 편안(안녕)하십니까?\n",
"제주도 오난 어떵허우꽈? 제주도에 오니 어떠십니까?\n",
"차말로 좋수다. 참말로 좋습니다.\n",
"공기도 마고, 산이영 바다잉여 마딱 좋은게마씀 공기도 맑고, 산이랑 바다랑 모두 좋네요.\n",
"서울 갈 때랑 하영 다앙 갑서. 서울 갈 때는 많이 담아서 가십시오.\n",
"게메양. 경 헤시민 얼마나 좋코마씀? 글쎄요. 그렇게 했으면 얼마나 좋겠습니까?\n",
"식당에서\n",
"제주어 뜻풀이\n",
"무신걸 먹으코? 무엇을 먹을까?\n",
"게메양, 제주도에만 이신 거 먹게마씀. 글쎄요, 제주도에만 있는 것 먹게요.\n",
"구젱기영 무꾸럭이영 오토미영 하간 거 다 잇수다. 소라랑 문어랑 옥돔이랑 온갖 거 다 있습니다.\n",
"모멀펌벅에 자리젯! 메밀범벅에 자리젓!\n",
"먹을 것도 잘도 하신게. 먹을 것도 정말(엄청) 많네.\n",
"타 지역과 의미가 다른 제주어\n",
"제주어 뜻풀이\n",
"감저 고구마\n",
"지슬, 지실 감자\n",
"-허게 하자(청유의 의미) 공부허게: 공부하자\n",
"글라 가자 예) 장에 글라.(장에 가자.)\n",
"호미 낫\n",
"가겡이, 가각지, 가게 호미\n",
"폭삭 속앗수다 무척 수고하셨습니다.\n",
"삼춘 ①삼촌 ②나이 든 남자 어른이나 여자 어른을 부르는 말.\n",
"요망지다 야무지다\n",
"아 까다 아깝다(사랑스럽고 귀엽다)\n",
"젊은 층도 자주 사용하는 제주어\n",
"제주어 뜻풀이\n",
"뭐허멘? 뭐하니?\n",
"가이, 자이, 야이 걔, 쟤, 얘\n",
"기 그래\n",
"뒌 됐어\n",
"허쿠다 하겠습니다\n",
"잘도 정말, 엄청\n",
"벨라지다 바라지다\n",
"----------\n",
"식당에서\n",
"제주어 뜻풀이\n",
@@ -1907,13 +1923,13 @@
]
}
],
"execution_count": 49
"execution_count": 26
},
{
"metadata": {
"ExecuteTime": {
"end_time": "2026-06-01T06:11:49.408671064Z",
"start_time": "2026-06-01T06:11:40.158244697Z"
"end_time": "2026-06-02T00:49:59.175454898Z",
"start_time": "2026-06-02T00:49:47.825460785Z"
}
},
"cell_type": "code",
@@ -1953,11 +1969,13 @@
"엄불랑허다 어마어마하다\n",
"----------\n",
"엄불랑허다 어마어마하다\n",
"----------\n",
"엄불랑허다 어마어마하다\n",
"----------\n"
]
}
],
"execution_count": 50
"execution_count": 27
},
{
"metadata": {},
@@ -1971,8 +1989,8 @@
{
"metadata": {
"ExecuteTime": {
"end_time": "2026-06-01T06:12:01.533718730Z",
"start_time": "2026-06-01T06:11:49.425220960Z"
"end_time": "2026-06-02T00:50:09.276173628Z",
"start_time": "2026-06-02T00:49:59.190701406Z"
}
},
"cell_type": "code",
@@ -2013,17 +2031,19 @@
"엄불랑허다 어마어마하다\n",
"----------\n",
"엄불랑허다 어마어마하다\n",
"----------\n",
"엄불랑허다 어마어마하다\n",
"----------\n"
]
}
],
"execution_count": 51
"execution_count": 28
},
{
"metadata": {
"ExecuteTime": {
"end_time": "2026-06-01T06:42:11.875385837Z",
"start_time": "2026-06-01T06:42:09.608650607Z"
"end_time": "2026-06-02T00:50:10.288867811Z",
"start_time": "2026-06-02T00:50:09.287890271Z"
}
},
"cell_type": "code",
@@ -2039,12 +2059,12 @@
"0"
]
},
"execution_count": 62,
"execution_count": 29,
"metadata": {},
"output_type": "execute_result"
}
],
"execution_count": 62
"execution_count": 29
},
{
"metadata": {},
@@ -2065,8 +2085,8 @@
{
"metadata": {
"ExecuteTime": {
"end_time": "2026-06-01T06:42:46.871672538Z",
"start_time": "2026-06-01T06:42:11.907350725Z"
"end_time": "2026-06-02T00:50:44.214523942Z",
"start_time": "2026-06-02T00:50:10.304249553Z"
}
},
"cell_type": "code",
@@ -2089,18 +2109,18 @@
"0"
]
},
"execution_count": 63,
"execution_count": 30,
"metadata": {},
"output_type": "execute_result"
}
],
"execution_count": 63
"execution_count": 30
},
{
"metadata": {
"ExecuteTime": {
"end_time": "2026-06-01T06:17:18.796393174Z",
"start_time": "2026-06-01T06:16:46.321999203Z"
"end_time": "2026-06-02T00:51:18.008958897Z",
"start_time": "2026-06-02T00:50:44.231442765Z"
}
},
"cell_type": "code",
@@ -2114,13 +2134,13 @@
],
"id": "e6cdbf960d07d310",
"outputs": [],
"execution_count": 57
"execution_count": 31
},
{
"metadata": {
"ExecuteTime": {
"end_time": "2026-06-01T06:17:41.563476638Z",
"start_time": "2026-06-01T06:17:22.716593783Z"
"end_time": "2026-06-02T00:51:38.353190588Z",
"start_time": "2026-06-02T00:51:18.020849964Z"
}
},
"cell_type": "code",
@@ -2136,13 +2156,13 @@
],
"id": "5e7e9f9389a952fb",
"outputs": [],
"execution_count": 58
"execution_count": 32
},
{
"metadata": {
"ExecuteTime": {
"end_time": "2026-06-01T06:18:14.356911918Z",
"start_time": "2026-06-01T06:17:54.471197025Z"
"end_time": "2026-06-02T00:52:03.209537974Z",
"start_time": "2026-06-02T00:51:38.370120389Z"
}
},
"cell_type": "code",
@@ -2184,13 +2204,13 @@
]
}
],
"execution_count": 59
"execution_count": 33
},
{
"metadata": {
"ExecuteTime": {
"end_time": "2026-06-01T06:42:09.606591214Z",
"start_time": "2026-06-01T06:19:04.795058972Z"
"end_time": "2026-06-02T01:22:56.350924696Z",
"start_time": "2026-06-02T00:52:03.223503871Z"
}
},
"cell_type": "code",
@@ -2350,17 +2370,19 @@
"/home/cooney/Source/.venv/lib/python3.12/site-packages/torch/utils/data/dataloader.py:752: UserWarning: 'pin_memory' argument is set as true but no accelerator is found, then device pinned memory won't be used.\n",
" super().__init__(loader)\n",
"/home/cooney/Source/.venv/lib/python3.12/site-packages/torch/utils/data/dataloader.py:752: UserWarning: 'pin_memory' argument is set as true but no accelerator is found, then device pinned memory won't be used.\n",
" super().__init__(loader)\n",
"/home/cooney/Source/.venv/lib/python3.12/site-packages/torch/utils/data/dataloader.py:752: UserWarning: 'pin_memory' argument is set as true but no accelerator is found, then device pinned memory won't be used.\n",
" super().__init__(loader)\n"
]
}
],
"execution_count": 61
"execution_count": 34
},
{
"metadata": {
"ExecuteTime": {
"end_time": "2026-06-01T06:43:57.332143726Z",
"start_time": "2026-06-01T06:43:57.323464186Z"
"end_time": "2026-06-02T01:22:56.379584524Z",
"start_time": "2026-06-02T01:22:56.364430340Z"
}
},
"cell_type": "code",
@@ -2381,13 +2403,13 @@
],
"id": "ca49b61be9b3a884",
"outputs": [],
"execution_count": 67
"execution_count": 35
},
{
"metadata": {
"ExecuteTime": {
"end_time": "2026-06-01T06:44:20.562275714Z",
"start_time": "2026-06-01T06:44:14.780140981Z"
"end_time": "2026-06-02T01:23:03.094530621Z",
"start_time": "2026-06-02T01:22:56.381266Z"
}
},
"cell_type": "code",
@@ -2402,13 +2424,13 @@
],
"id": "3b6e9435b199c2f2",
"outputs": [],
"execution_count": 69
"execution_count": 36
},
{
"metadata": {
"ExecuteTime": {
"end_time": "2026-06-01T06:50:20.276558921Z",
"start_time": "2026-06-01T06:50:20.261334580Z"
"end_time": "2026-06-02T01:23:03.149472417Z",
"start_time": "2026-06-02T01:23:03.110209373Z"
}
},
"cell_type": "code",
@@ -2420,7 +2442,7 @@
],
"id": "7b39c5cb6fa77996",
"outputs": [],
"execution_count": 71
"execution_count": 37
}
],
"metadata": {